Прорыв совершили специалисты из Сколтеха и Центрального университета совместно с Русским нумизматическим грейдинговым агентством. Их методика, лишенная предвзятости человека, описана сразу в трех престижных изданиях: ACM Journal on Computing and Cultural Heritage, Expert Systems With Applications и IEEE Transactions on Instrumentation and Measurement.
Сформирован обширный датасет различных денежных знаков и предложили двойную нейросетевую архитектуру плюс алгоритм, учитывающий специфику предметной области. В основе лежат две независимые модели ResNet50. Подход анализирует расхождение вероятностей обеих систем, применяя знания о структуре сохранности: классы «не была в обращении» и «минимальный износ» имеют массу перекрывающихся визуальных маркеров, поясняет аспирант программы «Инженерные системы» Сколтеха Мелаку Гетахун.
Для анализа раритетов ученые задействовали визуально-языковую модель, копирующую логику профи, которые изучают аверс и реверс одновременно. Текстовая компонента оказалась незаменима для фиксации тончайших деталей штемпельного блеска, невидимых камере. В третьей итерации точность выросла после внедрения иерархического преобразователя вместо стандартного графического кодировщика. Бенчмарки показывают явное превосходство этой гибридной схемы над всеми предшествующими разработками как по качественным метрикам, так и по числовым показателям.
Решения открывают путь к полной автоматизации и прозрачности грейдинга. Коллектив первым провел фундаментальное исследование такого масштаба и рассчитыват, что мировое сообщество продолжит этот трекинг, взяв его публикации за основу. При достижении оптимального баланса точности и вычислительной стоимости появится открытая, надежная платформа для коллекционеров, инвесторов и музейных хранителей, добавляет Андрей Сомов, руководитель научной группы, профессор Центра инженерных систем и наук Сколтеха, профессор и руководитель лаборатории интеллектуальных сенсорных систем Центрального университета.
Дальнейший вектор работы – снижение аппаратных требований алгоритма путем оптимизации его архитектуры.
