Алгоритм МГУ выявляет скрытые ошибки в данных для обучения ИИ

В Московском государственном университете представили новый инструмент для повышения качества искусственного интеллекта. Исследователи с факультета вычислительной математики и кибернетики создали алгоритм, способный автоматически находить неточности в массивах данных, на которых обучаются нейросети. Речь идет о так называемых размеченных корпусах – огромных базах предложений, где вручную указана грамматическая структура каждой фразы. Именно от чистоты этих «учебников» зависит, насколько точно будущая модель будет понимать человеческую речь.

Алгоритм МГУ выявляет скрытые ошибки в данных для обучения ИИ

Предложенная технология действует как своего рода детектор парадоксов. Она строит собственную статистическую модель по уже размеченным данным и начинает перепроверять их работу. Если алгоритмы сталкиваются с ситуацией, когда одному предложению можно приписать несколько разных синтаксических структур, система сигнализирует об этом эксперту. Подобная неоднозначность чаще всего указывает на скрытую ошибку или спорный момент в исходной разметке, сделанной человеком.

Эффективность подхода была доказана экспериментально на базе известного отечественного ресурса «СинТагРус». Проверив сегмент из 8199 фраз, разработка обнаружила 1148 потенциальных зон конфликта. Примечательно, что львиная доля расхождений (1078 случаев) оказалась связана со спорной постановкой знаков препинания – запятых, которые традиционно вызывают сложности даже у людей.

Решение не ставит целью вытеснить лингвистов, а предлагается интеллектуальный фильтр, который берет на себя рутинный поиск аномалий. Это позволяет специалистам не тратить часы на сплошную вычитку, а сразу концентрироваться на фрагментах, требующих экспертного вмешательства.

Таким образом, созданный инструментарий становится мощным ускорителем при подготовке цифровых архивов для обучения систем ИИ. Сокращая время на верификацию входящей информации, он напрямую влияет на итоговую точность и надежность будущих голосовых ассистентов и чат-ботов. Свои выводы группа ученых представила на традиционной научной конференции «Ломоносовские чтения», обозначив важный шаг к созданию более совершенных моделей понимания текста.

Читайте также

Энтузиаст собрал компьютер для апокалипсиса, работающий от огня

Энтузиаст собрал компьютер для апокалипсиса, работающий от огня

Канатная дорога между Россией и Китаем заработает в мае 2027 года

Канатная дорога между Россией и Китаем заработает в мае 2027 года

Магнитофотонный кристалл управляет интенсивностью света для нужд оптических компьютеров

Магнитофотонный кристалл управляет интенсивностью света для нужд оптических компьютеров

Нейросетевой модуль для слуховых аппаратов очищает речь от шума за миллисекунды

Нейросетевой модуль для слуховых аппаратов очищает речь от шума за миллисекунды

Лингвисты СПбГУ научили нейросеть передавать эмоции через интонацию

Лингвисты СПбГУ научили нейросеть передавать эмоции через интонацию

Получение жидкого топлива из угля сделали в 3,6 раза дешевле

Получение жидкого топлива из угля сделали в 3,6 раза дешевле

Аккумулятор для Арктики: как твердый электролит обманул законы физики низких температур

Аккумулятор для Арктики: как твердый электролит обманул законы физики низких температур

Нейротренажер с VR одновременно тренирует мышцы и интеллект

Нейротренажер с VR одновременно тренирует мышцы и интеллект

Робот МФТИ установил рекорд сборки головоломки «мегаминкс» за 9,6 секунды

Робот МФТИ установил рекорд сборки головоломки «мегаминкс» за 9,6 секунды

Медицинские технологии, в которые почти невозможно поверить

Медицинские технологии, в которые почти невозможно поверить

Квантовый двигатель нарушает законы термодинамики, генерируя работу и холод одновременно

Квантовый двигатель нарушает законы термодинамики, генерируя работу и холод одновременно

Как РЛС Вадима Мацкевича решила исход Корейской войны

Как РЛС Вадима Мацкевича решила исход Корейской войны

Семь самых странных явлений Солнечной системы, которые сложно объяснить

Семь самых странных явлений Солнечной системы, которые сложно объяснить

Samsung Galaxy Z Fold8 Ultra — обзор складного смартфона с Snapdragon 8 Elite Gen 5 и батареей 5000 мАч

Samsung Galaxy Z Fold8 Ultra — обзор складного смартфона с Snapdragon 8 Elite Gen 5 и батареей 5000 мАч

В России появится национальная база генетической информации

В России появится национальная база генетической информации

Китайская ракета Long March 7A взорвалась через 85 секунд после запуска

Китайская ракета Long March 7A взорвалась через 85 секунд после запуска