На махинациях связанных с показателями синтетических тестов производительности "ловили" многих крупных производителей смартфонов. К примеру, в 2013 году Samsung обвинили в завышении результатов тестирования графической подсистемы чипсетов Exynos в смартфонах Galaxy S4 и Galaxy Note 3. Не так давно и компания Huawei грешила подобным, отключая механизм, отвечающий за троттлинг процессора в случае, если на устройстве запущен некий бенчмарк. Но все эти ситуации объединяло одно – производители смартфонов самостоятельно модифицировали прошивку таким образом, чтобы устройство показывало максимально возможный результат.
Недавно на обмане бенчмарков был пойман крупный производитель процессоров, компания MediaTek. В ходе тестирования европейской версии смартфона Oppo Reno3 Pro, построенной на базе чипсета MediaTek Helio P95 журналисты получили необычный результат. По результатам бенчмарка PCMark производительность процессора оказалась выше, чем у Dimensity 1000L — гораздо более производительного и свежего чипа, на котором работает китайская версия Reno3. Подозрение в подтасовке результатов пало на компанию MediaTek.
Для поиска подтверждения своим догадкам журналисты AnandTech использовали анонимную версию PCMark и перепроверить результаты. Оказалось, что они действительно отличаются. Разница в общем балле производительности составила около 30%, а в некоторых важных показателях достигала 75%. Анонимная версия теста отличается тем, что процессору и операционной системе не удаётся идентифицировать запущенную программу как бенчмарк, что исключает возможность активации "скрытого потенциала". С подробными результатами тестирования можно ознакомиться в опубликованном отчетном материале.
Причина такой большой разницы в полученных результатах была найдена при подробном изучении прошивки устройства. Журналисты смогли обнаружить файл, который содержал различные настройки управления питанием для популярных синтетических тестов (GeekBench, AnTuTu, 3DBench, PCMark и других), в которых изменению подвергается параметр, называющийся «спортивным режимом» (Sports Mode). Примечательно, что разработчики добавили специальные настройки и для теста GFXBench, который, в основном, используется журналистами.
Компания MediaTek не стала отрицать наличие специфических настроек в прошивке смартфонов, использующих процессоры их производства. Также представители компании подтвердили факт тесного сотрудничества с производителями смартфонов для настройки устройств таким образом, чтобы они могли раскрывать весь свой потенциал в бенчмарках.
