Piotr Gontarczyk | 26 stycznia 2018, 05:18

Overclocker pokazał, jak oszukiwać w benchmarkach i bazach wyników

Futuremark już zareagował. Ronaldo Buassali, overclocker współpracujący z firmą Galax, opublikował w sieci film, w którym pokazuje jak przed syntetycznymi benchmarkami ukryć modyfikację ustawień sterowników, w celu uzyskiwania lepszych wyników. Metoda ta działa na różne benchmarki, których wyniki zbierane są chociażby w bazie HWBOT. Ujawnienie tego triku wzbudza wątpliwości co do tego, czy wszystkie rekordowe wyniki w bazie HWBOT zostały uzyskane uczciwie.

Buassali w swoim filmie pokazał, że jest możliwość dokonania zmian w ustawieniach sterowników karty graficznej, tuż przed tym jak test w benchmarku zostanie uruchomiony. Można pogrzebać przy ustawieniach jakości filtrowania tekstur, czy np. przesunięcie w przód poziomów mip-map (funkcja LOD Bias w ustawieniach Nvidii), w celu uzyskania wyższej wydajności kosztem ostrości tekstur. W normalnej sytuacji, jeśli ustawienia zmienimy wcześniej, to w przypadku np. 3DMarków, program to wykryje, a wynik testu zostanie oznaczony jako niepotwierdzony.

W filmowym materiale Buassali pokazał, jak w Time Spy wynik ogólny 12638 punktów i GPU wynoszący 13278 punktów, przy użyciu opisanego triku podbił do odpowiednio 12951 i 13800 punktów. Niby nie uzyskał wielkich wzrostów, ale w przypadku rankingów wyników testów każdy punkt może być na wagę złota. Ronaldo Buassali zaznacza, że modyfikowanie przesunięć poziomów mip-map nie zawsze daje pozytywne efekty, ale potwierdził, że na skutki triku podatne są benchmarki Futuremarka, Unigine oraz Allbenchmark (Catzilla).

Firma Futuremark została już przez overclockera poinformowana o tej sprawie i potwierdza, że ten trik działa. Futuremark dodaje, że przy ręcznym przejrzeniu wyników już występujących w bazie Hall of Fame, udało się przyuważyć przypadki manipulowania zegarami GPU także w trakcie działania testów. Firma tłumaczy, że ostatecznie tego typu kombinacje są do wykrycia, aczkolwiek przyznaje, że dotychczas stosowane mechanizmy sprawdzające przepuszczały je do bazy wyników. Do czasu wydania stosownych aktualizacji, Futuremark nie przyjmuje nowych wyników do bazy Hall of Fame.