LG, HTC e Asus também manipulam benchmarks – e isso está muito errado

A Samsung foi acusada de turbinar o Galaxy S4 e o Note 3 para fazê-los parecer melhores do que são em benchmarks. O Anandtech foi mais fundo, e descobriu que outras fabricantes também estão trapaceando. Isso está muito errado.

Os benchmarks de dispositivos móveis não foram feitos para medir seu desempenho máximo. Para que saber esse limite, se você não vai atingi-lo mesmo usando apps pesados? É algo totalmente artificial.

Pelo contrário, os benchmarks mostram algo muito mais útil: como o processador (ou chip gráfico) reage ao lidar com uma carga enorme de tarefas. Em vez de fornecer desempenho máximo o tempo inteiro, ele lhe dará algo mais equilibrado.

O exemplo mais claro disso está no gráfico abaixo, do AnandTech, que mostra o comportamento do Galaxy S4 rodando um benchmark de forma normal, sem forçar os núcleos a funcionar no máximo:

Veja que a frequência aumenta e diminui aos poucos até chegar no máximo. É isso que seu smartphone fará todo dia ao lidar com tarefas pesadas – ele não ficará sempre no limite.

Mas ei, talvez você queira saber qual é o limite máximo do seu smartphone! Então que as fabricantes deem a opção de rodar benchmarks com (ou sem) as otimizações ocultas que elas colocam, sem aviso, nos seus produtos. A falta de transparência também é um erro.

E, infelizmente, é um erro que muitas fabricantes cometem. Após testes extensos, o AnandTech conclui:

Com exceção da Apple e Motorola, literalmente toda fabricante com quem já trabalhamos vende (ou vendeu) pelo menos um dispositivo que usa essa otimização de CPU… É um problema sistêmico que parece ter surgido nos últimos dois anos, e que se estende muito além da Samsung.

Na tabela intitulada “Eu não acredito que tive que fazer essa tabela“, eles listam os gadgets e os benchmarks nos quais eles trapaceiam. Os mentirosos são: HTC One, HTC One mini, LG G2, Samsung Galaxy Tab 3 10.1, Samsung Galaxy Note 10.1 (2014 Edition) e ASUS Padfone Infinity. Vale notar que eles não mentem em todos os benchmarks, mas alguns (como AnTuTu e Vellamo) são os maiores alvos.

E quem não trapaceia? O Moto X, o Razr i, o NVIDIA Shield e a linha Nexus – já que ela roda Android padrão, sem truques para manipular benchmarks.

É interessante notar que, segundo o AnandTech, manipular benchmarks é uma escolha da fabricante do gadget, não do processador. “Eu sei que, internamente, a Intel se opõe bastante a essa prática”, dizem eles. (O Tab 3 10.1 roda processador da Intel.) Sim, Nvidia, Intel e AMD já foram acusadas de turbinar benchmarks no passado – mas nem por isso a atitude é correta.

E o pior é que, segundo o AnandTech, na maioria das vezes o ganho em manipular benchmarks é mínimo, variando entre 0% e 5%. Imaginar que as fabricantes estão se esforçando para mentir nos testes de desempenho – em vez de otimizar seu software direito, por exemplo – mostra como elas estão perdendo tempo com algo inútil.

Então, fabricantes, parem com isso – ou pelo menos sejam mais transparentes a respeito. [Anandtech]