Os testes de desempenho de qualquer tipo devem ser considerados com cuidado, e também as manchetes que anunciam os resultados. Por exemplo, um novo artigo que diz: “O Android é 50% mais rápido que o iOS na web” é uma meia verdade. Para ser preciso, o título deveria ser algo como:
“Após 9.000 testes de desempenho repetidos 5 vezes cada, para fins estatísticos (45.000 no total), se estabelece que o navegador Web incluído no Android 2.3 (baseado no motor de renderização WebKit e o motor JavaScript V8) em um Nexus S é 52% mais rápido que o navegador Web Safari (com WebKit para renderizar e Nitro para processar JavaScript) presente no iOS 4.3 do iPhone 4.”
Um título improvável para uma notícia, mas que faz mais honra a verdade. De qualquer forma, a empresa Blaze divulgou o que considera um teste sem precedentes. Eles dizem ter projetado um aplicativo que reproduz os padrões de navegação de um usuário para gerar resultados, pelo menos em princípio, mais representativos ou válidos que os testes de desempenho usuais, como o SunSpider e o Peacekeeper. E realizados os testes, constataram o seguinte:
O Chrome no Android 2.3 é mais rápido que o Safari 4.3 no iOS em 84% das páginas visitadas, ou seja, 4 de 5 vezes. Estes sites, é claro, pertencem todos à lista Fortune 1000 das maiores companhias dos EUA.

O Chrome no Android 2.3 foi 52% mais rápido que o Safari no iOS 4.3. Em média, o Android carrega uma página em 2,144 segundos, enquanto que no iOS foi preciso esperar 3,254 segundos.

A situação mudou completamente quando se tratou de sites com versão móvel. Neste caso, o Chrome no Android foi apenas 3% mais rápido que o Safari no iOS, o que obviamente não é uma diferença significativa.

Aceitar sem analisar um resultado não é uma atitude científica. Pelo menos é necessário rever a metodologia do estudo. Neste caso:
- 1.000 websites testados, cada um 3 vezes em 3 dias diferentes para um total de 9.000 testes. 5 vezes se seguiu esse processo para completar os 45.000 testes.
- Testes realizados com redes Wi-Fi e 3G muito rápidas para minimizar os efeitos de outros fatores: perda de pacotes, tempo de resposta dos servidores, entre outros.
- O instrumento para medição foi um aplicativo desenvolvido especificamente para calcular o tempo de carregamento de cada página.
- Chrome no Android 2.3 em um Google Nexus S.
- Safari no iOS em um iPhone 4.
Fonte: Fórum PCS