Google indexa mais de 1 trilhão de URLs únicas na internet

O Google anunciou recentemente que registrou mais de um trilhão de URLs únicas na internet, marco que surpreendeu até mesmo os engenheiros do buscador, segundo post no blog oficial da companhia.

Além de anunciar a descoberta, o Google aproveitou para promover o escopo e magnitude de seu índex.

“Não queremos indexar cada um destes trilhões de páginas – muitos são similares aos outros ou representam conteúdo gerado automaticamente, o que não é muito útil para usuários que buscam. Mas estamos orgulhosos de ter o índex mais compreensivo entre todos os buscadores, e nosso objetivo sempre foi indexar todos os dados do mundo”, escreveram Jesse Alpert e Nissan Hajaj, engenheiros de software no time de infraestrutura de busca do Google.

Ironicamente, a divulgação do marco acontece dias antes do Google ganhar um novo rival, chamado de Cuil e criado por uma ex-funcionária, ser lançado oficialmente, oferecendo resultados reproduzidos de maneira diferente da do Google.

A controvérsia que sempre cercou a divulgação de números sobre o índex de buscadores foi amenizada com a conclusão que raramente usuários visitam mais que duas páginas de resultados online. Em outras palavras, o que importante é entregar os 10 resultados mais relevantes ao invés de 5 mil links que o usuário precisará separar.

O buscador também divulgou informações sobre como e com qual freqüência analiza seus links.

“Atualmente, o Google analisa a internet constantemente, coletando páginas e informações atualizadas e reprocessando um gráfico de links muitas vezes por dia. Este gráfico de um trilhão de URLs é similar a um mapa feito totalmente com 1 trilhão de interseções. Muitas vezes por dia, fazemos equivalente computacionais para explorar totalmente cada interseção de cada estrada nos Estados Unidos. Com o problema que se trata de um mapa 50 mil vezes maior que o dos EUA, com 50 mil vezes mais estradas e cruzamentos”, afirma o post.