Um 'software spider' é um programa não tripulado operado por um mecanismo de busca que navega na Web exatamente como você. À medida que visita cada site da Web, ele registra (salva em seu disco rígido) todas as palavras em cada site e anota cada link para outros sites. Em seguida, ele 'clica' em um link e sai para ler, indexar e armazenar outro site.
O software spider frequentemente lê e indexa todo o texto de cada site que visita no banco de dados principal do mecanismo de busca para o qual está trabalhando. Recentemente, muitos mecanismos como o AltaVista começaram a indexar apenas até um determinado número de páginas de um site, geralmente cerca de 500 no total, e depois pararam. Aparentemente, isso ocorre porque a Web se tornou tão grande que é inviável indexar tudo. Quantas páginas o spider indexará não é totalmente previsível. Portanto, é uma boa ideia enviar especificamente cada página importante do seu site que você deseja indexar, como aquelas que contêm palavras-chave importantes.
Um software spider é como um bibliotecário eletrônico que recorta o índice de cada livro em todas as bibliotecas do mundo, os classifica em um índice mestre gigantesco e, em seguida, constrói uma bibliografia eletrônica que armazena informações sobre quais textos fazem referência a quais outros textos. Alguns spiders de software podem indexar mais de um milhão de documentos por dia! É importante entender que os spiders dos mecanismos de pesquisa fazem apenas duas coisas:
- Eles indexam texto.
- Eles seguem links.
Em uma recente conferência Search Engine Strategies organizada por SearchEngineWatch.com, um dos palestrantes convidados, Shari Thurow, da Grantastic Designs, destacou esse ponto e o repetiu várias vezes para ilustrar seu significado: 'Os motores de busca indexam o texto e seguem os links Eles indexam texto e seguem links. É tudo o que eles fazem. '
Seu ponto é importante e central para compreender a natureza das aranhas dos mecanismos de pesquisa. Se o texto do seu site estiver contido em um gráfico, os motores de busca não poderão indexá-lo. Se todas as palavras-chave importantes para as quais você espera obter classificações forem incluídas nos gráficos, não no texto HTML, seu site não obterá classificações. Lembre-se de que os motores de busca não indexam imagens ou lêem imagens, eles indexam texto e seguem links. Isso é tudo. Se você não tiver nenhum texto em sua página visível, nenhuma quantidade de palavras-chave em sua metatag de palavra-chave o ajudará a obter classificações.
O que o spider vê em seu site determinará como ele será listado em seu índice. Os mecanismos de pesquisa determinam a relevância de um site com base em um sistema de pontuação complexo que os mecanismos de pesquisa tentam manter em segredo. Este sistema adiciona ou subtrai pontos com base em coisas como quantas vezes a palavra-chave apareceu na página, onde na página ela apareceu e quantas palavras no total foram encontradas. As páginas que alcançam a maioria dos pontos são retornadas no topo dos resultados da pesquisa; o resto está enterrado no fundo, para nunca ser encontrado.
Conforme um software spider visita seu site, ele observa todos os links de sua página para outros sites. No vasto banco de dados de qualquer mecanismo de busca são registrados todos os links entre sites. O mecanismo de pesquisa sabe a quais sites você criou um link e, mais importante, quais estão vinculados a você. Muitos mecanismos até usarão o número de links para seu site como uma indicação de popularidade e, então, aumentarão sua classificação com base nesse fator.
Copyright © 2000 iProspect.com
