Web Crawler
Web Crawlers são utilizados para criar uma cópia de todas as páginas visitadas para um pós-processamento por um motor de busca que irá indexar as páginas baixadas para prover buscas mais rápidas. Crawlers também podem ser usados para tarefas de manutenção automatizadas em um site, como validar o código HTML. Os crawlers também podem ser usados para obter tipos específicos de informações das páginas da internet.
O processo de web crawler torna possível digitar qualquer expressão em ferramentas de pesquisa e obter uma consistente base de dados sobre o que está disponível sobre o assunto na Internet. Assim, ele “investiga” em todo o ambiente virtual: entra nas páginas, captura o texto e procura pelos links, catalogando cada informação que surge em sua busca. À medida que crawlers visita essas urls, ele identifica todos os links na página e os adiciona na lista de urls para visitar. Tais urls são visitadas de acordo com a pesquisa solicitada.
Exemplos de Web Crawlers:
Yahoo! Sluro é o nome do Crawler do Yahoo; Msnbot é o nome do Crawler do Bing – Microsoft; Googlebot é o nome do Crawler do Google entre outros.
Comentários
Postar um comentário