Script Web Crawler

Script Web Crawler

O que é o Script Web Crawler ?

Web crawler, em português rastreador web, é um programa de computador que navega pela World Wide Web de uma forma metódica e automatizada. Outros termos para Web crawlers são indexadores automáticosbotsweb spidersWeb robot, ou Web scutter.

O processo que um Web crawler executa é chamado de Web crawling ou spidering. Muitos sites, em particular os motores de busca, usam crawlers para manter uma base de dados atualizada. Os Web crawlers são principalmente utilizados para criar uma cópia de todas as páginas visitadas para um pós-processamento por um motor de busca que irá indexar as páginas baixadas para prover buscas mais rápidas. (Wikipedia)

Pois bem, este Script Web Crawler faz o trabalho acima citado para que meu cliente possa obter algumas partes de sites que lhe interessa exibir, então o script faz uma requisição no site e grava essa requisição no banco de dados, sendo atualizado de 5 em 5 minutos.

Desenvolvimento envolveu :

– PHP

– SQL