Salvando Web Scraping no mongoDB
Pedro Pacheco
#Grupo telegram http://bit.ly/2SxAR2b
Neste segundo vídeo mostro como armazenar o resultado do web scraping da mega sena da loteria federal num banco de bados mongoDB sem adicionar registros duplicados. Ha um tempo atrás um inscrito estava tendo problemas para realizar web scraping do resultado de consurso da loteria.
Verificando o site da caixa onde é disponibilizado o resultado verifiquei que o site da resultado de loteia da caixa rejeita requisições simples, sem assinatura de navegador, sendo necessário utilizar outra técnica para poder extrair os dados.
Nesta pequena série de videos nós vamos fazer um web scrap do resultado da loteria utilizando o puppeteer para emular um navegado e extrair os dados usando a biblioteca cheerio e vamos armazenar o resultado no mongodb onde o resultado do concurso da loteria não irá se repetir.
Você pode usar este scraping para rodar diariamente no seu cron ou agendador de tarefas.
Robot3t : https://robomongo.org/ ... https://www.youtube.com/watch?v=hliEu-xRWEA
82856623 Bytes