Articles of scrape

UDP Tracker Scraping 1 script working other Não

Ao usar este script, meu rastreador atualizou apenas sementes e leechers do rastreador http apenas o primeiro Rastreador do meu torrent. print(“” .T_(“Torrent Stats”). “: “); $seeders1 = $leechers1 = $downloaded1 = null; $tres = SQL_Query_exec(“SELECT url FROM announce WHERE torrent=$id”); while ($trow = mysql_fetch_assoc($tres)) { $ann = $trow[“url”]; $tracker = explode(“/”, $ann); $path = […]

PHP como configurar colors para determinadas palavras-chave (texto) em dados raspados

Tentando fazer algo um pouco complicado, onde eu estabeleço uma cor para palavras-chave determinadas para um eco, que é recolhido a partir de web scraping. Uma vez eu recebi uma resposta, mas não consegui consegui-la mudar realmente as colors. Aqui está o código com o qual estou trabalhando. preserveWhiteSpace = false; // Most HTML Developers […]

raspando uma página não RSS para gerar um feed

Eu quero raspar uma página que atualiza regularmente (adicionando novos artigos com exatamente a mesma estrutura que os anteriores) para gerar um feed RSS. Posso escrever o código para analisar a página com facilidade, mas como eu emula um ping, ou seja, quando a página atualiza como meu script php pode saber? Tem que ser […]

Extrair links do feed de atividade do Facebook

Estou tentando obter os links de um feed de atividades do Facebook, tentei extrair o HTML do iframe, mas isso não funciona por causa do domínio cruzado. Então eu tentei CURL, mas isso não funciona por causa do javascript. http://developers.facebook.com/docs/reference/plugins/activity Alguma ideia?

Quantos resultados o Google permite que um pedido raspe?

O código PHP a seguir funciona bem, mas quando é usado para raspar 1000 resultados do Google para uma palavra-chave especificada, ele apenas retorna 100 resultados. O Google tem um limite nos resultados devolvidos, ou existe um problema diferente? loadHtml($data2); $xpath = new DOMXPath($dom); $hrefs = $xpath->evaluate(“//div[@id=’ires’]//li/h3/a/@href”); $j = 0; foreach ($hrefs as $href) { […]

Como pode raspar o site via PHP que requer dados POST?

Estou tentando raspar um site que leva dados POST para retornar a página correta (sem POST retorna 15 resultados, com dados POST retorna todos os resultados). Atualmente meu código está parecido com isto: $curl = curl_init(); curl_setopt($curl,CURLOPT_URL,”http://www.thisismyurl.com/awesome”); curl_setopt($curl, CURLOPT_POST, true); curl_setopt($curl, CURLOPT_POSTFIELDS, XXXXXX); curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); $result= curl_exec($curl); Eu sei que preciso colocar os meus […]

PHP Curl após redirecionamentos

Estou tentando ser um pouco descuidado e, como parte de um processo de aprendizagem, tente melhorar minhas habilidades de raspagem da página. Uma coisa que encontrei que ainda não consegui resolver é que certos sites usarão um link interno que redireciona para um link externo. O que eu quero fazer é modificar algum código de […]

Site do Scrape gerado por Javascript

Eu acho que este é um desafio real! Eu escrevo um site para a minha liga de futebol local, www.rdyfl.co.uk, e incluo trechos de código de javascript do sistema Full Time de FA, onde geramos nossos acessórios, ligando em jogos de tabelas, resultados recentes, etc. Para outra característica que eu quero adicionar ao site, preciso […]