# Rafael.Barbolo

entao sepossivel tente mandar uma planta de um robo pra eu montar me mande uma planta pello meu msn
o meu msn e guzao1998@hotmail.com

Ola Boa Noite, Rafael qual o tipo de programação mais indicado para esta finalidade “Liguagem”…

Obrigado

Parabens pelo texto. Claro e objetivo! Não sou programador e estou a procura de um robo que possa identificar a citação à um determinado assunto (no meu caso nanotecnologia) em sites de instituições de ensino. Tens alguma dica? Saudações, Luís

Ola Rafael,

O que vc me diz sobre sites seguros, como sites de grandes jornais. Mesmo com usuario e senhas de acesso, não consegui desenvolver nada eficaz em termos de robos. Você acha possivel? Como burlar os Robots.txt?

Abraço

Rafael,

Você tem alguma experiência com robôs que consiga funcionar em sites que colocam imagens para evitar este tipo de ação.

Abs

Poxa, desenvolvi um robô em PHP seguindo o esquema e funciona!Só falta desenvolver mais profundamente a parte do algoritmo para avaliar as paginas.

No robô, utilizei PHP(http://php.net) com Expressões Regulares(http://aurelio.net) e consegui um robô que encontrou mais de 100 links , mais de 800 palavras e mais de 15 imagens só na página inicial do Baixaki.

Se vou publica-lo?Só se for para vencer o Google!!

Hahahahaha

observação:Tecnicamente , vencer o Google só após o Algoritmo tiver avaliando à risca cada página , com peso,quantidade de imagens,scripts,tempo de carga, links apontando e por aí vai.

Pra quebrar captcha eu vejo 3 possibilidades principais:

1. Alguns sistemas de captcha são muito simples, você passa como parâmetros o desafio e a resposta dele. Então resolvendo um desafio, você consegue fazer quantas requisições quiser, resolvendo sempre o mesmo CAPTCHA.

2. Se for simples aplicar um OCR na imagem do CAPTCHA e acertar o desafio, então você consegue resolver desafios diferentes.

3. Se você não conseguir aplicar um OCR na imagem e resolver o desafio automaticamente (acontece com CAPTCHAs do Google e reCAPTCHA, por exemplo), então o melhor jeito é você criar uma interface gráfica para que um operador humano fique constantemente resolvendo desafios. Não sei quantos desafios tem que ser resolvido para o que você vai fazer, mas se forem poucos, é relativamente tranquilo usar esta estratégia.

Bom dia Rafael, estou tentando desenvolver o robô de busca para baixa paginas de um site específico, e depois organizar este conteúdo em um XML, a que questão é sempre que o usuário precisar pegar um conteúdo do site ele tem que digitar o código referente a pagina que ele precisar meu robô tem que pegar este código e baixa está pagina e organizar em um XML , minha duvidar é como eu faço para passar este código como parâmetro, o site utiliza post para pegar a pagina e eu estou desenvolvendo o sistema em Java.

Boa Noite Rafel,

Primeiramente ótimo post, gostaria de saber se é possivel trabalhar com o php, e se vc teria um base dísponivel?

Obrigado.

Refael, muito obrigado pela informação que vc mim passo, mais ainda estou tendo problemas com este código.

Tem como vc verificar este código não estou conseguindo fazer um requisição POST, eu tenho que acessar este site: “http://www.licitacoes-e.com.br/aop/index.jsp” , e neste site tenho que digitar este código :275041 ou qualquer outro código referente a um licitação,
Mais quero fazer isto dentro da minha aplicação Java, a pessoal digita um código e o programa acessa este site http://www.licitacoes-e.com.br/aop/index.jsp e inserir o código, este site faz solicitação POST.

try {
// Construct data
String data = URLEncoder.encode(”275041″, “UTF-8″);// + “=” + URLEncoder.encode(”", “UTF-8″);
//data += “&” + URLEncoder.encode(”key2″, “UTF-8″) + “=” + URLEncoder.encode(”value2″, “UTF-8″);

// Send data
URL url = new URL(”http://hostname:80/cgi”);
URLConnection conn = url.openConnection();
conn.setDoOutput(true);
OutputStreamWriter wr = new OutputStreamWriter(conn.getOutputStream());
wr.write(data);
wr.flush();

// Get the response
BufferedReader rd = new BufferedReader(new InputStreamReader(conn.getInputStream()));
String line;
while ((line = rd.readLine()) != null) {
// Process line…
}
wr.close();
rd.close();
} catch (Exception e) {
}

try {
// Construct data
String data = URLEncoder.encode(”numeroLicitacao”,”UTF-8″) + “=” + URLEncoder.encode(”273315″, “UTF-8″);
//data += “&” + URLEncoder.encode(”", “UTF-8″) + “=” + URLEncoder.encode(”5151″, “UTF-8″);

// Send data
URL url = new URL(”http://www.licitacoes-e.com.br/aop/index.jsp”);
URLConnection conn = url.openConnection();
conn.setDoOutput(true);
OutputStreamWriter wr = new OutputStreamWriter(conn.getOutputStream());
wr.write(data);
wr.flush();

// Get the response
BufferedReader rd = new BufferedReader(new InputStreamReader(conn.getInputStream()));
String line;
while ((line = rd.readLine()) != null) {
// Process line…
System.out.println(line);
}
wr.close();
rd.close();
} catch (Exception e) {
}

}

}

Rafael o que vc quer dizer com resolver desafio em relação aos captchas?

Bom dia Rafael, parabens pelo post e pelos comentarios acima. Estou iniciando um projeto aki no meu servico para desenvolver um robo que acesse e insira dados em uma pagina de intranet, a pag foi desenvolvida em JSP e eu nao tenho acesso nenhum ao servidor, ou seja, a aplicacao deve ser desenvolvida como se um usuario estivesse usando um brouser para a tarefa. Por favor, me de algumas dicas do que comecar a estudar, muito obrigada.

Rafael, minha intencao eh simular o browser, mas sem abri-lo, de maneira que a aplicacao acesse o site, capture dados, e os salve em um bd. Quero trabalhar com java e mysql, por ja ter alguma experiencia, ainda que pouca. E desde ja agradeco a ajuda, bjuss!!!

Rafael, tambem estou tentando fazer algo parecido com o que a Patricia quer, vi o video do link acima e é justamente o que preciso. Vc sabe de alguma apostila/tutorial que me ensine a trabalhar com essa biblioteca Nokogiri? pesquisa simples, como as do video, eu consegui, mas nao sei, por exemplo, como logar em um site para posteriomente salvar as informacoes.

Olá,

Gostaria de saber se existe algum tutorial para criação de uma robô de busca, havendo poderia disponibiliza-lo ?

Desde já grato.

Caro Rafael, preciso de um robô de busca específico e gostaria de saber se você desenvolve para terceiros. Favor entrar em contato diretamente por meu e-mail.

Tenho interesse em converssar com vc sobre negócios. Estou desenvolvendo um site e gostaria de contar com os seus conhecimentos em criar robôs.
Se tiver ineteresse mande-me um email e vamos converssar.
Abs
Angel

Claro!

Entre em contato comigo que eu ajudo, faço ou passo para alguém que faça o que você precisa.

rafael@barbolo.com.br

Abraços