Tentei utilizar estes exemplos, porém não funcionaram... estou numa rede onde é necessário o proxy para acesso a web. Nesta mesma rede, tenho uma intranet toda em php + mysql. Estou tentando incluir nesta intranet, um script onde, através do endereço, eu obtenho as coordenadas geográficas. O script busca no mysql o endereço, manda pro google e obtem um xml com os dados. Pego o retorno, faço tratamento e salvo novamente no bd... acontece que não consigo comunicação do script php com o google. Se eu rodo em casa, se proxy, funciona normalmente, o mesmo script... o meu problema é a configuração do proxy, que não consigo fazer no apache e não consigo entender as referencias que vejo pela internet afora. Já tentei diversas formas e maneiras, mas não consigo... talves seja por falta de conhecimento mesmo... alguém poderia me ajudar????
Talvez esteja havendo uma confusão aqui quando se fala de proxy.
Vou tentar explicar a qual tipo de proxy os exemplos da postagem se referem: trata-se daqueles tipos de webproxies disponíveis na internet para camuflar o teu IP (intenção de navegar anonimamente, por exemplo, ou para que o site algo não detecte que o script está sendo rodado sempre de um mesmo IP).
Quando vc fala que há um proxy na sua rede, na verdade é tipo um servidor proxy que controla as conexões das máquinas, permitindo ou não navegações para determinados sites, estabelecendo regras de conexão, etc... Um exemplo seria o SQUID.
Observe que são ambos são chamados de proxy, mas eles são diferentes.
No primeiro caso (webproxy), pressupõe-se o script acessa qualquer site da internet, e a intenção é apenas forçar que o script passe pelo proxy para mascarar o IP.
No segundo caso (seu caso), o script só conseguirá acesso a um site da internet caso vc configure corretamente o servidor.
Passos:
vá no servidor que está rodando apache e acesse o terminal (pode ser via SSH). Digite:
set http_proxy=http://meuusuario:minhasenha@192.168.0.1:3128
(use apropriadamente o usuario, senha, 192.168.0.1 é um exemplo de IP onde está instalado o proxyserver e 3128 é um exemplo de porta do proxyserver)
Certa vez, eu criei um script mais ou menos igual ao que vc fez, mas era pra ir no site dos correios e obter o nome da rua quando informamos o cep.
associei o script PHP a uma base de dados mysql para pegar todos os nomes de rua dos ceps.
Fiz esse script rodar automaticamente, buscando cep por cep, iniciando em 00000000 até 99999999, ou seja, todos as combinações possíveis.
O problema surgiu quando o site dos correios detectava que as requisições eram provenientes sempre de um mesmo IP e bloqueava futuras consultas por um determinado tempo.
O que eu fiz? Como não quis esperar o desbloqueio, surgiu-me essa idéia de mascarar o IP do script e fui atrás para saber como se fazia.
Então meu script usava diversos webproxies aleatoriamente, trocando de webproxy a cada intervalo de tempo, de forma que o site dos correios parou de bloquear.
A pesquisa de endereços demorou mais de 3 meses para ser concluída, mas consegui.
Talvez se no seu caso, a busca de coordenadas no google for bloqueada por causa do excesso de consultas, pense nessa alternativa
Olá, Hugo teria como vc me passar esse script dos correios? Gostaria de fazer umas rotações de proxy para usar o file_get_contents mas não sei os formatos ou padrões corretos. manda no meu e-mail tribbalero@hotmail.com vlww
Anderson, para vc ter ajuda, vc precisa detalhar o que vc quer e onde está encontrando dificuldades.
Vou dar um exemplo: O site alvo disponibiliza os dados dos produtos de que forma para que vc importe para sua loja? O site te fornece um arquivo com todos os produtos? Vc tem acesso ao banco de dados do site alvo? Ou vc só tem acesso à página web?
7 comentários:
Boa Tarde,
Tentei utilizar estes exemplos, porém não funcionaram... estou numa rede onde é necessário o proxy para acesso a web. Nesta mesma rede, tenho uma intranet toda em php + mysql. Estou tentando incluir nesta intranet, um script onde, através do endereço, eu obtenho as coordenadas geográficas. O script busca no mysql o endereço, manda pro google e obtem um xml com os dados. Pego o retorno, faço tratamento e salvo novamente no bd... acontece que não consigo comunicação do script php com o google. Se eu rodo em casa, se proxy, funciona normalmente, o mesmo script... o meu problema é a configuração do proxy, que não consigo fazer no apache e não consigo entender as referencias que vejo pela internet afora. Já tentei diversas formas e maneiras, mas não consigo... talves seja por falta de conhecimento mesmo... alguém poderia me ajudar????
Boa tarde Wilks Rogers,
Talvez esteja havendo uma confusão aqui quando se fala de proxy.
Vou tentar explicar a qual tipo de proxy os exemplos da postagem se referem: trata-se daqueles tipos de webproxies disponíveis na internet para camuflar o teu IP (intenção de navegar anonimamente, por exemplo, ou para que o site algo não detecte que o script está sendo rodado sempre de um mesmo IP).
Quando vc fala que há um proxy na sua rede, na verdade é tipo um servidor proxy que controla as conexões das máquinas, permitindo ou não navegações para determinados sites, estabelecendo regras de conexão, etc... Um exemplo seria o SQUID.
Observe que são ambos são chamados de proxy, mas eles são diferentes.
No primeiro caso (webproxy), pressupõe-se o script acessa qualquer site da internet, e a intenção é apenas forçar que o script passe pelo proxy para mascarar o IP.
No segundo caso (seu caso), o script só conseguirá acesso a um site da internet caso vc configure corretamente o servidor.
Passos:
vá no servidor que está rodando apache e acesse o terminal (pode ser via SSH). Digite:
set http_proxy=http://meuusuario:minhasenha@192.168.0.1:3128
(use apropriadamente o usuario, senha, 192.168.0.1 é um exemplo de IP onde está instalado o proxyserver e 3128 é um exemplo de porta do proxyserver)
e para desfazer o comando acima, digite:
unset http_proxy
Certa vez, eu criei um script mais ou menos igual ao que vc fez, mas era pra ir no site dos correios e obter o nome da rua quando informamos o cep.
associei o script PHP a uma base de dados mysql para pegar todos os nomes de rua dos ceps.
Fiz esse script rodar automaticamente, buscando cep por cep, iniciando em 00000000 até 99999999, ou seja, todos as combinações possíveis.
O problema surgiu quando o site dos correios detectava que as requisições eram provenientes sempre de um mesmo IP e bloqueava futuras consultas por um determinado tempo.
O que eu fiz? Como não quis esperar o desbloqueio, surgiu-me essa idéia de mascarar o IP do script e fui atrás para saber como se fazia.
Então meu script usava diversos webproxies aleatoriamente, trocando de webproxy a cada intervalo de tempo, de forma que o site dos correios parou de bloquear.
A pesquisa de endereços demorou mais de 3 meses para ser concluída, mas consegui.
Talvez se no seu caso, a busca de coordenadas no google for bloqueada por causa do excesso de consultas, pense nessa alternativa
Olá, Hugo teria como vc me passar esse script dos correios? Gostaria de fazer umas rotações de proxy para usar o file_get_contents mas não sei os formatos ou padrões corretos. manda no meu e-mail tribbalero@hotmail.com
vlww
Olá Anderson, não gosto de enviar scripts, mas me disponho a ajudá-lo a montar o seu.
Explique uma coisa, não entendi bem sua dúvida. Por acaso o teu problema seria apenas conseguir rotacionar os proxies?
Eu gostaria de acessar um site para fazer a importação de produtos para a minha loja, me ajude a montar o script que mascara o proxy
Anderson, para vc ter ajuda, vc precisa detalhar o que vc quer e onde está encontrando dificuldades.
Vou dar um exemplo: O site alvo disponibiliza os dados dos produtos de que forma para que vc importe para sua loja? O site te fornece um arquivo com todos os produtos? Vc tem acesso ao banco de dados do site alvo? Ou vc só tem acesso à página web?
Isso é só um começo para entendermos o cenário.
Postar um comentário