Web Scraping com Python e proxies: tutorial completo (2026)
Configure web scraping com Python e proxies, valide respostas, controle requisições e estime o consumo por GB em projetos autorizados no painel.

Sumário do artigo
Python no Brasil: medição de uma coleta pequena autorizada
Uma loja de Porto Alegre mantém um catálogo próprio em HTML e deseja conferir dez páginas usando sua aplicação Python. O piloto captura status e tamanho da resposta e compara a diferença de consumo no painel. A Rotativa CPA atende a URLs independentes; a Residencial é a alternativa quando origem residencial ou uma sessão persistente forem necessárias.
Passo a passo do piloto
- Confirme a autorização e monte uma lista curta de páginas representativas do catálogo.
- Guarde a URL de proxy numa variável de ambiente da aplicação, sem escrever senha no código.
- Configure tempo máximo de espera e verificação TLS normal; teste primeiro uma URL.
- Anote código de resposta e bytes; em 401, 403 ou 429, pare e revise permissão ou limites.
- Compare o consumo no painel antes de ampliar o lote e escolha o volume com base no teste concluído.
Comece sem paralelismo e só aumente concorrência se a fonte autorizar. Uma biblioteca diferente não elimina a necessidade de controlar timeout, registrar falhas e evitar repetir acessos recusados.
Veja o produto recomendado: Rotativa CPA e Residencial para Python e confira a tabela de preços atual.
Preparar credenciais fora do código
Proxy residencial rotativa
Teste com 1 GB
R$ 9,90 por 1 GB
Copie a linha HTTP gerada no painel e configure RH7_PROXY_URL no ambiente do programa. Não use endereço de exemplo como se fosse a conexão entregue. Um arquivo de configuração com senha não deve entrar no repositório nem aparecer em mensagens de erro.
Para uma aplicação nova, escolha uma biblioteca HTTP compatível com a versão instalada e fixe suas dependências. Neste exemplo, Requests envia uma consulta pequena para verificar a conexão. A mesma configuração só deve ser usada em URLs próprias ou com acesso autorizado.
import os
import requests
proxy = os.environ["RH7_PROXY_URL"]
response = requests.get(
"https://api.ipify.org?format=json",
proxies={"http": proxy, "https": proxy},
timeout=20,
)
response.raise_for_status()
print(response.status_code, len(response.content))
Validar conteúdo antes de extrair
Depois da consulta de IP, escolha uma página do catálogo próprio de Porto Alegre. Confira status, tipo de conteúdo e presença dos campos esperados. Código 200 não basta: a resposta pode mostrar uma página intermediária. Se o conteúdo não corresponder ao contrato do extrator, registre a falha e não publique campos vazios como se fossem dados reais.
Use uma amostra permitida para testar seu seletor de título ou preço. Registre qual versão do extrator produziu o resultado. Ao atualizar a biblioteca, repita esse teste para distinguir mudança de parsing de falha de conexão. Uma proxy não corrige um seletor errado nem transforma HTML em JSON.
Fila simples e limites definidos pela fonte
Comece sem paralelismo. A quantidade de tarefas simultâneas deve seguir a autorização do catálogo, não o número de IPs disponíveis. Se houver 429, respeite a orientação de espera e pause conforme a cota. Em 401 ou 403, revise permissão e autenticação pelos canais oficiais. Não repita recusas por outras conexões.
Diferencie timeout de resposta HTTP inválida. Registre identificador da tarefa, horário, status quando existir e motivo resumido, sem incluir proxy autenticada. Na retomada de uma falha temporária autorizada, evite gravar o mesmo produto duas vezes. Uma fila com estado explícito reduz erros e tráfego repetido.
Python HTTP ou navegador completo
Requests é adequado quando o recurso autorizado já entrega os dados necessários na resposta. Um navegador automatizado pode ser necessário em aplicação própria cujo conteúdo depende de JavaScript. Nesse caso, compare o custo de carregar scripts, imagens e fontes; uma visita de navegador não pesa o mesmo que uma consulta JSON.
Não use emulação ou troca de bibliotecas para ocultar automação de uma fonte que recusou acesso. Escolha a ferramenta pelo contrato permitido do projeto. Quando uma API oficial atende a tarefa, confira autenticação, campos e limites antes de criar um extrator HTML.
Rotação e sessão na aplicação
Na Rotativa CPA, as tarefas devem tolerar IP novo a cada acesso. Se a jornada autorizada usa cookies e precisa de continuidade, compare o modo de sessão da Residencial. A biblioteca também pode reaproveitar conexões: observe o comportamento real, sem presumir um IP exclusivo para cada objeto de sessão Python.
Não derive o modo de sessão de um sufixo inventado de usuário. Configure a proxy no painel e use as credenciais geradas. Separar instâncias do cliente ajuda a organizar tarefas, mas não prova dedicação de rede; para esse requisito, compare o produto dedicado.
Medição do piloto e preço por resultado
Anote consumo da proxy no início e no fim das dez páginas de teste. Conte tarefas concluídas e falhas que geraram tráfego. Divida a diferença observada pelas tarefas úteis para planejar o próximo lote. O tamanho de response.content mede o corpo recebido, não obrigatoriamente todos os bytes transportados pela conexão.
Consulte proxy para scraping e preços para o produto e a faixa escolhida. A compra e a confirmação do PIX apresentam suas condições atuais. Não prometa um número fixo de páginas por GB: HTML leve, mídia e atualizações automáticas alteram o volume.
Uso aceitável do roteiro Python
Use este piloto em aplicações próprias ou com permissão documentada. Restrinja o programa aos dados autorizados e interrompa diante de recusa. Consulte a política de uso aceitável antes de ampliar a fila.
Perguntas frequentes
Tudo o que você precisa saber sobre este tema
Proxy residencial rotativa
Teste com 1 GB
R$ 9,90 por 1 GB

Sobre o autor
Equipe RH7
Equipe da RH7 Proxys: proxies residenciais, mobile e Rotativa CPA com suporte humano 24/7 em português.
Categoria
Web ScrapingNewsletter RH7
Quer mais conteúdo como esse?
Receba 1 email por semana com cases, scripts e bastidores.
Receba novos guias técnicos
1 e-mail por semana, conteúdo prático sobre proxies, scraping e operações.