Web Scraping

    Web Scraping com Python e proxies: tutorial completo (2026)

    Configure web scraping com Python e proxies, valide respostas, controle requisições e estime o consumo por GB em projetos autorizados no painel.

    21 de maio de 20265 min de leituraPostado por: Equipe RH7
    Ir para FAQ (3)
    Capa do post “Web Scraping com Python e proxies: tutorial completo (2026)”, categoria Scraping, com identidade visual RH7.
    Compartilhar
    Sumário do artigo

    Python no Brasil: medição de uma coleta pequena autorizada

    Uma loja de Porto Alegre mantém um catálogo próprio em HTML e deseja conferir dez páginas usando sua aplicação Python. O piloto captura status e tamanho da resposta e compara a diferença de consumo no painel. A Rotativa CPA atende a URLs independentes; a Residencial é a alternativa quando origem residencial ou uma sessão persistente forem necessárias.

    Passo a passo do piloto

    1. Confirme a autorização e monte uma lista curta de páginas representativas do catálogo.
    2. Guarde a URL de proxy numa variável de ambiente da aplicação, sem escrever senha no código.
    3. Configure tempo máximo de espera e verificação TLS normal; teste primeiro uma URL.
    4. Anote código de resposta e bytes; em 401, 403 ou 429, pare e revise permissão ou limites.
    5. Compare o consumo no painel antes de ampliar o lote e escolha o volume com base no teste concluído.

    Comece sem paralelismo e só aumente concorrência se a fonte autorizar. Uma biblioteca diferente não elimina a necessidade de controlar timeout, registrar falhas e evitar repetir acessos recusados.

    Veja o produto recomendado: Rotativa CPA e Residencial para Python e confira a tabela de preços atual.

    Preparar credenciais fora do código

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB

    Copie a linha HTTP gerada no painel e configure RH7_PROXY_URL no ambiente do programa. Não use endereço de exemplo como se fosse a conexão entregue. Um arquivo de configuração com senha não deve entrar no repositório nem aparecer em mensagens de erro.

    Para uma aplicação nova, escolha uma biblioteca HTTP compatível com a versão instalada e fixe suas dependências. Neste exemplo, Requests envia uma consulta pequena para verificar a conexão. A mesma configuração só deve ser usada em URLs próprias ou com acesso autorizado.

    import os
    import requests
    
    proxy = os.environ["RH7_PROXY_URL"]
    response = requests.get(
        "https://api.ipify.org?format=json",
        proxies={"http": proxy, "https": proxy},
        timeout=20,
    )
    response.raise_for_status()
    print(response.status_code, len(response.content))
    

    Validar conteúdo antes de extrair

    Depois da consulta de IP, escolha uma página do catálogo próprio de Porto Alegre. Confira status, tipo de conteúdo e presença dos campos esperados. Código 200 não basta: a resposta pode mostrar uma página intermediária. Se o conteúdo não corresponder ao contrato do extrator, registre a falha e não publique campos vazios como se fossem dados reais.

    Use uma amostra permitida para testar seu seletor de título ou preço. Registre qual versão do extrator produziu o resultado. Ao atualizar a biblioteca, repita esse teste para distinguir mudança de parsing de falha de conexão. Uma proxy não corrige um seletor errado nem transforma HTML em JSON.

    Fila simples e limites definidos pela fonte

    Comece sem paralelismo. A quantidade de tarefas simultâneas deve seguir a autorização do catálogo, não o número de IPs disponíveis. Se houver 429, respeite a orientação de espera e pause conforme a cota. Em 401 ou 403, revise permissão e autenticação pelos canais oficiais. Não repita recusas por outras conexões.

    Diferencie timeout de resposta HTTP inválida. Registre identificador da tarefa, horário, status quando existir e motivo resumido, sem incluir proxy autenticada. Na retomada de uma falha temporária autorizada, evite gravar o mesmo produto duas vezes. Uma fila com estado explícito reduz erros e tráfego repetido.

    Python HTTP ou navegador completo

    Requests é adequado quando o recurso autorizado já entrega os dados necessários na resposta. Um navegador automatizado pode ser necessário em aplicação própria cujo conteúdo depende de JavaScript. Nesse caso, compare o custo de carregar scripts, imagens e fontes; uma visita de navegador não pesa o mesmo que uma consulta JSON.

    Não use emulação ou troca de bibliotecas para ocultar automação de uma fonte que recusou acesso. Escolha a ferramenta pelo contrato permitido do projeto. Quando uma API oficial atende a tarefa, confira autenticação, campos e limites antes de criar um extrator HTML.

    Rotação e sessão na aplicação

    Na Rotativa CPA, as tarefas devem tolerar IP novo a cada acesso. Se a jornada autorizada usa cookies e precisa de continuidade, compare o modo de sessão da Residencial. A biblioteca também pode reaproveitar conexões: observe o comportamento real, sem presumir um IP exclusivo para cada objeto de sessão Python.

    Não derive o modo de sessão de um sufixo inventado de usuário. Configure a proxy no painel e use as credenciais geradas. Separar instâncias do cliente ajuda a organizar tarefas, mas não prova dedicação de rede; para esse requisito, compare o produto dedicado.

    Medição do piloto e preço por resultado

    Anote consumo da proxy no início e no fim das dez páginas de teste. Conte tarefas concluídas e falhas que geraram tráfego. Divida a diferença observada pelas tarefas úteis para planejar o próximo lote. O tamanho de response.content mede o corpo recebido, não obrigatoriamente todos os bytes transportados pela conexão.

    Consulte proxy para scraping e preços para o produto e a faixa escolhida. A compra e a confirmação do PIX apresentam suas condições atuais. Não prometa um número fixo de páginas por GB: HTML leve, mídia e atualizações automáticas alteram o volume.

    Uso aceitável do roteiro Python

    Use este piloto em aplicações próprias ou com permissão documentada. Restrinja o programa aos dados autorizados e interrompa diante de recusa. Consulte a política de uso aceitável antes de ampliar a fila.

    Perguntas frequentes

    Tudo o que você precisa saber sobre este tema

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB
    RH7 Proxys

    Sobre o autor

    Equipe RH7

    Equipe da RH7 Proxys: proxies residenciais, mobile e Rotativa CPA com suporte humano 24/7 em português.

    Gostou do conteúdo?

    Compartilhe este artigo com quem precisa ler.

    Newsletter RH7

    Quer mais conteúdo como esse?

    Receba 1 email por semana com cases, scripts e bastidores.

    Receba novos guias técnicos

    1 e-mail por semana, conteúdo prático sobre proxies, scraping e operações.