Técnico

    Como usar proxy rotativo em scraping: guia prático

    Aprenda como usar proxy rotativo em scraping com exemplos, controle de requisições, sessões e cálculo de GB para sua coleta autorizada no Brasil.

    21 de abril de 20266 min de leituraPostado por: Equipe RH7
    Ir para FAQ (8)
    Capa do post “Como usar proxy rotativo em scraping: guia prático”, categoria Scraping, com identidade visual RH7.
    Compartilhar
    Sumário do artigo

    Roteiro brasileiro: rotação em um catálogo de teste

    Uma loja de Recife mantém um catálogo próprio com páginas independentes e deseja conferir sua apresentação por uma conexão brasileira. O operador define dez URLs de produtos sem login e usa a Rotativa CPA. A tarefa não exige cookies persistentes, portanto a troca de IP não interrompe a navegação. Esse piloto serve para comparar respostas e consumo, não para medir uma suposta capacidade universal de requisições.

    Passo a passo do piloto

    1. Monte uma lista pequena de URLs próprias com tamanhos diferentes de página.
    2. Selecione Rotativa CPA quando não precisar de continuidade; escolha Residencial se a sessão exigir cookies.
    3. Configure a conexão uma vez e envie requisições com tempo máximo de espera e concorrência baixa.
    4. Registre código da resposta, tamanho transferido e horário; descarte respostas incompletas da comparação.
    5. Confira a diferença de consumo no painel e dimensione a compra seguinte a partir do lote concluído.

    O lote de Recife deve ser repetível: mesmas URLs e mesmos recursos carregados. Compare a Rotativa CPA com a Residencial somente em tarefas autorizadas equivalentes, sem prometer o mesmo resultado.

    Veja o produto recomendado: Proxy rotativa e confira a tabela de preços atual.

    Para comparar produtos e preços, acesse a página de proxy rotativa da RH7. Ela reúne as opções de compra; este artigo continua focado na configuração prática para scraping.

    Rotação entre tarefas, continuidade dentro da jornada

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB

    Proxy rotativa é uma configuração de conexão que pode apresentar outro endereço IP a cada novo acesso. Isso não significa que o endereço será exclusivo, que uma cidade estará disponível permanentemente ou que um serviço aceitará a requisição. Em uma coleta autorizada, a rotação deve corresponder à estrutura do trabalho: páginas independentes podem ser processadas separadamente; uma sequência que depende de cookies exige continuidade.

    A diferença entre essas situações aparece num catálogo de teste. Consultar o título de dez produtos sem autenticação é diferente de entrar numa conta própria, selecionar uma opção e concluir uma operação. No primeiro caso, cada resposta pode encerrar a tarefa. No segundo, a aplicação pode associar os passos à sessão. Defina esse comportamento antes de escolher o produto, não depois de observar erros.

    Credenciais e um teste Python completo

    Copie a linha HTTP gerada na Configuração da sua proxy. Não substitua portas nem invente sufixos de usuário com base em exemplos antigos: localização, protocolo e modo devem vir da configuração atual. Guarde a linha numa variável de ambiente do seu programa, fora do código e dos registros públicos.

    import os
    import requests
    
    proxy = os.environ["RH7_PROXY_URL"]
    urls = ["https://api.ipify.org?format=json"]
    for url in urls:
        response = requests.get(
            url, proxies={"http": proxy, "https": proxy}, timeout=20
        )
        response.raise_for_status()
        print(response.status_code, len(response.content))
    

    O exemplo confirma a resposta de uma consulta de IP, não a capacidade de uma coleta inteira. Para o catálogo de Recife, substitua a lista somente por URLs próprias ou autorizadas. Primeiro confirme que cada corpo contém os campos esperados. Um status 200 pode trazer uma página de aviso em vez do produto.

    Ritmo e registro do lote

    Comece com uma requisição de cada vez. A fonte determina frequência e concorrência permitidas; IP novo não aumenta a cota da integração. Em 429, respeite a orientação recebida e interrompa o lote quando necessário. Em 401 ou 403, confira autorização e credenciais do destino antes de repetir. Não distribua tentativas entre conexões para insistir em uma recusa.

    Registre URL ou identificador permitido, horário, status, duração e resultado da extração. Não registre a linha autenticada de proxy. Diferencie falha de conexão, resposta recusada e campo ausente: cada situação pede uma revisão distinta. Sem essa distinção, aumentar a concorrência pode multiplicar o problema e o tráfego.

    Pacote por GB e comparação entre produtos

    A Rotativa CPA é otimizada para CPA e web scraping, com pacotes de 10, 20, 50, 100, 200 e 500 GB. A Residencial permite comparar rotação e sessão persistente conforme as opções disponíveis. Uma sessão persistente não equivale automaticamente a IPv4 dedicado; para dedicação, confira o produto específico.

    Meça consumo antes e depois de uma amostra e divida a diferença pelo número de tarefas concluídas. Use a média dessa própria amostra para planejar volume, incluindo carregamentos e repetições previstos. O tamanho do corpo registrado pelo programa não substitui a medição da proxy, pois a conexão pode transportar outros dados.

    Consulte proxy rotativa para comparar as opções e Rotativa CPA para ver os pacotes. Verifique preço e condições no resumo da compra. A entrega ocorre após a confirmação do pagamento; este guia não estabelece preços nem altera regras de contratação.

    Quando pausar a execução

    Se o catálogo mudar formato, preserve uma resposta permitida para revisar o extrator e pause a fila. Se a localização estimada divergir do cenário, confira a seleção e o IP no aplicativo. Se uma jornada perder continuidade, examine o modo escolhido antes de trocar credenciais. Faça uma mudança por teste e anote o resultado.

    Rotação é uma ferramenta de conectividade, não uma promessa de disponibilidade. O fluxo só deve crescer depois que a amostra demonstrar conteúdo correto, permissão válida e consumo compatível com o orçamento.

    Uso responsável neste roteiro

    Este teste de Proxy rotativa deve ocorrer em aplicações próprias ou com permissão documentada. Antes de ampliar a amostra, confirme limites e condições da fonte. Caso o destino recuse a tarefa, pare o roteiro e procure o canal oficial; a troca de conexão não altera a permissão. Consulte as regras de uso aceitável.

    Perguntas frequentes

    Tudo o que você precisa saber sobre este tema

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB
    RH7 Proxys

    Sobre o autor

    Equipe RH7

    Equipe da RH7 Proxys: proxies residenciais, mobile e Rotativa CPA com suporte humano 24/7 em português.

    Gostou do conteúdo?

    Compartilhe este artigo com quem precisa ler.

    Newsletter RH7

    Quer mais conteúdo como esse?

    Receba 1 email por semana com cases, scripts e bastidores.

    Receba novos guias técnicos

    1 e-mail por semana, conteúdo prático sobre proxies, scraping e operações.