Scraping

    Proxy para raspagem de dados no Brasil

    Veja como usar proxy para raspagem de dados no Brasil, controlar requisições, configurar Python e calcular o custo por GB da coleta autorizada.

    10 de novembro de 20269 min de leituraPostado por: Equipe RH7
    Ir para FAQ (7)
    Capa do post “Proxy para raspagem de dados no Brasil”, categoria Scraping, com identidade visual RH7.
    Compartilhar
    Sumário do artigo

    Proxy para raspagem de dados distribui conexões e oferece IPs compatíveis com a região da coleta autorizada. Neste guia, você compara Rotativa CPA e Residencial, aprende a controlar requisições, vê um exemplo em Python e calcula o custo por GB.

    O que é raspagem de dados com proxy

    Raspagem de dados, ou web scraping, é a leitura automatizada de informações disponibilizadas por páginas e APIs. Um projeto pode coletar catálogo próprio, preços autorizados, resultados de pesquisa ou dados públicos cuja utilização seja permitida. A proxy altera a origem de rede da conexão e permite escolher localização e comportamento de sessão.

    Ela não substitui uma API oficial, permissão do responsável pela fonte ou limites publicados. Antes de escrever o código, defina quais endereços podem ser acessados, com qual frequência e como os dados serão armazenados. Esse escopo facilita escolher o produto e evita que um teste se transforme em uma rotina sem controle.

    Uma arquitetura básica tem quatro partes: fila de URLs, cliente HTTP com proxy, armazenamento dos resultados e registros de consumo e erros. Mesmo em projetos pequenos, essas partes devem ser observáveis. Sem registros, fica difícil saber se um problema veio da página, da conexão ou do próprio programa.

    Rotativa CPA ou Residencial para scraping

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB

    A Rotativa CPA fornece IP novo a cada acesso e é vendida em pacotes fechados por GB. Ela é indicada para requisições independentes, nas quais cada resposta completa uma unidade de trabalho e não depende da sessão anterior.

    A Residencial Rotativa permite trabalhar com rotação e também oferece opções de sessão persistente. É útil quando a coleta precisa escolher o comportamento por etapa: manter uma sessão para consultar uma sequência e rotacionar em outra tarefa independente.

    SituaçãoOpção a avaliarMotivo
    Requisições independentesRotativa CPAIP novo a cada acesso
    Coleta com etapas conectadasResidencial com sessãoContinuidade durante a jornada
    Pacote fechado para CPA e scrapingRotativa CPAVolumes definidos por GB
    Diferentes países e modos de sessãoResidencialFlexibilidade de configuração

    A página proxy para raspagem de dados reúne os caminhos de compra. Compare o preço vigente por GB, o modo de sessão e a localização antes de decidir. O menor valor unitário só é vantajoso quando o comportamento do produto atende à coleta.

    Como a rotação funciona nas requisições

    No modo rotativo, cada nova conexão pode sair por outro IP. Isso significa que duas chamadas seguidas do mesmo programa podem apresentar origens diferentes. A aplicação deve tratar cada requisição como independente e não presumir que cookies associados a uma sessão serão válidos em outra.

    Para filas simples, crie a conexão, envie a requisição, valide a resposta e registre o resultado. Se precisar repetir uma falha temporária, respeite o número de tentativas e o intervalo definidos no projeto. Não transforme rotação em mecanismo para insistir depois de uma recusa explícita da fonte.

    Quando a tarefa tiver login, paginação dependente de cookie ou etapas encadeadas, use a sessão prevista pelo produto. Troque de modo somente depois de testar uma amostra. Alterar rotação, concorrência e cabeçalhos ao mesmo tempo dificulta identificar a causa de qualquer erro.

    Limite de requisições e concorrência

    Comece pelo limite documentado pela fonte ou pela autorização recebida. Se houver uma cota por minuto, configure um controlador de taxa no cliente. A quantidade de workers não deve ultrapassar a capacidade prevista, e o número de IPs disponíveis não aumenta a permissão de acesso.

    Uma fila saudável registra tempo de resposta, códigos HTTP e tentativas. Reduza a concorrência quando houver aumento de erros temporários, latência ou consumo inesperado. Para uma API com limite conhecido, utilize tokens por janela de tempo; para uma coleta autorizada sem API, siga a frequência acordada com o responsável.

    Evite repetir imediatamente respostas 400 ou 404, pois elas normalmente indicam endereço ou parâmetro inválido. Em respostas 401 ou 403, revise credenciais, escopo e permissões. Em 429 ou 5xx, aplique espera e limite de tentativas, sempre respeitando os cabeçalhos e orientações da fonte.

    Exemplo em Python com requests

    O exemplo abaixo usa variáveis de ambiente para não gravar usuário e senha no código. Ele processa poucas URLs, aplica intervalo e registra apenas dados técnicos necessários. Troque a lista por fontes próprias ou autorizadas e mantenha o limite adequado ao seu projeto.

    import os
    import time
    import requests
    
    proxy_url = os.environ["RH7_PROXY_URL"]
    proxies = {"http": proxy_url, "https": proxy_url}
    urls = [
        "https://exemplo.com/catalogo/1",
        "https://exemplo.com/catalogo/2",
    ]
    
    for url in urls:
        try:
            response = requests.get(
                url,
                proxies=proxies,
                timeout=(10, 30),
                headers={"Accept-Language": "pt-BR,pt;q=0.9"},
            )
            print(response.status_code, len(response.content))
            if response.status_code == 200:
                salvar_resposta_autorizada(url, response.content)
            elif response.status_code in (401, 403):
                registrar_revisao_de_permissao(url)
                break
        except requests.RequestException as erro:
            registrar_falha_temporaria(type(erro).__name__)
        time.sleep(2)
    

    As funções de registro e armazenamento representam a lógica do seu projeto. Em produção, não salve dados pessoais desnecessários nem credenciais nos registros. Também valide o tamanho da resposta antes de processar arquivos grandes e defina tempo máximo de leitura para não deixar workers parados.

    Quanto custa uma coleta por GB

    O custo começa com o volume transferido, não somente com o número de páginas. Some os bytes das respostas e das requisições que entram na medição do produto e divida pelo preço por GB apresentado no pedido. O valor final deve ser conferido na tabela vigente, pois cada produto e faixa de volume pode ter preço diferente.

    A fórmula de planejamento é simples: requisições previstas × tamanho médio por requisição = tráfego estimado. Depois, multiplique os GB pelo preço unitário da faixa escolhida. Se 20.000 respostas tiverem média de 250 KB, o volume aproximado será 5.000.000 KB, ou cerca de 5 GB antes de margens e repetições.

    Faça uma amostra real, porque HTML compactado, JSON, imagens e arquivos têm pesos muito diferentes. Uma página de 300 KB não custa o mesmo que uma sequência que baixa 5 MB de mídia. Desative downloads que não fazem parte do escopo autorizado e meça novamente antes de dimensionar o pacote.

    Inclua no orçamento somente repetições realmente necessárias. Um programa que baixa a mesma página várias vezes pode gastar mais do que um aumento de volume justificaria. Cache local, datas de modificação e filtros na fila ajudam a reduzir tráfego sem alterar o escopo da coleta.

    Como reduzir erros e desperdício

    Valide primeiro dez ou vinte URLs representativas. Confira se o conteúdo recebido é o esperado e se o tamanho faz sentido. Uma resposta 200 pode conter uma página de erro, por isso o programa deve verificar elementos ou campos essenciais antes de considerar a tarefa concluída.

    Registre o consumo por etapa e separe falhas de rede, falhas HTTP e erros de interpretação. Esse detalhamento permite agir no ponto correto. Se muitas respostas chegam vazias, revise o cliente; se a fila contém endereços inválidos, corrija a origem em vez de aumentar tentativas.

    Use identificadores de execução para comparar períodos no painel. Quando o consumo subir sem aumento de resultados, interrompa a rotina e verifique redirecionamentos, mídia e repetições. O objetivo é produzir dados úteis com o menor tráfego necessário, não maximizar requisições.

    Como comprar e configurar

    Acesse proxy para scraping no Brasil, escolha Rotativa CPA ou Residencial e selecione o volume. O resumo mostra o preço antes do PIX. Depois da confirmação, copie as credenciais no painel e configure uma variável de ambiente segura no ambiente de execução.

    Execute a amostra, valide localização, resposta e consumo, e só então aumente a fila dentro da permissão. O suporte em português pode ajudar com os campos de conexão e a leitura das métricas, mas a autorização e os limites da fonte continuam sendo responsabilidade do projeto.

    Uso aceitável

    Colete apenas dados que você tem permissão para acessar e respeite termos, robots, cotas e decisões da fonte quando aplicáveis ao seu acordo. Prefira APIs oficiais e minimize dados pessoais. A proxy não autoriza contornar bloqueios, verificações ou restrições de acesso.

    Perguntas frequentes

    Tudo o que você precisa saber sobre este tema

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB
    RH7 Proxys

    Sobre o autor

    Equipe RH7

    Equipe da RH7 Proxys: proxies residenciais, mobile e Rotativa CPA com suporte humano 24/7 em português.

    Gostou do conteúdo?

    Compartilhe este artigo com quem precisa ler.

    Newsletter RH7

    Quer mais conteúdo como esse?

    Receba 1 email por semana com cases, scripts e bastidores.

    Receba novos guias técnicos

    1 e-mail por semana, conteúdo prático sobre proxies, scraping e operações.