Técnico

    Requests vs httpx vs aiohttp com proxy

    Requests vs httpx vs aiohttp com proxy: diferenças de performance, suporte a HTTP/2, concorrência e qual escolher para scraping com proxies rotativos.

    06 de junho de 20266 min de leituraPostado por: Equipe RH7
    Capa do post “Requests vs httpx vs aiohttp com proxy”, categoria Comparativo, com identidade visual RH7.
    Compartilhar
    Sumário do artigo

    Escolher a biblioteca de requisições HTTP correta em Python não é apenas uma questão de preferência sintática, mas de arquitetura de rede. Quando adicionamos a camada de proxies residenciais ao fluxo, o comportamento de latência, gerenciamento de conexões e timeouts muda drasticamente. Requests, HTTPX e Aiohttp representam três gerações da stack de rede Python, e cada uma lida com a autenticação e a rotação de IPs de forma distinta.

    O ecossistema de requisições em Python

    A biblioteca Requests ainda é o padrão da indústria pela sua simplicidade, mas ela opera de forma puramente síncrona. Isso significa que, ao utilizar proxies residenciais rotativas, seu script ficará bloqueado esperando a resposta da rede antes de iniciar a próxima tarefa. Em operações de scraping em larga escala, isso é um gargalo inaceitável.

    O HTTPX surge como um sucessor moderno, oferecendo compatibilidade com a sintaxe do Requests, mas suportando tanto chamadas síncronas quanto assíncronas (async/await). Já o Aiohttp é o veterano do mundo assíncrono, projetado especificamente para alta performance e concorrência massiva, exigindo uma curva de aprendizado maior em relação ao gerenciamento de sessões.

    Requests: Estabilidade e simplicidade com Proxies

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB

    O Requests é a escolha ideal para automações simples onde a velocidade de execução não é o fator crítico, mas sim a confiabilidade da entrega. Ele utiliza internamente a urllib3 e lida muito bem com a manutenção de sessões através da classe requests.Session().

    Ao configurar um proxy no Requests, você passa um dicionário. É fundamental entender que o Requests não suporta nativamente o protocolo SOCKS5 sem extensões adicionais, focando primariamente em HTTP/HTTPS.

    import requests
    
    proxies = {
        "http": "http://usuario:senha@ip-da-rh7:porta",
        "https": "http://usuario:senha@ip-da-rh7:porta"
    }
    
    with requests.Session() as session:
        session.proxies.update(proxies)
        response = session.get("https://api.ipify.org?format=json")
        print(response.json())
    

    O principal problema do Requests ao rodar atrás de proxies é o gerenciamento de timeouts. Em redes residenciais, a latência pode variar consideravelmente dependendo do salto do provedor de internet (ISP). Se você não definir um timeout explícito, seu script pode ficar travado indefinidamente.

    HTTPX: A ponte entre o síncrono e o assíncrono

    O HTTPX é atualmente a biblioteca mais versátil. Ele suporta HTTP/2, o que pode resultar em ganhos de performance significativos ao lidar com servidores modernos, reduzindo o overhead da conexão. Ao contrário do Requests, o HTTPX permite que você utilize a mesma biblioteca para scripts rápidos e para sistemas assíncronos complexos.

    A sintaxe de proxy no HTTPX é ligeiramente diferente, utilizando o parâmetro proxy ou mounts. Ele lida melhor com a autenticação em proxies brasileiros, especialmente quando integrados a proxies mobile, onde a troca de IP pode causar interrupções momentâneas na conexão.

    import httpx
    import asyncio
    
    async def fetch():
        proxy = "http://usuario:senha@gateway.rh7proxys.com.br:porta"
        async with httpx.AsyncClient(proxies=proxy) as client:
            r = await client.get("https://httpbin.org/ip")
            print(r.json())
    
    asyncio.run(fetch())
    

    Uma vantagem técnica do HTTPX é a sua capacidade de lidar com pools de conexão de forma mais granular. Isso evita o vazamento de sockets quando você está rotacionando milhares de requisições por minuto.

    Aiohttp: Performance bruta para Web Scraping

    Para quem precisa de máxima concorrência, o Aiohttp é imbatível. Ele foi construído sobre o loop de eventos do Python, permitindo que milhares de requisições ocorram "ao mesmo tempo" em uma única thread. Isso é essencial ao utilizar proxies residenciais fixas para tarefas que exigem persistência de estado em múltiplas abas simuladas.

    No entanto, o Aiohttp tem uma sintaxe mais verbosa e rigorosa. Ele não aceita o dicionário de proxies no mesmo formato que o Requests. Você deve passar a URL do proxy diretamente no método de requisição ou configurar um conector customizado.

    import aiohttp
    import asyncio
    
    async def main():
        proxy_url = "http://usuario:senha@ip:porta"
        async with aiohttp.ClientSession() as session:
            async with session.get("https://api.myip.com", proxy=proxy_url) as resp:
                print(await resp.json())
    
    asyncio.run(main())
    

    O gerenciamento de sessões no Aiohttp é crítico. Criar uma nova ClientSession para cada requisição destrói o propósito da biblioteca, pois elimina o reuso de conexões TCP (keep-alive). Em infraestruturas de proxies de Rotativa CPA, o reuso de conexão pode reduzir o tempo total de resposta em até 30%.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Estratégias de Retry e Timeout com Proxies

    Ao trabalhar com proxies, falhas de rede são esperadas. IPs residenciais podem cair ou rotacionar enquanto a requisição está em curso. Implementar uma lógica de retry robusta é obrigatório.

    No Requests, costuma-se usar a HTTPAdapter da urllib3 para configurar retentativas automáticas. No HTTPX e Aiohttp, essa lógica geralmente é implementada manualmente ou via bibliotecas externas como tenacity.

    Considere sempre configurar três tipos de timeouts:

    • Connect timeout: Tempo para estabelecer conexão com o servidor de proxy.
    • Read timeout: Tempo para receber o primeiro byte do servidor de destino.
    • Pool timeout: Tempo para aguardar uma conexão disponível no pool.

    Para validar se sua configuração de proxy está funcionando corretamente antes de iniciar o processo de scraping, é recomendável utilizar ferramentas externas ou o nosso proxy tester.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Escolhendo a melhor stack para seu projeto

    A decisão final depende do volume de dados. Se você está construindo um MVP ou um script de automação interna que roda uma vez ao dia, Requests é a escolha racional pela manutenção simplificada.

    Se você está desenvolvendo uma aplicação moderna que precisa de alta performance mas preza pela legibilidade do código, o HTTPX é o padrão atual. Ele é especialmente útil para quem consome APIs que suportam HTTP/2.

    Para crawlers massivos, indexadores de busca ou monitoramento de preços em tempo real com milhares de requisições por segundo, o Aiohttp continua sendo a ferramenta de engenharia de dados mais robusta. Para esses casos de uso massivo, recomendamos o uso de proxies de Rotativa CPA em conjunto com residenciais para balancear custo e eficiência.

    Não esqueça de explorar outras ferramentas disponíveis no portal para otimizar suas chamadas de rede e garantir que seu fingerprint seja o mais natural possível para os servidores de destino.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB
    RH7 Proxys

    Sobre o autor

    Equipe RH7

    Equipe da RH7 Proxys: proxies residenciais, mobile e Rotativa CPA com suporte humano 24/7 em português.

    Gostou do conteúdo?

    Compartilhe este artigo com quem precisa ler.

    Newsletter RH7

    Quer mais conteúdo como esse?

    Receba 1 email por semana com cases, scripts e bastidores.

    Receba novos guias técnicos

    1 e-mail por semana, conteúdo prático sobre proxies, scraping e operações.