Técnico

    Selenium Grid com pool de proxies BR

    Como rodar Selenium Grid em escala com pool de proxies residenciais brasileiros.

    05 de junho de 20266 min de leituraPostado por: Equipe RH7
    Capa do post “Selenium Grid com pool de proxies BR”, categoria Tutorial, com identidade visual RH7.
    Compartilhar
    Sumário do artigo

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    A arquitetura do Selenium Grid para alta performance

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB

    O Selenium Grid permite distribuir a execução de testes e crawlers em várias máquinas (nós), gerenciadas por um hub central. Em um cenário de produção, essa estrutura geralmente roda em containers Docker ou clusters Kubernetes. O hub recebe as requisições do script e as encaminha para o nó disponível que possua as capacidades (browsers) solicitadas.

    Para testes em aplicações próprias ou autorizadas, documente localização, fuso e sessão para reproduzir o ambiente. Se houver recusa ou verificação, interrompa e siga o canal oficial; mudar identidade ou conexão não autoriza continuar.

    Implementando o pool de proxies brasileiros

    Para evitar o overhead de configurar um proxy diferente para cada nó manualmente, a estratégia mais eficiente é utilizar um endpoint de rotação. Em vez de gerenciar uma lista estática de centenas de IPs, você configura o Selenium para apontar para um gateway único que rotaciona o IP de saída a cada nova requisição ou sessão.

    Para testes em aplicações próprias ou autorizadas, documente localização, fuso e sessão para reproduzir o ambiente. Se houver recusa ou verificação, interrompa e siga o canal oficial; mudar identidade ou conexão não autoriza continuar.

    Configuração técnica do WebDriver com Proxy Authentication

    A maioria dos provedores de proxy de alta qualidade exige autenticação via usuário e senha. O Selenium, nativamente, apresenta dificuldades para lidar com pop-ups de autenticação de proxy. A forma mais técnica de resolver isso é através da extensão proxy-auth-extension ou utilizando as opções do navegador para injetar as credenciais.

    Abaixo, um exemplo técnico em Python utilizando webdriver.Remote para conectar ao Selenium Grid enviando as opções de proxy:

    from selenium import webdriver
    from selenium.webdriver.common.proxy import Proxy, ProxyType
    ## Configurações do Proxy da RH7 Proxys
    PROXY_HOST = "br.rh7proxys.com"
    PROXY_PORT = "1000"
    PROXY_USER = "seu_usuario"
    PROXY_PASS = "sua_senha"
    
    def get_driver_options():
        proxy_str = f"{PROXY_HOST}:{PROXY_PORT}"
    
        # Para proxies que não exigem auth por header (ex: IP Whitelist)
        proxy = Proxy()
        proxy.proxy_type = ProxyType.MANUAL
        proxy.http_proxy = proxy_str
        proxy.ssl_proxy = proxy_str
    
        options = webdriver.ChromeOptions()
        options.add_argument('--headless') # Opcional para performance
        options.add_argument('--no-sandbox')
        options.set_capability('proxy', proxy.to_capabilities())
    
        return options
    ## Conectando ao Hub do Selenium Grid
    driver = webdriver.Remote(
        command_executor='http://seu-hub-ip:4444/wd/hub',
        options=get_driver_options()
    )
    
    driver.get("https://google.com.br")
    print(driver.title)
    driver.quit()
    

    Se o seu projeto exige que o IP permaneça o mesmo durante toda a navegação (como em processos de checkout ou mineração de dados em múltiplas páginas de uma mesma sessão), o ideal é utilizar proxies residenciais fixas, que mantêm a persistência da sessão por períodos determinados.

    Gerenciamento de sessões e concorrência no Grid

    Rodar um pool de proxies exige atenção ao gerenciamento de threads. O Selenium Grid limita o número de sessões simultâneas com base nos recursos de CPU e RAM dos nós. Se você configurar 50 nós, mas o seu pool de proxies for limitado a 10 conexões simultâneas, você criará um gargalo de rede onde as requisições começarão a falhar por timeout.

    É fundamental alinhar o maxSession do seu arquivo config.toml (no Selenium 4) ou nodeConfig.json (no Selenium 3) com a capacidade contratada no seu plano de proxy. Além disso, monitore a latência. Proxies brasileiros tendem a ter uma latência menor para sites hospedados no Brasil, o que reduz o tempo total de execução de cada tarefa no Grid.

    Depuração e verificação de IP em tempo real

    Um erro comum em arquiteturas distribuídas é assumir que o proxy está funcionando apenas porque o script não retornou erro. É necessário validar se o tráfego está realmente saindo pelo IP brasileiro esperado. Dentro do seu script de automação, insira uma etapa de validação inicial acessando ferramentas de diagnóstico.

    Você pode programar o nó para acessar meu-ip antes de iniciar o scraping principal. Se o IP retornado pertencer ao AWS ou Google Cloud em vez de um ISP residencial brasileiro, a configuração de proxy do WebDriver falhou. Outra boa prática é utilizar um proxy-tester externo para validar a saúde da sua lista de credenciais antes de subir o cluster de containers.

    Vantagens dos Proxies Mobile e Rotativa CPA no Grid

    Dependendo do objetivo, o profissional de Scraping pode alternar os tipos de proxy no Selenium Grid:

    Para testes em aplicações próprias ou autorizadas, documente localização, fuso e sessão para reproduzir o ambiente. Se houver recusa ou verificação, interrompa e siga o canal oficial; mudar identidade ou conexão não autoriza continuar.

    A implementação híbrida no Selenium Grid, onde alguns nós usam Rotativa CPA para tarefas simples e outros usam Residenciais para tarefas críticas, otimiza o ROI (Retorno sobre Investimento) da operação técnica.

    Segurança e isolamento de ambientes

    Ao rodar Selenium Grid em escala com proxies, a segurança da infraestrutura não deve ser negligenciada. O tráfego entre o seu script e o Hub, e entre o Hub e os Nós, deve estar em uma rede privada. Expor a porta 4444 do Selenium para a internet pública sem camadas de autenticação é um risco crítico.

    Combine o uso de autenticação de proxy forte com firewalls de IP no seu cluster. A RH7 Proxys recomenda que, ao configurar seus nós no Docker, você utilize redes isoladas e verifique se as requisições DNS também estão sendo resolvidas através do proxy para evitar "DNS Leaks", que podem revelar a verdadeira localização do seu servidor de automação.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB
    RH7 Proxys

    Sobre o autor

    Equipe RH7

    Equipe da RH7 Proxys: proxies residenciais, mobile e Rotativa CPA com suporte humano 24/7 em português.

    Gostou do conteúdo?

    Compartilhe este artigo com quem precisa ler.

    Newsletter RH7

    Quer mais conteúdo como esse?

    Receba 1 email por semana com cases, scripts e bastidores.

    Receba novos guias técnicos

    1 e-mail por semana, conteúdo prático sobre proxies, scraping e operações.