Selenium Grid com pool de proxies BR
Como rodar Selenium Grid em escala com pool de proxies residenciais brasileiros.

Sumário do artigo
Requisitos do acesso autorizado
Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.
A arquitetura do Selenium Grid para alta performance
Proxy residencial rotativa
Teste com 1 GB
R$ 9,90 por 1 GB
O Selenium Grid permite distribuir a execução de testes e crawlers em várias máquinas (nós), gerenciadas por um hub central. Em um cenário de produção, essa estrutura geralmente roda em containers Docker ou clusters Kubernetes. O hub recebe as requisições do script e as encaminha para o nó disponível que possua as capacidades (browsers) solicitadas.
Para testes em aplicações próprias ou autorizadas, documente localização, fuso e sessão para reproduzir o ambiente. Se houver recusa ou verificação, interrompa e siga o canal oficial; mudar identidade ou conexão não autoriza continuar.
Implementando o pool de proxies brasileiros
Para evitar o overhead de configurar um proxy diferente para cada nó manualmente, a estratégia mais eficiente é utilizar um endpoint de rotação. Em vez de gerenciar uma lista estática de centenas de IPs, você configura o Selenium para apontar para um gateway único que rotaciona o IP de saída a cada nova requisição ou sessão.
Para testes em aplicações próprias ou autorizadas, documente localização, fuso e sessão para reproduzir o ambiente. Se houver recusa ou verificação, interrompa e siga o canal oficial; mudar identidade ou conexão não autoriza continuar.
Configuração técnica do WebDriver com Proxy Authentication
A maioria dos provedores de proxy de alta qualidade exige autenticação via usuário e senha. O Selenium, nativamente, apresenta dificuldades para lidar com pop-ups de autenticação de proxy. A forma mais técnica de resolver isso é através da extensão proxy-auth-extension ou utilizando as opções do navegador para injetar as credenciais.
Abaixo, um exemplo técnico em Python utilizando webdriver.Remote para conectar ao Selenium Grid enviando as opções de proxy:
from selenium import webdriver
from selenium.webdriver.common.proxy import Proxy, ProxyType
## Configurações do Proxy da RH7 Proxys
PROXY_HOST = "br.rh7proxys.com"
PROXY_PORT = "1000"
PROXY_USER = "seu_usuario"
PROXY_PASS = "sua_senha"
def get_driver_options():
proxy_str = f"{PROXY_HOST}:{PROXY_PORT}"
# Para proxies que não exigem auth por header (ex: IP Whitelist)
proxy = Proxy()
proxy.proxy_type = ProxyType.MANUAL
proxy.http_proxy = proxy_str
proxy.ssl_proxy = proxy_str
options = webdriver.ChromeOptions()
options.add_argument('--headless') # Opcional para performance
options.add_argument('--no-sandbox')
options.set_capability('proxy', proxy.to_capabilities())
return options
## Conectando ao Hub do Selenium Grid
driver = webdriver.Remote(
command_executor='http://seu-hub-ip:4444/wd/hub',
options=get_driver_options()
)
driver.get("https://google.com.br")
print(driver.title)
driver.quit()
Se o seu projeto exige que o IP permaneça o mesmo durante toda a navegação (como em processos de checkout ou mineração de dados em múltiplas páginas de uma mesma sessão), o ideal é utilizar proxies residenciais fixas, que mantêm a persistência da sessão por períodos determinados.
Gerenciamento de sessões e concorrência no Grid
Rodar um pool de proxies exige atenção ao gerenciamento de threads. O Selenium Grid limita o número de sessões simultâneas com base nos recursos de CPU e RAM dos nós. Se você configurar 50 nós, mas o seu pool de proxies for limitado a 10 conexões simultâneas, você criará um gargalo de rede onde as requisições começarão a falhar por timeout.
É fundamental alinhar o maxSession do seu arquivo config.toml (no Selenium 4) ou nodeConfig.json (no Selenium 3) com a capacidade contratada no seu plano de proxy. Além disso, monitore a latência. Proxies brasileiros tendem a ter uma latência menor para sites hospedados no Brasil, o que reduz o tempo total de execução de cada tarefa no Grid.
Depuração e verificação de IP em tempo real
Um erro comum em arquiteturas distribuídas é assumir que o proxy está funcionando apenas porque o script não retornou erro. É necessário validar se o tráfego está realmente saindo pelo IP brasileiro esperado. Dentro do seu script de automação, insira uma etapa de validação inicial acessando ferramentas de diagnóstico.
Você pode programar o nó para acessar meu-ip antes de iniciar o scraping principal. Se o IP retornado pertencer ao AWS ou Google Cloud em vez de um ISP residencial brasileiro, a configuração de proxy do WebDriver falhou. Outra boa prática é utilizar um proxy-tester externo para validar a saúde da sua lista de credenciais antes de subir o cluster de containers.
Vantagens dos Proxies Mobile e Rotativa CPA no Grid
Dependendo do objetivo, o profissional de Scraping pode alternar os tipos de proxy no Selenium Grid:
Para testes em aplicações próprias ou autorizadas, documente localização, fuso e sessão para reproduzir o ambiente. Se houver recusa ou verificação, interrompa e siga o canal oficial; mudar identidade ou conexão não autoriza continuar.
A implementação híbrida no Selenium Grid, onde alguns nós usam Rotativa CPA para tarefas simples e outros usam Residenciais para tarefas críticas, otimiza o ROI (Retorno sobre Investimento) da operação técnica.
Segurança e isolamento de ambientes
Ao rodar Selenium Grid em escala com proxies, a segurança da infraestrutura não deve ser negligenciada. O tráfego entre o seu script e o Hub, e entre o Hub e os Nós, deve estar em uma rede privada. Expor a porta 4444 do Selenium para a internet pública sem camadas de autenticação é um risco crítico.
Combine o uso de autenticação de proxy forte com firewalls de IP no seu cluster. A RH7 Proxys recomenda que, ao configurar seus nós no Docker, você utilize redes isoladas e verifique se as requisições DNS também estão sendo resolvidas através do proxy para evitar "DNS Leaks", que podem revelar a verdadeira localização do seu servidor de automação.
Requisitos do acesso autorizado
Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.
Requisitos do acesso autorizado
Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.
Proxy residencial rotativa
Teste com 1 GB
R$ 9,90 por 1 GB

Sobre o autor
Equipe RH7
Equipe da RH7 Proxys: proxies residenciais, mobile e Rotativa CPA com suporte humano 24/7 em português.
Newsletter RH7
Quer mais conteúdo como esse?
Receba 1 email por semana com cases, scripts e bastidores.
Receba novos guias técnicos
1 e-mail por semana, conteúdo prático sobre proxies, scraping e operações.