Scrapy + middlewares de rotação de proxy
Configure middlewares de proxy no Scrapy com autenticação, sessões sticky, retry limitado de falhas de transporte e tratamento de recusas e cotas.

Sumário do artigo
Requisitos do acesso autorizado
Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.
Requisitos do acesso autorizado
Proxy residencial rotativa
Teste com 1 GB
R$ 9,90 por 1 GB
Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.
Por que rotacionar via Middleware e não via Proxy Mesh?
Muitos provedores oferecem um endpoint único (gateway) que faz a rotação internamente. Embora prático, delegar toda a inteligência ao provedor tira o controle granular do desenvolvedor. Ao criar um middleware customizado no Scrapy, você consegue definir regras de negócio específicas para o mercado brasileiro.
Por exemplo, você pode decidir que certas URLs de busca exijam proxies mobile pela alta confiabilidade, enquanto páginas de produtos estáticos podem ser acessadas por proxies residenciais fixas para economizar banda. O controle via código permite gerenciar o TTL (Time to Live) de cada IP e garantir que a sessão do usuário permaneça consistente durante o crawling de sites que exigem login.
Criando seu Middleware de Rotação Customizado
Para implementar um middleware, você deve criar uma classe dentro do arquivo middlewares.py do seu projeto Scrapy. Este componente deve implementar o método process_request.
import base64
class RH7RotationMiddleware:
def __init__(self, proxy_url, proxy_user, proxy_pass):
self.proxy_url = proxy_url
self.auth = base64.b64encode(f"{proxy_user}:{proxy_pass}".encode()).decode()
@classmethod
def from_crawler(cls, crawler):
return cls(
proxy_url=crawler.settings.get('PROXY_URL'),
proxy_user=crawler.settings.get('PROXY_USER'),
proxy_pass=crawler.settings.get('PROXY_PASS')
)
def process_request(self, request, spider):
# Define o servidor proxy
request.meta['proxy'] = self.proxy_url
# Injeta o cabeçalho de autenticação
request.headers['Proxy-Authorization'] = f'Basic {self.auth}'
Após criar a classe, é necessário ativá-la no seu settings.py, desativando o middleware padrão de proxies do Scrapy para evitar conflitos.
DOWNLOADER_MIDDLEWARES = {
'meu_projeto.middlewares.RH7RotationMiddleware': 410,
'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': None,
}
Tratamento de Erros e Retries Inteligentes
No middleware, diferencie falhas de transporte de recusas do destino. Uma conexão interrompida antes da resposta pode admitir retry limitado, com backoff e somente para operações idempotentes. Já um 403 deve encerrar aquela coleta e gerar um registro para revisão de permissões; um 429 exige respeitar Retry-After e a cota documentada. Não coloque essas respostas em uma fila de tentativas com novos endereços.
Se você está usando uma lista de IPs manuais coletada após comprar Rotativa CPA, o middleware deve iterar sobre essa lista. Caso utilize o sistema da RH7 Proxys, o próprio gateway pode fornecer um novo IP a cada requisição, mas o middleware Scrapy ainda é responsável por identificar quando o site de destino parou de responder adequadamente e disparar o sinalizador de reentrada na fila (RetryByProxy).
User-Agent e cabeçalhos de identificação do cliente
Configure um User-Agent que identifique corretamente seu coletor e, quando apropriado, um contato técnico. Headers devem descrever o cliente real, não imitar um visitante para obter acesso. Para testes de compatibilidade de navegadores em um ambiente próprio, registre separadamente a versão e os cabeçalhos produzidos por cada navegador.
A conexão mobile não transforma um cliente Python em Android ou iOS. Não derive headers do tipo de proxy. Preserve os campos necessários ao protocolo e às APIs autorizadas, incluindo Accept e Content-Type conforme o formato enviado, e remova tokens de logs de diagnóstico.
import random
class EnhancedProxyMiddleware:
user_agents = [
"Mozilla/5.0 (Windows NT 10.0; Win64; x64)...",
"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)..."
]
def process_request(self, request, spider):
request.headers['User-Agent'] = random.choice(self.user_agents)
request.meta['proxy'] = "http://seu-proxy-rh7:porta"
Integração com Ferramentas de Diagnóstico
Antes de colocar um spider em produção com middlewares complexos, é fundamental validar se a rotação está de fato ocorrendo e se o IP vazado não é o seu IP local. Utilize a seção de ferramentas para testar a conectividade.
O uso do meu-ip dentro do middleware, fazendo uma chamada inicial de teste, ajuda a depurar problemas de autenticação. Além disso, o proxy-tester permite verificar a latência antes de subir o crawler para o servidor de produção, evitando que o Scrapy sofra com timeouts excessivos por causa de proxies lentos ou instáveis.
Hooks de resposta e encerramento da coleta
Use somente fontes próprias ou autorizadas. Se o destino solicitar verificação ou recusar acesso, interrompa a tarefa e procure a API, permissão ou suporte oficial. Trocar identidade de rede não autoriza continuar o acesso.
Se a resposta contiver uma página de verificação, marque a tarefa como suspensa e registre URL, status e horário. Não devolva o request com dont_filter=True para insistir por outro IP. Um hook pode notificar o operador e salvar um checkpoint, permitindo retomar apenas após revisão ou autorização. Separe esse caminho do retry de falhas transitórias de transporte e imponha um limite global de tentativas.
O impacto da latência na escolha do Proxy
Scrapers construídos em Scrapy são assíncronos por natureza. No entanto, o uso de proxies de baixa qualidade pode anular essa vantagem competitiva. Proxies gratuitos ou mal configurados introduzem um gargalo de rede que faz com que os slots de concorrência do Scrapy fiquem ocupados esperando respostas que nunca chegam.
Ao configurar o middleware, defina um DOWNLOAD_TIMEOUT agressivo. É preferível falhar rápido e tentar com outro IP residenciais rotativas do que manter uma conexão pendente por 30 segundos. A RH7 Proxys oferece infraestrutura otimizada para minimizar o Time to First Byte (TTFB), o que permite que o middleware do Scrapy opere com maior fluidez, processando milhares de páginas por minuto sem degradação de performance.
Requisitos do acesso autorizado
Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.
Leia também
Proxy residencial rotativa
Teste com 1 GB
R$ 9,90 por 1 GB

Sobre o autor
Equipe RH7
Equipe da RH7 Proxys: proxies residenciais, mobile e Rotativa CPA com suporte humano 24/7 em português.
Categoria
TécnicoNewsletter RH7
Quer mais conteúdo como esse?
Receba 1 email por semana com cases, scripts e bastidores.
Receba novos guias técnicos
1 e-mail por semana, conteúdo prático sobre proxies, scraping e operações.