Apache Airflow para scraping em escala
Como orquestrar scraping em escala com Apache Airflow: DAGs, retries, agendamento, monitoramento e integração com pool de proxies residenciais brasileiros.

Sumário do artigo
Automatizar a extração de dados em larga escala exige mais do que apenas um script Python rodando em um loop infinito. Para operações que processam milhões de requisições diárias, a orquestração se torna o gargalo principal. O Apache Airflow consolidou-se como a ferramenta padrão para gerenciar esses fluxos de trabalho (pipelines), permitindo que desenvolvedores criem DAGs (Directed Acyclic Graphs) resilientes, escaláveis e com tratamento de falhas nativo. Quando integramos o Airflow com uma infraestrutura robusta de proxies, organizamos testes geográficos autorizados, métricas de conexão e limites de execução por fonte, sem remover restrições de acesso ou de taxa.
Requisitos do acesso autorizado
Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.
Configurando DAGs resilientes e tolerantes a falhas
Proxy residencial rotativa
Teste com 1 GB
R$ 9,90 por 1 GB
Uma DAG resiliente deve prever o erro. No mundo do web scraping, erros são constantes: timeouts de rede, códigos HTTP 403 (Forbidden) ou 429 (Too Many Requests) e mudanças de layout. No Airflow, configuramos retentativas (retries) diretamente nos argumentos padrão (default_args) da DAG.
from airflow import DAG
from airflow.operators.python import PythonOperator
from datetime import datetime, timedelta
default_args = {
'owner': 'data_eng',
'depends_on_past': False,
'start_date': datetime(2023, 1, 1),
'retries': 3,
'retry_delay': timedelta(minutes=5),
}
with DAG('scraping_escala_rh7', default_args=default_args, schedule_interval='@daily') as dag:
# Definição das tarefas aqui
pass
Use somente contas próprias ou de clientes com autorização documentada. Interrompa diante de recusa, limite ou verificação; não use a proxy para contornar a restrição.
Requisitos do acesso autorizado
Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.
Paralelismo e controle de concorrência com Pools
O Airflow possui um recurso chamado "Pools" que é vital para o scraping em escala. Pools permitem limitar a execução paralela de um grupo específico de tarefas. Se você está monitorando 50 sites diferentes, mas sabe que um deles bloqueia conexões se houver mais de 5 acessos simultâneos vindo da sua infraestrutura, você cria um Pool com slots limitados para esse domínio.
Os Pools limitam a concorrência por domínio mesmo com muitos workers disponíveis. Defina slots conforme os limites autorizados e monitore filas, latência e erros. Combine-os com sessões fixas quando um fluxo de teste autorizado precisar preservar estado, sem presumir acesso garantido.
Tratamento de dados brutos e monitoramento de logs
Centralize os logs do Airflow em S3, GCS ou CloudWatch conforme a política do projeto. Separe timeout, erro de autenticação e resposta do destino. Em HTTP 403, suspenda a tarefa e procure o responsável pela fonte; em 429, respeite Retry-After e os limites oficiais antes de qualquer retomada permitida.
O uso de ferramentas auxiliares é recomendado para validar a saúde da sua rede de extração. Antes de iniciar uma DAG pesada, você pode incluir uma tarefa de validação que utiliza um proxy-tester interno para garantir que o pool de IPs está ativo e que o meu-ip detectado corresponde à geolocalização desejada. Isso evita o desperdício de recursos computacionais tentando rodar uma extração quando a saída de rede está comprometida.
Requisitos do acesso autorizado
Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.
Dockerização das tarefas de scraping
Rodar scrapers diretamente nos workers do Airflow pode causar conflitos de dependências (especialmente com drivers de navegadores como ChromeDriver). A prática recomendada é encapsular cada scraper em um container Docker e utilizar o KubernetesPodOperator.
Isso garante que cada tarefa de scraping rode em um ambiente isolado, com suas próprias bibliotecas de extração. Dentro do container, a configuração do proxy é passada via variáveis de ambiente, mantendo a segurança das credenciais. O Airflow gerencia o ciclo de vida do pod, garantindo que se o scraper travar ou consumir memória excessiva, o restante do cluster permaneça estável.
Requisitos do acesso autorizado
Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.
Requisitos do acesso autorizado
Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.
Leia também
Proxy residencial rotativa
Teste com 1 GB
R$ 9,90 por 1 GB

Sobre o autor
Equipe RH7
Equipe da RH7 Proxys: proxies residenciais, mobile e Rotativa CPA com suporte humano 24/7 em português.
Categoria
OperacionalNewsletter RH7
Quer mais conteúdo como esse?
Receba 1 email por semana com cases, scripts e bastidores.
Receba novos guias técnicos
1 e-mail por semana, conteúdo prático sobre proxies, scraping e operações.