Operacional

    Apache Airflow para scraping em escala

    Como orquestrar scraping em escala com Apache Airflow: DAGs, retries, agendamento, monitoramento e integração com pool de proxies residenciais brasileiros.

    07 de junho de 20267 min de leituraPostado por: Equipe RH7
    Capa do post “Apache Airflow para scraping em escala”, categoria Scraping, com identidade visual RH7.
    Compartilhar
    Sumário do artigo

    Automatizar a extração de dados em larga escala exige mais do que apenas um script Python rodando em um loop infinito. Para operações que processam milhões de requisições diárias, a orquestração se torna o gargalo principal. O Apache Airflow consolidou-se como a ferramenta padrão para gerenciar esses fluxos de trabalho (pipelines), permitindo que desenvolvedores criem DAGs (Directed Acyclic Graphs) resilientes, escaláveis e com tratamento de falhas nativo. Quando integramos o Airflow com uma infraestrutura robusta de proxies, organizamos testes geográficos autorizados, métricas de conexão e limites de execução por fonte, sem remover restrições de acesso ou de taxa.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Configurando DAGs resilientes e tolerantes a falhas

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB

    Uma DAG resiliente deve prever o erro. No mundo do web scraping, erros são constantes: timeouts de rede, códigos HTTP 403 (Forbidden) ou 429 (Too Many Requests) e mudanças de layout. No Airflow, configuramos retentativas (retries) diretamente nos argumentos padrão (default_args) da DAG.

    from airflow import DAG
    from airflow.operators.python import PythonOperator
    from datetime import datetime, timedelta
    
    default_args = {
        'owner': 'data_eng',
        'depends_on_past': False,
        'start_date': datetime(2023, 1, 1),
        'retries': 3,
        'retry_delay': timedelta(minutes=5),
    }
    
    with DAG('scraping_escala_rh7', default_args=default_args, schedule_interval='@daily') as dag:
        # Definição das tarefas aqui
        pass
    

    Use somente contas próprias ou de clientes com autorização documentada. Interrompa diante de recusa, limite ou verificação; não use a proxy para contornar a restrição.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Paralelismo e controle de concorrência com Pools

    O Airflow possui um recurso chamado "Pools" que é vital para o scraping em escala. Pools permitem limitar a execução paralela de um grupo específico de tarefas. Se você está monitorando 50 sites diferentes, mas sabe que um deles bloqueia conexões se houver mais de 5 acessos simultâneos vindo da sua infraestrutura, você cria um Pool com slots limitados para esse domínio.

    Os Pools limitam a concorrência por domínio mesmo com muitos workers disponíveis. Defina slots conforme os limites autorizados e monitore filas, latência e erros. Combine-os com sessões fixas quando um fluxo de teste autorizado precisar preservar estado, sem presumir acesso garantido.

    Tratamento de dados brutos e monitoramento de logs

    Centralize os logs do Airflow em S3, GCS ou CloudWatch conforme a política do projeto. Separe timeout, erro de autenticação e resposta do destino. Em HTTP 403, suspenda a tarefa e procure o responsável pela fonte; em 429, respeite Retry-After e os limites oficiais antes de qualquer retomada permitida.

    O uso de ferramentas auxiliares é recomendado para validar a saúde da sua rede de extração. Antes de iniciar uma DAG pesada, você pode incluir uma tarefa de validação que utiliza um proxy-tester interno para garantir que o pool de IPs está ativo e que o meu-ip detectado corresponde à geolocalização desejada. Isso evita o desperdício de recursos computacionais tentando rodar uma extração quando a saída de rede está comprometida.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Dockerização das tarefas de scraping

    Rodar scrapers diretamente nos workers do Airflow pode causar conflitos de dependências (especialmente com drivers de navegadores como ChromeDriver). A prática recomendada é encapsular cada scraper em um container Docker e utilizar o KubernetesPodOperator.

    Isso garante que cada tarefa de scraping rode em um ambiente isolado, com suas próprias bibliotecas de extração. Dentro do container, a configuração do proxy é passada via variáveis de ambiente, mantendo a segurança das credenciais. O Airflow gerencia o ciclo de vida do pod, garantindo que se o scraper travar ou consumir memória excessiva, o restante do cluster permaneça estável.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Leia também

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB
    RH7 Proxys

    Sobre o autor

    Equipe RH7

    Equipe da RH7 Proxys: proxies residenciais, mobile e Rotativa CPA com suporte humano 24/7 em português.

    Gostou do conteúdo?

    Compartilhe este artigo com quem precisa ler.

    Newsletter RH7

    Quer mais conteúdo como esse?

    Receba 1 email por semana com cases, scripts e bastidores.

    Receba novos guias técnicos

    1 e-mail por semana, conteúdo prático sobre proxies, scraping e operações.