Técnico

    Crawlee (Node) com proxy residencial

    Aprenda a usar Crawlee com Node e proxy residencial, configurar a conexão, controlar requisições e medir o consumo em coletas autorizadas no painel.

    05 de junho de 20268 min de leituraPostado por: Equipe RH7
    Ir para FAQ (6)
    Capa do post “Crawlee (Node) com proxy residencial”, categoria Scraping, com identidade visual RH7.
    Compartilhar
    Sumário do artigo

    Para comparar produtos e preços, acesse a página principal de proxy para raspagem de dados. Este guia detalha a configuração específica do tema.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Por que o Crawlee é o framework definitivo para Node.js

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB

    O Crawlee, desenvolvido pelos criadores do Apify, resolve problemas crônicos que desenvolvedores enfrentam ao usar bibliotecas isoladas como Puppeteer ou Playwright. Ele gerencia automaticamente filas de requisições, retentativas, armazenamento de dados e, crucialmente, a rotação de impressões digitais do navegador (browser fingerprinting).

    Diferente de abordagens manuais, o Crawlee separa a lógica de navegação da infraestrutura. Ele permite que você troque entre um buscador via HTTP (CheerioCrawler) e navegadores reais (PlaywrightCrawler) com alterações mínimas no código. Essa flexibilidade é vital quando você precisa otimizar recursos: use requisições leves sempre que possível e escale para navegadores completos apenas quando o JavaScript for obrigatório.

    No contexto de infraestrutura de rede, o Crawlee possui uma classe nativa chamada ProxyConfiguration. Ela facilita a gestão de back-connect proxies, permitindo que você defina regras de rotatividade e grupos de IPs sem precisar implementar essa lógica manualmente no cabeçalho de cada requisição.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Configurando o ambiente Crawlee com Node.js

    Antes de integrar os proxies, é necessário preparar o ambiente. Certifique-se de ter o Node.js v16 ou superior instalado. O Crawlee recomenda o uso do gerador de projetos para configurar o boilerplate básico de forma limpa.

    npx crawlee create meu-scraper
    cd meu-scraper
    npm install
    

    Após a instalação, você terá uma estrutura de pastas organizada. O arquivo principal para nossa implementação será o main.ts (ou main.js). Independentemente do tipo de crawler que você escolher, a lógica de configuração de proxy será centralizada.

    Implementação técnica da ProxyConfiguration

    A classe ProxyConfiguration é o coração da gestão de rede no Crawlee. Ela aceita uma lista de URLs de proxy ou configurações específicas de autenticação. Abaixo, demonstramos como configurar o Crawlee para usar um gateway de proxy residencial com autenticação por usuário e senha.

    import { PlaywrightCrawler, ProxyConfiguration } from 'crawlee';
    
    const proxyConfiguration = new ProxyConfiguration({
        proxyUrls: [
            `http://usuario:senha@gw.rh7.io:porta`,
        ],
    });
    
    const crawler = new PlaywrightCrawler({
        proxyConfiguration,
        async requestHandler({ page, request, log }) {
            await page.goto(request.url);
            const title = await page.title();
            log.info(`Título da página: ${title}`);
        },
    });
    
    await crawler.run(['https://www.google.com.br']);
    

    Neste exemplo, o Crawlee gerencia automaticamente a passagem das credenciais e a conexão com o servidor. Se você estiver usando proxies mobile, o processo é idêntico, bastando alterar a URL do gateway para o endpoint específico da rede 4G/5G.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Debugging de conexão e validação de IP

    Um erro comum em projetos de scraping é assumir que o proxy está funcionando apenas porque o script não disparou um erro. É fundamental validar se o tráfego está realmente saindo pelo IP esperado e se a geolocalização está correta.

    Você pode utilizar ferramentas internas para testar suas credenciais antes de rodar o crawler. Antes de iniciar o bot, teste seu acesso em ferramentas/proxy-tester. No código do Crawlee, você pode adicionar um log inicial para verificar o IP de saída:

    async requestHandler({ page, log }) {
        await page.goto('https://api.ipify.org?format=json');
        const ipInfo = await page.content();
        log.info(`IP de Saída: ${ipInfo}`);
    }
    

    Consultar o meu-ip dentro do handle da requisição garante que a máscara residencial está ativa. Se o IP retornado for o do seu servidor local ou da sua VPS, a configuração do ProxyConfiguration possui algum erro de sintaxe ou as credenciais expiraram.

    Otimização de custos: Rotativa CPA vs Residencial

    Embora este guia foque em proxies residenciais pela sua alta taxa de sucesso, o desenvolvedor sênior sabe que o custo de banda é um fator de escala. Proxies residenciais costumam ser cobrados por GB consumido, enquanto a Rotativa CPA tem o menor preço por GB da RH7, ideal para volume.

    A estratégia híbrida no Crawlee consiste em:

    1. Usar o CheerioCrawler com proxies de Rotativa CPA para páginas estáticas e sem proteção.
    2. Usar o PlaywrightCrawler com proxies residenciais para fluxos de checkout ou páginas com forte proteção perimetral.

    Para comparar crawlers, execute amostras permitidas com requisitos e limites equivalentes. Se houver HTTP 403, interrompa e procure autorização ou suporte; para 429, respeite Retry-After e a política da fonte. Não reenvie URLs por outra classe de proxy para continuar uma coleta recusada.

    Gerenciamento de Fingerprints e Headers

    Proxies residenciais selecionam uma rota de rede; não resolvem reputação ou escondem automação. O Crawlee pode configurar características de navegador como User-Agent e resolução para testes de compatibilidade. Documente cada cenário e a versão da ferramenta, sem representar pessoas diferentes.

    Em uma aplicação própria ou autorizada, a opção browserPoolOptions.useFingerprints: true pode ser avaliada para comparar configurações de navegador. Mantenha uma linha de base e registre as mudanças. A função não cria uma barreira de anonimato nem impede identificação de automação ou associação de sessões; sua utilização deve permanecer no escopo aprovado.

    const crawler = new PlaywrightCrawler({
        proxyConfiguration,
        browserPoolOptions: {
            useFingerprints: true,
            fingerprintOptions: {
                fingerprintGeneratorOptions: {
                    browsers: ['chrome', 'edge'],
                    devices: ['desktop'],
                },
            },
        },
    });
    

    Tratamento de Erros e Retries inteligentes

    No mundo do scraping de larga escala, erros de rede são inevitáveis. O proxy pode falhar, o IP residencial pode ser reiniciado pelo provedor de internet original, ou o site alvo pode oscilar. O Crawlee gerencia retentativas de forma nativa.

    Você deve configurar o maxRequestRetries para dar ao script a chance de tentar a mesma URL com um novo IP da pool de proxies. Se uma requisição falha sistematicamente em um alvo protegido, o sistema de roteamento do Crawlee pode ser instruído a mover essa tarefa para uma lista de "alta prioridade" utilizando uma infraestrutura residencial mais robusta.

    Consulte a seção de ferramentas para scripts auxiliares que ajudam a monitorar a saúde da sua pool de proxies durante execuções longas (long-running jobs).

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Leia também

    Perguntas frequentes

    Tudo o que você precisa saber sobre este tema

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB
    RH7 Proxys

    Sobre o autor

    Equipe RH7

    Equipe da RH7 Proxys: proxies residenciais, mobile e Rotativa CPA com suporte humano 24/7 em português.

    Gostou do conteúdo?

    Compartilhe este artigo com quem precisa ler.

    Newsletter RH7

    Quer mais conteúdo como esse?

    Receba 1 email por semana com cases, scripts e bastidores.

    Receba novos guias técnicos

    1 e-mail por semana, conteúdo prático sobre proxies, scraping e operações.