Operacional

    n8n + proxy: automações de scraping no-code

    Como integrar o n8n com proxy residencial para automações de scraping no-code: nós HTTP, autenticação de proxy, rotação e tratamento de bloqueios.

    07 de junho de 20267 min de leituraPostado por: Equipe RH7
    Capa do post “n8n + proxy: automações de scraping no-code”, categoria Scraping, com identidade visual RH7.
    Compartilhar
    Sumário do artigo

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Requisitos do acesso autorizado

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Quando escolher proxies residenciais vs Rotativa CPA no n8n

    A decisão entre diferentes tipos de proxies impacta diretamente o custo e a taxa de sucesso do seu fluxo no n8n. Proxies Rotativa CPA oferecem velocidades extremas e menor latência, sendo ideais para sites que não possuem firewalls agressivos ou para monitoramento de APIs públicas que não restringem IPs corporativos.

    As sessões fixas podem preservar estado em um fluxo autorizado no n8n. A rotação atende amostras regionais independentes quando permitidas. Defina frequência e concorrência por fonte, registre a saída utilizada e não troque de conexão para evitar uma restrição ou continuar após recusa.

    Manipulação de dados com o nó HTML Extractor

    Após realizar a requisição HTTP com sucesso usando o proxy, o n8n recebe o código HTML bruto da página. Para transformar esse código em dados estruturados (JSON), utiliza-se o nó HTML Extractor.

    Neste nó, você define seletores CSS para isolar os elementos desejados:

    • Seletor CSS: .product-title ou h1.
    • Atributo: textContent (para texto) ou href (para links).

    Essa abordagem no-code substitui bibliotecas como Beautiful Soup ou Cheerio. Caso o site exija renderização de JavaScript (formatos de Single Page Application), você pode integrar o n8n com instâncias do Puppeteer ou Browserless, configurando o parâmetro --proxy-server na inicialização do navegador remoto para garantir que o navegador também utilize o túnel criptografado.

    Testando a integridade do IP dentro do fluxo

    Uma boa prática em automações profissionais é validar a conexão antes de iniciar o processo de scraping pesado. Você pode criar um nó inicial no n8n que faz uma requisição para a nossa página de meu ip.

    Isso garante que o proxy está ativo e que o endereço detectado pelo servidor de destino é, de fato, o IP residencial esperado e não o IP do servidor onde o n8n está hospedado. Esse "checkpoint" evita que seu fluxo rode inutilmente e gaste recursos caso haja algum erro de autenticação no proxy.

    Script de validação simples

    Você pode usar um nó de "Code" para verificar se o IP mudou entre as execuções:

    const lastIp = $node["Check IP"].json["ip"];
    if (!lastIp) {
      throw new Error("Falha na conexão com o proxy.");
    }
    return { ip: lastIp };
    

    Para testes manuais fora do fluxo, você também pode utilizar o proxy tester para validar se as credenciais e portas estão liberadas no seu firewall.

    Lidando com headers e User-Agents dinâmicos

    Personalize headers de acordo com o cliente e os requisitos documentados da aplicação. Um IP móvel não obriga o uso de User-Agent Android ou iOS: computadores também usam redes celulares. Em QA próprio, teste variações identificadas e registre o ambiente, sem usar headers para simular identidades ou contornar controles.

    No n8n, adicione um Header fixo ou dinâmico:

    • Key: User-Agent
    • Value: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36...

    Mantenha headers e versões documentados para reproduzir resultados em fontes próprias ou autorizadas. Não existe combinação de User-Agent e IP que assegure acesso. Use as ferramentas para diagnóstico de rede e valide os requisitos da API antes de ampliar a execução.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Gerenciamento de erros e Retry logic

    Automações de scraping estão sujeitas a falhas: sites ficam offline, proxies podem sofrer timeouts ou a estrutura do HTML pode mudar. O n8n oferece configurações nativas de "On Error" e "Retry".

    No nó HTTP Request, você deve configurar:

    • Max Retries: 3 a 5 vezes.
    • Wait Between Tries: 2000ms a 5000ms.

    Interrompa diante de recusa de acesso ou verificação. Respeite permissões e limites da fonte; não troque IP ou perfil para contornar a restrição.

    Segurança e conformidade no uso de proxies com n8n

    Ao operar automações no-code, é vital manter a segurança das credenciais. Nunca deixe a senha do seu proxy exposta em texto puro em nós de "Code". Utilize as credenciais nativas do n8n (Credentials) para armazenar os dados de autenticação do proxy.

    Respeite os termos de serviço e as permissões da fonte. O proxy seleciona a rota de rede, mas não garante continuidade nem evita verificações de segurança. Utilize cache, reduza requisições desnecessárias e interrompa diante de recusa ou verificação, recorrendo aos canais oficiais para revisão.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Leia também

    • Inteligência de estoque no varejo brasileiro Para manter o fluxo n8n auditável, registre a versão do workflow, os horários de execução e o número de registros válidos por etapa. Guarde credenciais no gerenciador próprio da ferramenta, limite quem pode editar conexões e teste alterações em um endpoint autorizado antes de publicar o workflow. Não registre senhas nos logs de execução.

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB
    RH7 Proxys

    Sobre o autor

    Equipe RH7

    Equipe da RH7 Proxys: proxies residenciais, mobile e Rotativa CPA com suporte humano 24/7 em português.

    Gostou do conteúdo?

    Compartilhe este artigo com quem precisa ler.

    Newsletter RH7

    Quer mais conteúdo como esse?

    Receba 1 email por semana com cases, scripts e bastidores.

    Receba novos guias técnicos

    1 e-mail por semana, conteúdo prático sobre proxies, scraping e operações.