Web Scraping

    Scraping Google Shopping BR com proxy residencial

    Aprenda a estruturar a coleta autorizada do Google Shopping BR com proxy residencial, controle de requisições e cálculo do tráfego consumido.

    02 de junho de 20267 min de leituraPostado por: Equipe RH7
    Capa do post “Scraping Google Shopping BR com proxy residencial”, categoria Scraping, com identidade visual RH7.
    Compartilhar
    Sumário do artigo

    Para comparar produtos e preços, acesse a página principal de proxy para raspagem de dados. Este guia detalha a configuração específica do tema.

    Use somente fontes próprias ou autorizadas. Se o destino solicitar verificação ou recusar acesso, interrompa a tarefa e procure a API, permissão ou suporte oficial. Trocar identidade de rede não autoriza continuar o acesso.

    A anatomia do bloqueio no Google Shopping

    O Google Shopping não bloqueia apenas por volume de requisições, mas por comportamento. Quando um script de scraping inicia uma sessão, o servidor do Google analisa o Fingerprint do navegador, os cabeçalhos HTTP e, principalmente, a reputação do endereço IP. Para o Google Shopping, use IPs residenciais: eles vêm de conexões domésticas e mostram o resultado que o consumidor vê.

    Ao detectar uma atividade automatizada vinda dessas faixas, o Google pode servir resultados genéricos, omitir anúncios locais ou forçar a resolução de desafios que interrompem o fluxo de dados. A alternativa recomendada é a Content API / Merchant Center para dados próprios e feeds de parceiros. Para checagens regionais permitidas, proxies residenciais rotativas fornecem IPs de ISPs brasileiros e mostram o que o público local vê, sem substituir a autorização do serviço.

    Por que IPs residenciais são mandatórios no Brasil

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB

    O mercado brasileiro possui particularidades geográficas e tributárias. O preço de um produto no Google Shopping para um usuário em São Paulo pode diferir do valor exibido para um usuário em Porto Alegre devido ao frete e impostos interestaduais. Se o seu bot de scraping está saindo de um servidor fora do país ou de um IP sem geolocalização precisa, os dados coletados serão irreais.

    Utilizar IPs brasileiros residenciais permite que o scraper simule um consumidor real em qualquer região do país. Isso garante que as informações de "Preço + Frete" sejam precisas para a análise de concorrência. Além disso, a rotatividade de IPs garante que cada requisição pareça vir de uma pessoa diferente, diluindo o tráfego e evitando a ativação dos filtros de segurança do Google.

    Requisitos do acesso autorizado

    Use fontes próprias ou autorizadas e APIs documentadas quando disponíveis. Confirme as condições da fonte antes de coletar. Interrompa a tarefa se houver recusa de acesso ou verificação, respeite os limites e procure os canais oficiais em vez de trocar identidade para continuar. Registre localização, horário, escopo permitido e consumo de dados.

    Implementação técnica com Python e Selenium

    Para realizar o scraping do Google Shopping BR, bibliotecas como Selenium ou Playwright são eficazes por processarem o JavaScript da página. Abaixo, um exemplo básico de como configurar uma conexão utilizando autenticação de proxy:

    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    
    proxy_host = "link.rh7.io"
    proxy_port = "sua_porta"
    proxy_user = "seu_usuario"
    proxy_pass = "sua_senha"
    
    chrome_options = Options()
    chrome_options.add_argument(f'--proxy-server=http://{proxy_user}:{proxy_pass}@{proxy_host}:{proxy_port}')
    ## Opcional: User-agent deve condizer com um navegador real
    chrome_options.add_argument("user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/119.0.0.0 Safari/537.36")
    
    driver = webdriver.Chrome(options=chrome_options)
    driver.get("https://www.google.com.br/shopping")## Logica de busca e extração
    

    Antes de iniciar grandes operações, é recomendável validar se o IP está sendo corretamente mascarado através do meu-ip e testar a latência da conexão com o proxy-tester.

    Extração de dados da SERP e Parsing de HTML

    A estrutura do Google Shopping (Search Engine Results Page - SERP) é dinâmica. As classes CSS mudam frequentemente para dificultar o scraping. Por isso, a extração deve focar em seletores mais estáveis ou em atributos de dados (data-attributes).

    1. Identificação do Produto: Capture o título, link da oferta e imagem.
    2. Preificação: O valor principal está geralmente em uma tag de destaque, mas o "preço parcelado" exige regex adicional.
    3. Vendedor: Identificar se a venda é direta (ex: Magalu) ou via marketplace é crucial para inteligência de preço.

    Ao utilizar a RH7 Proxys, a probabilidade de receber um HTML limpo, idêntico ao que um usuário brasileiro vê, é significativamente maior do que com proxies internacionais, reduzindo o custo de processamento e re-tentativas.

    O papel dos Proxies Mobile na validação de resultados

    Embora os residenciais cubram a maior parte das necessidades, os proxies mobile permitem conferir como os resultados aparecem na rede móvel. Como milhares de usuários compartilham o mesmo IP via CGNAT, o resultado reflete a navegação móvel local; isso não dá garantia de acesso nem anonimato.

    Para monitorar anúncios que aparecem exclusivamente em buscas móveis ou para validar se os preços mudam entre desktop e mobile, integrar uma pequena porcentagem de IPs móveis na sua pool de coleta é uma prática avançada de scraping de SERP.

    Melhores práticas para coleta de dados de e-commerce

    Para manter o fluxo de dados constante e evitar a queima de IPs da sua pool, siga estas diretrizes:

    • Intervalo com jitter: evite rajadas em intervalos idênticos para não sobrecarregar o servidor. Use random.uniform(2, 5) para espaçar as buscas dentro do limite aceito pela fonte.
    • Respeite o robots.txt: Sempre que possível, siga as diretrizes de rastreamento, embora no Shopping o acesso seja geralmente limitado a bots oficiais. A proxy não garante acesso a terceiros. Use fontes e contas autorizadas, respeite limites e interrompa diante de bloqueio ou verificação, sem mudar IP ou identidade para contornar a recusa. A proxy não garante acesso a terceiros. Use fontes e contas autorizadas, respeite limites e interrompa diante de bloqueio ou verificação, sem mudar IP ou identidade para contornar a recusa.

    Monitoramento de estoque e promoções em tempo real

    No varejo brasileiro, promoções de "queima de estoque" duram poucas horas. Um sistema de scraping eficiente precisa agir em tempo real. A latência reduzida de servidores de proxy localizados fisicamente no Brasil é o diferencial para capturar essas mudanças antes da concorrência. Se o seu servidor de proxy está na Europa, a latência somada ao processamento do Selenium pode fazer com que o dado coletado já esteja obsoleto ao chegar no seu banco de dados.

    Validação dos resultados

    Para comparar resultados regionais, fixe localização, idioma e dispositivo, e registre data e consulta. Compare amostras em horários diferentes e guarde capturas para auditoria. Quando houver feed próprio ou Merchant Center, use-o como referência para conferir a coleta externa.

    Leia também

    Proxy residencial rotativa

    Teste com 1 GB

    R$ 9,90 por 1 GB

    Teste com 1 GB
    RH7 Proxys

    Sobre o autor

    Equipe RH7

    Equipe da RH7 Proxys: proxies residenciais, mobile e Rotativa CPA com suporte humano 24/7 em português.

    Gostou do conteúdo?

    Compartilhe este artigo com quem precisa ler.

    Newsletter RH7

    Quer mais conteúdo como esse?

    Receba 1 email por semana com cases, scripts e bastidores.

    Receba novos guias técnicos

    1 e-mail por semana, conteúdo prático sobre proxies, scraping e operações.