Skip to content

🕷️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

9.6 KB
Raw Blame

title: "Uma alternativa gratuita à IA para extrair dados web de forma confiável" description: "O Scrapling ajuda com páginas que mudam, seletores instáveis, proteção contra bots e paginação sem chamar um LLM para cada página."

Scrapling: uma alternativa gratuita à IA para extrair dados web de forma confiável {#scrapling-a-free-alternative-to-ai-for-robust-web-scraping}

A extração de dados web é usada há muito tempo para coletar informações, indexar conteúdo e preparar conjuntos de dados, entre outras tarefas. Mas quem tem experiência costuma encontrar problemas que dificultam o trabalho. Nos últimos tempos, cresceu o interesse em usar IA para resolvê-los.

Neste artigo, vamos ver quais são esses problemas, por que as empresas estão recorrendo à IA, quais são as dificuldades desse caminho e como o Scrapling pode ajudar sem o custo de usar IA.

Problemas comuns e objetivos difíceis {#common-issues-and-challenging-goals}

Se você extrai dados web há algum tempo, provavelmente já encontrou estes problemas várias vezes:

  1. Mudanças frequentes na estrutura dos sites: Os sites atualizam o DOM e os seletores XPath/CSS fixos deixam de funcionar.
  2. Seletores instáveis: Os nomes de classes e IDs mudam ou são gerados aleatoriamente. Isso quebra os scrapers ou dificulta a extração.
  3. Medidas contra bots cada vez mais complexas: Sistemas CAPTCHA, identificação pela impressão digital do navegador e análise de comportamento dificultam a extração tradicional.

E há outros. Tudo isso acontece mesmo quando você trabalha com sites conhecidos, para os quais pode escrever código específico.

Se quiser ir além e extrair dados de muitos sites diferentes, o que costuma ser chamado de Broad Scraping ou Generic Web Scraping, esses problemas aumentam e outros aparecem:

  1. Grande variedade de sites: Um scraper genérico precisa lidar com muitas estruturas HTML, formas de usar CSS, frameworks JavaScript e tecnologias de servidor.
  2. Identificar os dados relevantes: Como o scraper sabe quais dados importam em uma página que nunca viu?
  3. Diferentes formas de paginação: Rolagem infinita, páginas numeradas e botões para carregar mais conteúdo exigem abordagens diferentes.

E a lista continua. Como resolver tudo isso manualmente? Estou falando de extrair dados de sites diferentes que não compartilham as mesmas tecnologias.

A IA ajuda, mas o custo é alto {#ai-to-the-rescue-but-at-a-high-cost}

A IA pode resolver boa parte desses problemas porque entende o código da página, identifica os campos que você quer ou cria seletores para eles. Claro, desde que você já tenha resolvido a proteção contra bots com outras ferramentas :)

Eu gosto dessa abordagem. Acho a IA fascinante, principalmente a IA generativa. Você provavelmente vai passar bastante tempo ajustando as instruções para o modelo. Se isso não for um problema, logo vai encontrar a maior dificuldade de usar IA aqui.

Muitas páginas têm uma quantidade enorme de conteúdo, e você precisa passá-lo de alguma forma para a IA. Isso consome tokens muito rápido e o custo pode subir em pouco tempo.

A menos que dinheiro não seja uma preocupação, você vai procurar opções mais baratas. É aí que o Scrapling entra :smile:

O Scrapling ajuda você {#scrapling-got-you-covered}

O Scrapling consegue lidar com quase todos os problemas que você encontra ao extrair dados web. As próximas atualizações vão cuidar dos demais.

Resolver T1: mudanças frequentes na estrutura dos sites {#solving-issue-t1-rapidly-changing-website-structures}

É para isso que existe a função adaptive. Você já sabia que eu ia falar dela, e aqui estamos :)

Com adaptive ativado, você pode salvar as propriedades que distinguem um elemento para encontrá-lo depois, mesmo que a estrutura do site mude. A parte difícil é que qualquer detalhe do elemento pode mudar, então nem sempre existe uma propriedade fixa em que confiar.

A função guarda tudo que distingue o elemento. Quando a estrutura do site muda, ela devolve o elemento com a maior pontuação de semelhança em relação ao anterior.

Já expliquei isso com mais detalhes e vários exemplos. Você pode ler aqui.

Resolver T2: seletores instáveis {#solving-issue-t2-unstable-selectors}

Se você extrai dados web há bastante tempo, provavelmente já passou por isso: um site com HTML sem IDs nem classes, nomes de classes aleatórios ou uma estrutura que não oferece nada estável para selecionar os elementos.

Nesses casos, os seletores CSS/XPath comuns podem não ser a melhor opção. Por isso, o Scrapling oferece mais três formas de selecionar elementos:

  1. Selecionar pelo conteúdo: Busque pelo texto com find_by_text ou por uma expressão regular que corresponda ao texto com find_by_regex.
  2. Selecionar elementos parecidos com outro: Encontre um elemento e nós buscamos os demais.
  3. Selecionar por filtros: Defina as condições que o elemento precisa cumprir e nós o encontramos.

Abra os links para ver como o Scrapling resolve cada caso.

Resolver T3: medidas contra bots cada vez mais complexas {#solving-issue-t3-increasingly-complex-anti-bot-measures}

Proxies e ações que imitam uma pessoa podem não bastar em sites protegidos. StealthyFetcher combina automação do navegador com ajustes na impressão digital e opções para lidar com a proteção contra bots. Ative solve_cloudflare=True para os desafios Turnstile e Interstitial do Cloudflare.

Resolver B1 e B2: variedade de sites e identificação dos dados relevantes {#solving-issues-b1-b2-extreme-website-diversity-identifying-relevant-data}

Esse problema é difícil, mas a flexibilidade do Scrapling permite lidar com ele.

Conversei com uma pessoa que usa IA para extrair preços de sites diferentes. Ela só precisa dos preços e títulos, então pede à IA para encontrar os preços.

Eu disse que ela não precisava de IA nesse caso e mostrei este exemplo:

price_element = page.find_by_regex(r'£[\d\.,]+', first_match=True)  # Get the first element that contains a text that matches price regex eg. £10.50
# If you want the container/element that contains the price element
price_element_container = price_element.parent or price_element.find_ancestor(lambda ancestor: ancestor.has_class('product'))  # or other methods...
target_element_selector = price_element_container.generate_css_selector or price_element_container.generate_full_css_selector # or xpath

Então ela perguntou sobre um caso assim:

<span class='currency'> $ </span> <span class='a-price'> 45,000 </span>

Por isso, ajustei o código:

price_element_container = page.find_by_regex(r'[\d,]+', first_match=True).parent # Adjusted the regex for this example
full_price_data = price_element_container.get_all_text(separator="", strip=True)  # Returns '$45,000' in this case

Isso bastou para o caso dela. Você pode usar a primeira expressão regular e, se ela não encontrar nada, tentar a próxima. Comece pelos padrões mais comuns e depois cubra os menos frequentes. Pode ser um pouco trabalhoso, mas custa bem menos do que usar IA.

É esse o ponto do exemplo: nem todo problema precisa de IA. Às vezes, pensar em outra solução pode economizar bastante dinheiro.

Resolver B3: diferentes formas de paginação {#solving-issue-b3-pagination-variations}

O Scrapling ainda não tem um método que identifique os links de paginação automaticamente. Os spiders seguem esses links com response.follow().

Mas você pode atender a muitos sites buscando os padrões mais comuns com page.find_by_text('Next')['href'] ou page.find_by_text('load more')['href'], ou com seletores como 'a[href*="?page="]' ou 'a[href*="/page/"]'. Essa é a ideia.

Comparação de custos e economia {#cost-comparison-and-savings}

Esta tabela traz uma comparação rápida:

Aspecto Scrapling Ferramentas com IA (por exemplo, Browse AI ou Oxylabs)
Custo Gratuito, sem cobrança por uso da biblioteca Planos pagos; o preço depende do fornecedor e do uso
Configuração Exige algum conhecimento técnico e configuração manual Muitas vezes não exige código e é mais fácil para quem não tem experiência técnica
Formas de uso Por código, terminal ou servidor MCP Geralmente por interface gráfica ou API, conforme o que a empresa oferece
Escala Depende da implementação do usuário Serviços gerenciados com suporte a grandes volumes
Adaptação a mudanças Alta, com funções como adaptive e métodos de seleção sem seletores CSS/XPath Alta e automática com IA, mas cara quando as mudanças são frequentes

Consulte os preços atuais do Browse AI e da Web Scraper API da Oxylabs.

Conclusão {#conclusion}

A IA oferece funções poderosas, mas seu custo pode ser alto demais para muitas tarefas de extração web. O Scrapling reúne ferramentas confiáveis, flexíveis e econômicas para extrair dados tanto de sites específicos quanto de muitos sites diferentes. Muitas vezes, ele dispensa soluções caras de IA. Com funções como adaptive, várias formas de selecionar elementos e fetchers avançados, você pode criar scrapers que resistem melhor às mudanças.

Explore a documentação e veja como o Scrapling pode simplificar seus próximos projetos de extração de dados web!