Skip to content

🕷️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

5.5 KB
Raw Blame

title: "Escolha solicitações HTTP ou um navegador para web scraping" description: "Escolha Fetcher ou StealthyFetcher conforme sua tarefa. Saiba quando usar HTTP direto, executar JavaScript e reutilizar sessões."

Conceitos básicos dos fetchers {#fetchers-basics}

Introdução {#introduction}

Fetchers são classes que enviam solicitações ou obtêm páginas com uma linha de código e retornam um objeto Response. Desde a v0.3, eles têm classes de sessão separadas para manter a conexão aberta. Por exemplo, uma sessão de navegador mantém o navegador aberto até você terminar todas as solicitações, em vez de abrir vários navegadores. Escolha conforme sua necessidade.

Esses recursos foram adicionados porque, antes da v0.2, o Scrapling só analisava páginas. O objetivo é atender, aos poucos, a todas as necessidades de web scraping.

Os fetchers não são apenas camadas sobre outras bibliotecas. Eles usam essas bibliotecas como motores para enviar solicitações e obter páginas, mas acrescentam recursos que os motores não oferecem. Também aproveitam suas capacidades e as ajustam para web scraping.

Comparação dos fetchers {#fetchers-overview}

O Scrapling oferece fetchers HTTP (Fetcher e AsyncFetcher) e um fetcher de navegador (StealthyFetcher), com classes de sessão para várias solicitações.

Esta tabela ajuda você a comparar e escolher:

Recurso Fetcher StealthyFetcher
Velocidade relativa 🐇🐇🐇🐇🐇 🐇🐇🐇
Ocultação da automação ⭐⭐ ⭐⭐⭐⭐⭐
Opções contra detecção de bots ⭐⭐ ⭐⭐⭐⭐⭐
Execução de JavaScript ❌ ✅
Uso de memória ⭐ ⭐⭐⭐
Uso recomendado Extração simples quando solicitações HTTP bastam - Sites com carregamento dinâmico
- Automações pequenas
- Proteções simples ou complexas
Navegadores ❌ Chromium e Google Chrome
API de navegador usada ❌ Playwright
Dificuldade de configuração Simples Simples

Veremos cada ferramenta em detalhes nas próximas páginas.

Configurar o analisador em todos os fetchers {#parser-configuration-in-all-fetchers}

Todos os fetchers são importados da mesma forma:

from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher

Depois, você pode usá-los diretamente, sem criar um objeto. Serão usados os ajustes padrão do analisador:

page = StealthyFetcher.fetch('https://example.com') 

Se quiser configurar o analisador, ou seja, a classe Selector, que processará a resposta antes de retorná-la, faça isto primeiro:

from scrapling.fetchers import Fetcher
Fetcher.configure(adaptive=True, keep_comments=False)  # and the rest

Ou:

from scrapling.fetchers import Fetcher
Fetcher.adaptive=True
Fetcher.keep_comments=False

Depois, continue seu código normalmente.

Os argumentos disponíveis são adaptive, adaptive_domain, huge_tree, keep_comments, storage e storage_args. São os mesmos aceitos por Selector. Você pode ver a configuração atual com <fetcher_class>.display_config().

!!! info "Informação"

`adaptive` fica desativado por padrão. Você precisa ativá-lo para usar esse recurso.

Configurar o analisador por solicitação {#set-parser-config-per-request}

Os ajustes acima se aplicam a todas as solicitações enviadas por aquela classe, para simplificar o uso.

Se precisar de ajustes diferentes por solicitação, passe um dicionário no argumento selector_config do método usado (fetch/get/post/...).

Objeto Response {#response-object}

Response funciona como Selector, mas acrescenta dados da resposta, como cabeçalhos, status e cookies:

from scrapling.fetchers import Fetcher
page = Fetcher.get('https://example.com')

page.status          # HTTP status code
page.reason          # Status message
page.cookies         # Response cookies as a dictionary
page.headers         # Response headers
page.request_headers # Request headers
page.history         # Response history of redirections, if any
page.body            # Raw response body as bytes
page.encoding        # Response encoding
page.meta            # Response metadata dictionary (e.g., proxy used). Mainly helpful with the spiders system.

Todos os fetchers retornam Response. Sessões de navegador com record_requests=True também retornam objetos Response salvos por meio de session.network.search(limit=None) e session.network.get(request_id). Consulte o histórico de rede para saber como usar as respostas de API salvas e migrar para a v5.

Response também pode converter a página em Markdown limpo e pronto para modelos de linguagem com uma linha:

markdown = Fetcher.get('https://example.com').markdown(main_content_only=True)

Antes da conversão, scripts, estilos, conteúdo oculto e tentativas de injeção de instruções são sempre removidos. Você pode passar css_selector para converter apenas certos elementos. O recurso exige o extra rag, também incluído em ai/shell/all. A página Criar sistemas RAG explica isso em detalhes.

!!! note "Nota"

Ao contrário de [Selector](../parsing/main_classes.md#selector), o corpo de `Response` sempre é bytes desde a v0.4.