🕷️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev
title: "Парсинг Scrapling в Spider на Scrapy" description: "Преобразуйте ответы Scrapy в Scrapling или добавьте декоратор к обработчику. Сохраните свой краулер Scrapy и используйте селекторы и адаптивный парсинг Scrapling."
Интеграция Scrapling со Scrapy {#integrating-scrapling-into-scrapy}
Если у вас уже есть проект Scrapy, его не нужно переписывать, чтобы использовать API парсинга Scrapling. Интеграция преобразует ответы Scrapy в объекты Response Scrapling прямо в обработчиках Spider. Scrapy продолжает выполнять обход, а Scrapling отвечает за парсинг.
!!! note "Установка"
Интеграция работает с обычной установкой Scrapling (`pip install scrapling`), без дополнительных групп зависимостей. Нужен только установленный Scrapy, который уже есть в проекте Scrapy.
Использование {#usage}
Добавьте декоратор scrapling_response к любому обработчику Spider. Получаемый аргумент response станет объектом Response Scrapling:
import scrapy
from scrapling.integrations.scrapy import scrapling_response
class QuotesSpider(scrapy.Spider):
name = "quotes"
start_urls = ["https://quotes.toscrape.com"]
@scrapling_response
def parse(self, response): # `response` is now a Scrapling Response
first_quote = response.find_by_text("The world as we have created it", partial=True)
for quote in [first_quote, *first_quote.find_similar()]:
card = quote.parent
yield {
"text": quote.get_all_text(strip=True),
"author": card.find("small", class_="author").text,
"tags": [tag.text for tag in card.find_all("a", class_="tag")],
}
next_page = response.css("li.next a::attr(href)").get()
if next_page:
yield scrapy.Request(response.urljoin(next_page), callback=self.parse)
Декоратор работает со всеми видами обработчиков Scrapy: обычными функциями, генераторами, корутинами и асинхронными генераторами. Обёртка сохраняет вид, имя и строку документации обработчика, поэтому проверка обработчиков и контракты Scrapy продолжают работать.
Декоратору можно передать настройки Selector. Они попадут в создаваемый Response:
@scrapling_response(adaptive=True, keep_comments=True)
def parse_product(self, response):
...
Если ответ Scrapy доступен вне обработчика, например в middleware или конвейере обработки, используйте преобразователь напрямую:
from scrapling.integrations.scrapy import convert_response
scrapling_response = convert_response(scrapy_response, keep_comments=False)
Примечания {#notes}
- Для следующих страниц возвращайте через yield
scrapy.Request(response.urljoin(href)), как в примере выше. МетодResponse.follow()Scrapling создаёт запросы для системы Spider в Scrapling, которые Scrapy не понимает. - Словарь
metaответа копируется поверхностно, поэтому объекты, сохранённые другими middleware, остаются доступны. Например, при использованииscrapy-playwrightстраница по-прежнему находится вresponse.meta["playwright_page"]. - Cookie извлекаются из исходных заголовков
Set-Cookieи помещаются в словарьcookiesответа.