🕷️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev
Scrapling объединяет быстрые HTTP-запросы, скрытные браузеры, мощный разбор страниц и параллельный обход сайтов в одной библиотеке Python.
Загружайте статические страницы, выполняйте JavaScript, работайте с сайтами и извлекайте данные из API этих сайтов. Создавайте краулеры с повторным использованием сессий, сменой прокси, автоматическими повторами, паузой и продолжением работы, а также готовым экспортом данных.
Используйте Scrapling из Python, терминала или AI-агента через MCP-сервер и Agent Skill. Библиотека помогает на всех этапах: от извлечения нескольких полей до сохранения целого сайта в виде чистых Markdown-файлов.
Что можно сделать со Scrapling
Загрузка и работа с сайтами: быстрые HTTP-запросы, скрытные браузеры, выполнение JavaScript, прохождение Cloudflare Turnstile и Interstitial, постоянные сессии и запись фоновых API-ответов.
Разбор и извлечение данных: CSS, XPath, поиск по тексту и регулярным выражениям, поиск элементов после изменений страницы, поиск похожих элементов и чистый Markdown.
Обход и экспорт: параллельные Spider, смена прокси, повторы, AutoThrottle, пауза и продолжение, потоковая выдача, готовые шаблоны и экспорт в JSON, JSONL, CSV и XML.
Сбор данных с AI или из терминала: MCP-сервер для работы AI-агентов с сайтами и данными, Agent Skill, команды CLI и интерактивная оболочка.
from scrapling.spiders import Spider, Response
class QuotesSpider(Spider):
name = "quotes"
start_urls = ["https://quotes.toscrape.com/"]
async def parse(self, response: Response):
for quote in response.css('.quote'):
yield {
"text": quote.css('.text::text').get(),
"author": quote.css('.author::text').get(),
}
result = QuotesSpider().start()
print(len(result.items))
result.items.to_json("quotes.json")
Код выведет 10 и сохранит цитаты с авторами в quotes.json.
Платиновые спонсоры
NodeMaven - самый эффективный провайдер прокси для веб-скрапинга и автоматизации с IP-адресами самого высокого качества на рынке. Используйте код SCRAPLING35 для получения скидки 35%.
Scrapling справляется с Cloudflare Turnstile. Для обхода защиты корпоративного уровня
Hyper Solutions предоставляет API для получения действительных antibot-токенов для Akamai, DataDome, Kasada и Incapsula. Достаточно простых вызовов API. Автоматизация браузера не нужна.
Evomi: резидентные прокси от $0,49/ГБ. Браузер для скрапинга на основе Chromium с полной подменой отпечатка браузера, резидентными IP, автоматическим решением CAPTCHA и обходом защиты от ботов. Scraper API для получения результатов без лишних сложностей. Доступны интеграции с MCP и N8N.
Swiftproxy предоставляет масштабируемые резидентные прокси с более чем 80 млн IP в 195+ странах, обеспечивая быстрые и надёжные соединения, автоматическую ротацию и высокую устойчивость к блокировкам. Доступна бесплатная пробная версия.
Byteful предоставляет резидентные, мобильные, ISP- и дата-центровые прокси из этичных источников, а также инструменты для веб-скрапинга и автоматизации с AI. Используйте код SCRAPLING10 для получения скидки 10% на резидентные прокси.
ProxyLane: На 90% меньше CAPTCHA при работе со Scrapling. 28 млн реальных домашних P2P-устройств, 98,7% чистых IP-адресов, 195 стран. Выбор города/ISP/почтового индекса, сессии с постоянным или сменяемым IP, трафик без срока действия. Попробуйте 350 МБ за $1.95. Код SCRAPEANDTAKE: скидка 25%.
LundProxy: Хватит платить за каждый ГБ. Безлимитный резидентный трафик, более 100 млн IP-адресов, более 190 стран. Оплата по пропускной способности. Запросите бесплатный пробный доступ к резидентным прокси на скорости 50 Мбит/с.
Resolvr: Масштабный веб-скрапинг означает множество CAPTCHA. Resolvr решает reCAPTCHA и проверки Cloudflare на реальных устройствах через единый API. Бесплатный доступ к бета-версии уже открыт.
hCaptcha при работе со Scrapling? NoneCap возвращает действительные токены hCaptcha через единый API, в том числе для ключей сайтов Enterprise. 1 300 бесплатных кредитов при регистрации.
$1/ГБ в DataImpulse. Прокси из этичных источников, без посредников. Более 90 млн IP-адресов, более 195 стран. Резидентные, дата-центровые и мобильные. Оплата по мере использования, без подписки. Трафик без срока действия.
Хотите разместить здесь свою рекламу? Нажмите здесь
Спонсоры
Хотите разместить здесь свою рекламу? Нажмите здесь и выберите подходящий план!
Основные возможности
Spider: всё для обхода сайтов
🕷️ API Spider в стиле Scrapy: задайте start_urls, асинхронные обработчики parse и объекты Request/Response.
⚡ Параллельный обход: настройте число одновременных запросов, ограничения для каждого домена и задержки между загрузками.
🔄 Несколько сессий: используйте HTTP-запросы и скрытные браузеры без окна в одном Spider. Выбирайте сессию для запроса по её ID.
💾 Пауза и продолжение: сохраняйте ожидающие запросы и посещённые URL с помощью crawldir. Нажмите Ctrl+C для корректной остановки, затем запустите Spider с той же папкой.
📡 Потоковая выдача: получайте данные сразу после извлечения через async for item in spider.stream() и следите за статистикой в реальном времени. Удобно для интерфейсов, обработки данных и долгих обходов.
🛡️ Обнаружение блокировок: заблокированные запросы автоматически обнаруживаются и повторяются. Логику можно настроить.
🚦 AutoThrottle: больше не нужно угадывать задержки. Spider сам меняет задержку для каждого домена по скорости ответа сайта. При блокировках или ограничении частоты запросов он удваивает её либо ждёт время из Retry-After, а затем снова ускоряется.
🤖 Соблюдение robots.txt: включите robots_txt_obey, чтобы учитывать Disallow, Crawl-delay и Request-rate. Правила кешируются для каждого домена.
🧪 Режим разработки: сохраните ответы на диск при первом запуске и используйте их снова. Меняйте логику parse() без повторных обращений к серверам.
🧩 Готовые шаблоны Spider: CrawlSpider обходит ссылки по правилам, SitemapSpider использует sitemap и robots.txt, XMLFeedSpider/CSVFeedSpider читают ленты XML/RSS и CSV, а ShopifySpider собирает товары из открытых магазинов Shopify, по одной записи на вариант.
🔗 Извлечение ссылок: LinkExtractor поддерживает разрешающие и запрещающие шаблоны, фильтры доменов и расширений, выбор области через CSS/XPath и приведение URL к единому виду. Используйте его в шаблонах или отдельно.
📦 Готовый экспорт: сохраняйте результаты через хуки и собственную обработку либо в JSON, JSONL, CSV и XML через result.items.to_json(), to_jsonl(), to_csv() и to_xml().
Загрузка сайтов с поддержкой сессий
HTTP-запросы: Fetcher отправляет быстрые и скрытные запросы. Он умеет имитировать TLS-отпечаток и заголовки браузера, а также использовать HTTP/3.
Динамические страницы: StealthyFetcher загружает сайты с полной автоматизацией браузера. Поддерживаются Chromium из Playwright и Google Chrome.
Обход защиты от ботов: StealthyFetcher скрывает признаки автоматизации и подменяет отпечаток браузера. Он автоматически проходит все виды проверок Cloudflare Turnstile и Interstitial.
Управление сессиями: FetcherSession и StealthySession сохраняют cookie и состояние между запросами.
Смена прокси: ProxyRotator перебирает прокси по кругу или по вашим правилам во всех типах сессий. Для отдельного запроса можно указать другой прокси.
Блокировка доменов и рекламы: блокируйте запросы к выбранным доменам и их поддоменам. В браузерных Fetcher можно включить блокировку рекламы, которая охватывает около 3 500 рекламных и отслеживающих доменов.
Защита от утечек DNS: включите DNS-over-HTTPS, чтобы отправлять DNS-запросы через DoH от Cloudflare и не допускать утечек DNS при работе с прокси.
Удалённые браузеры: подключайтесь к уже запущенному браузеру через CDP с помощью cdp_url. Браузер может работать на том же компьютере, другом сервере или у провайдера браузерных услуг. Параметр executable_path позволяет указать собственную сборку Chromium для любого браузерного Fetcher.
Запись фоновых API-ответов: включите record_requests=True в браузерной сессии, затем ищите сохранённые ответы через session.network.search(limit=None). Читайте API-данные и HTTP-ошибки от разных загрузок страниц без повторной отправки запросов. История имеет ограниченный размер и сохраняет текстовые тела ответов.
Асинхронная работа: все Fetcher поддерживают асинхронные вызовы. Есть и отдельные классы асинхронных сессий.
Разбор и извлечение данных
🔄 Поиск элементов после изменений: алгоритмы сходства находят элементы снова, даже если сайт изменился.
🎯 Гибкий поиск: используйте CSS, XPath, фильтры, текст, регулярные выражения и другие способы.
🔍 Похожие элементы: автоматически находите элементы, похожие на уже найденные.
Возможности для AI
🤖 MCP-сервер: AI-боты и агенты, такие как Claude и Cursor, могут собирать данные через Scrapling. Им доступны HTTP-запросы, действия в браузере, снимки экрана, сохранённый вход и фоновые API-ответы. Скрытный браузер и нужные инструменты позволяют подходящим AI-моделям проходить любые CAPTCHA во время работы, а проверки Cloudflare обрабатываются встроенным решением. Сервер уменьшает объём данных для модели, блокирует рекламу и защищает от Prompt Injection. Есть подключение к удалённым браузерам по CDP и HTTP-транспорт с настройками аутентификации. (Демонстрация)
🧠 Agent Skill: готовый к установке Agent Skill знакомит агента со всей библиотекой. Он помогает писать код под текущий API без догадок.
📚 Markdown для RAG: одна строка (page.markdown()) превращает страницу в чистый и безопасный Markdown для LLM. Шаблон ContentSpider сохраняет целый сайт в набор Markdown-файлов. Для самого сбора и преобразования LLM не нужна. (Документация)
Высокая скорость, проверенная на практике
🚀 Быстрая работа: оптимизации позволяют опережать большинство библиотек Python для скрапинга.
🔋 Мало памяти: оптимизированные структуры данных и загрузка только по мере необходимости.
⚡ Быстрое преобразование в JSON: в 10 раз быстрее стандартной библиотеки.
🏗️ Проверено на практике: 92% покрытия тестами и аннотации типов для всего кода. За последний год сотни специалистов ежедневно использовали Scrapling для сбора данных.
Удобные инструменты для разработчиков
🎯 Интерактивная оболочка: дополнительная оболочка IPython со Scrapling, сокращёнными командами и инструментами для быстрой разработки. Преобразуйте curl-запросы в запросы Scrapling и просматривайте результаты в браузере.
🚀 Работа из терминала: собирайте данные по URL, не написав ни строки кода!
🛠️ Навигация по DOM: переходите к родителям, соседним и дочерним элементам.
🧬 Обработка текста: регулярные выражения, очистка текста и быстрые операции со строками.
📝 Создание селекторов: получайте надёжные CSS- и XPath-селекторы для любого элемента.
🔌 Знакомый API: подход похож на Scrapy и BeautifulSoup, с теми же псевдоэлементами, что и в Scrapy/Parsel.
🤝 Интеграция со Scrapy: добавьте декоратор scrapling_response к обработчику, чтобы разбирать уже загруженные ответы парсером Scrapling. Переписывать проект не нужно.
📘 Полные аннотации типов: удобная работа в редакторе и автодополнение. При каждом изменении весь код автоматически проверяется PyRight и MyPy.
🔋 Готовый образ Docker: с каждым выпуском автоматически собирается и публикуется образ со всеми браузерами.
Начало работы
Вот несколько примеров того, что умеет Scrapling.
Базовое использование
HTTP-запросы с сессиями
from scrapling.fetchers import Fetcher, FetcherSession
with FetcherSession(impersonate='chrome') as session: # Используйте последнюю версию TLS fingerprint Chrome
page = session.get('https://quotes.toscrape.com/', stealthy_headers=True)
quotes = page.css('.quote .text::text').getall()
# Или используйте одноразовые запросы
page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
Расширенный режим скрытности
from scrapling.fetchers import StealthyFetcher, StealthySession
with StealthySession(headless=True, solve_cloudflare=True) as session: # Держите браузер открытым, пока не закончите
page = session.fetch('https://nopecha.com/demo/cloudflare', google_search=False)
data = page.css('#padded_content a').getall()
# Или используйте стиль одноразового запроса - открывает браузер для этого запроса, затем закрывает его после завершения
page = StealthyFetcher.fetch('https://nopecha.com/demo/cloudflare', solve_cloudflare=True)
data = page.css('#padded_content a').getall()
Полная автоматизация браузера
from scrapling.fetchers import StealthyFetcher, StealthySession
with StealthySession(headless=True, disable_resources=False, network_idle=True) as session: # Держите браузер открытым, пока не закончите
page = session.fetch('https://quotes.toscrape.com/', load_dom=False)
data = page.xpath('//span[@class="text"]/text()').getall() # XPath-селектор, если вы предпочитаете его
# Или используйте стиль одноразового запроса - открывает браузер для этого запроса, затем закрывает его после завершения
page = StealthyFetcher.fetch('https://quotes.toscrape.com/')
data = page.css('.quote .text::text').getall()
Пауки
Создавайте краулеры с параллельными запросами, разными сессиями, паузой и продолжением работы:
from scrapling.spiders import Spider, Response
class QuotesSpider(Spider):
name = "quotes"
start_urls = ["https://quotes.toscrape.com/"]
concurrent_requests = 10
async def parse(self, response: Response):
for quote in response.css('.quote'):
yield {
"text": quote.css('.text::text').get(),
"author": quote.css('.author::text').get(),
}
next_page = response.css('.next a')
if next_page:
yield response.follow(next_page[0].attrib['href'])
result = QuotesSpider().start()
print(f"Извлечено {len(result.items)} цитат")
result.items.to_json("quotes.json")
Используйте несколько типов сессий в одном Spider:
from scrapling.spiders import Spider, Request, Response
from scrapling.fetchers import FetcherSession, AsyncStealthySession
class MultiSessionSpider(Spider):
name = "multi"
start_urls = ["https://example.com/"]
def configure_sessions(self, manager):
manager.add("fast", FetcherSession(impersonate="chrome"))
manager.add("stealth", AsyncStealthySession(headless=True), lazy=True)
async def parse(self, response: Response):
for link in response.css('a::attr(href)').getall():
# Направляйте защищённые страницы через stealth-сессию
if "protected" in link:
yield Request(link, sid="stealth")
else:
yield Request(link, sid="fast", callback=self.parse) # явный callback
Сохраняйте прогресс, чтобы приостанавливать и продолжать долгий обход. Запустите Spider так:
QuotesSpider(crawldir="./crawl_data").start()
Если задан crawldir, нажмите Ctrl+C, чтобы сохранить ожидающие запросы и уже посещённые URL. Для продолжения запустите Spider с тем же crawldir. Сохраняйте извлечённые данные отдельно.
Можно взять готовый шаблон. Например, для сбора всего каталога магазина Shopify:
from scrapling.spiders import ShopifySpider
class MyStore(ShopifySpider):
target_website = "example.com"
result = MyStore().start() # Все товары магазина, по одной записи на вариант
Шаблон получает товары через открытые API коллекций и выдаёт одну запись на каждый вариант товара.
Расширенный разбор и навигация
from scrapling.fetchers import Fetcher
# Богатый выбор элементов и навигация
page = Fetcher.get('https://quotes.toscrape.com/')
# Получение цитат различными методами выбора
quotes = page.css('.quote') # CSS-селектор
quotes = page.xpath('//div[@class="quote"]') # XPath
quotes = page.find_all('div', {'class': 'quote'}) # В стиле BeautifulSoup
# То же самое, что
quotes = page.find_all('div', class_='quote')
quotes = page.find_all(['div'], class_='quote')
quotes = page.find_all(class_='quote') # и так далее...
# Найти элемент по текстовому содержимому
quotes = page.find_by_text('Albert Einstein', first_match=False)
# Продвинутая навигация
quote_text = page.css('.quote')[0].css('.text::text').get()
quote_texts = page.css('.quote').css('.text::text').getall() # Цепочка селекторов
first_quote = page.css('.quote')[0]
author = first_quote.css('.author::text').get()
next_quote = first_quote.next
parent_container = first_quote.parent
# Связи элементов и подобие
similar_elements = first_quote.find_similar()
below_elements = first_quote.below_elements
Можно использовать парсер напрямую, без загрузки сайта:
from scrapling.parser import Selector
page = Selector("<html>...</html>")
И он работает точно так же!
Асинхронные сессии
import asyncio
from scrapling.fetchers import FetcherSession, AsyncStealthySession
async def main():
async with FetcherSession(http3=True) as http_session: # `FetcherSession` учитывает контекст и работает как с sync, так и с async
page1 = await http_session.get('https://quotes.toscrape.com/')
page2 = await http_session.get('https://quotes.toscrape.com/page/2/', impersonate='chrome')
print(len(page1.css('.quote')), len(page2.css('.quote')))
async with AsyncStealthySession(max_pages=2) as browser_session:
urls = ['https://quotes.toscrape.com/js/', 'https://quotes.toscrape.com/js/page/2/']
pages = await asyncio.gather(*(browser_session.fetch(url, wait_selector='.quote') for url in urls))
print([len(page.css('.quote')) for page in pages])
asyncio.run(main())
CLI и интерактивная оболочка
Scrapling можно использовать из командной строки:
Запустите интерактивную оболочку для сбора данных:
pip install "scrapling[shell]"
scrapling shell
Извлекайте страницы прямо в файл без программирования. Выберите содержимое с --css-selector или используйте --ai-targeted для выбора и очистки содержимого body. Используйте .txt для текста, .md для Markdown или .html для HTML.
[!NOTE]
О других возможностях, включая MCP-сервер и интерактивную оболочку, читайте в документации.
Тесты производительности
Scrapling не только мощный, но и очень быстрый. Следующие тесты производительности сравнивают парсер Scrapling с последними версиями других популярных библиотек.
Скорость извлечения текста: 5 000 вложенных элементов
#
Библиотека
Время (мс)
По сравнению со Scrapling
1
Scrapling
1,99
1,0x
2
Parsel/Scrapy
2,06
1,035
3
Чистый Lxml
2,56
1,286
4
PyQuery
23,98
~12x
5
Selectolax
197,02
~99x
6
MechanicalSoup
1545,15
~776,5x
7
BS4 + Lxml
1562,1
~785,0x
8
BS4 + html5lib
3412,73
~1714,9x
Поиск похожих элементов и текста
Адаптивный поиск элементов в Scrapling значительно опережает другие решения:
Библиотека
Время (мс)
По сравнению со Scrapling
Scrapling
2,3
1,0x
AutoScraper
12,58
5,47x
Результаты усреднены по более чем 100 запускам. Методика приведена в benchmarks.py.
Установка
Для Scrapling нужен Python 3.10 или новее:
pip install scrapling
[!IMPORTANT]
Эта команда устанавливает только парсер и его зависимости. Fetcher и инструменты командной строки в неё не входят. Поэтому импорт из scrapling.fetchers или scrapling.spiders, как в примерах выше, вызовет ModuleNotFoundError. Чтобы использовать Fetcher или Spider, сначала установите зависимости для загрузки страниц, как показано ниже.
Дополнительные зависимости
Для Fetcher, их классов и дополнительных функций ниже установите зависимости для загрузки страниц и браузеров:
pip install "scrapling[fetchers]"
scrapling install # normal install
scrapling install --force # force reinstall
Команда загрузит все браузеры, нужные системные пакеты и средства изменения отпечатков браузера.
Вместо команды можно запустить установку из кода:
from scrapling.cli import install
install([], standalone_mode=False) # normal install
install(["--force"], standalone_mode=False) # force reinstall
[!CAUTION]
Библиотека предназначена только для обучения и исследований. Используя её, вы соглашаетесь соблюдать местные и международные законы о сборе данных и конфиденциальности. Авторы и участники не отвечают за неправомерное использование программы. Соблюдайте условия сайтов и правила robots.txt.
🎓 Цитирование
Если вы использовали библиотеку в исследовании, укажите её так:
@misc{scrapling,
author = {Karim Shoair},
title = {Scrapling},
year = {2024},
url = {https://github.com/D4Vinci/Scrapling},
note = {A Python Web Scraping framework for everything from a single request to a full-scale crawl!}
}
Лицензия
Проект распространяется по лицензии BSD-3-Clause.
Благодарности
В проекте есть код на основе следующих проектов:
Parsel (лицензия BSD) - Используется для подмодуля translator