🕷️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev
title: "Бесплатная альтернатива ИИ для устойчивого сбора данных с сайтов" description: "Scrapling помогает справляться с изменениями страниц, нестабильными селекторами, защитой от ботов и пагинацией без вызова LLM для каждой страницы."
Scrapling: бесплатная альтернатива ИИ для устойчивого сбора данных с сайтов {#scrapling-a-free-alternative-to-ai-for-robust-web-scraping}
Веб-скрейпинг давно используется для извлечения данных, индексации, подготовки наборов данных и других задач. Но даже опытные пользователи регулярно встречают проблемы, которые мешают работе. В последнее время всё чаще выбирают сбор данных с помощью ИИ, надеясь решить эти проблемы.
В этой статье мы разберём типичные трудности, причины перехода компаний к ИИ, недостатки такого подхода и то, как Scrapling решает эти задачи без затрат на ИИ.
Типичные проблемы и сложные цели {#common-issues-and-challenging-goals}
Если вы давно собираете данные с сайтов, то наверняка замечали повторяющиеся проблемы:
- Частые изменения структуры сайта: обновления DOM ломают фиксированные XPath/CSS-селекторы.
- Нестабильные селекторы: имена классов и ID меняются или генерируются случайно. Это ломает код и затрудняет сбор данных.
- Всё более сложная защита от ботов: CAPTCHA, проверка отпечатка браузера и анализ поведения мешают обычным методам сбора.
И это не весь список.
Пока речь идёт только об известных сайтах, для каждого из которых можно написать отдельный код.
Если же вы хотите собирать данные с большого числа разных сайтов универсальным способом, эти проблемы становятся сложнее. Появляются и новые:
- Разнообразие сайтов: нужно учитывать множество вариантов HTML, CSS, JavaScript-фреймворков и серверных технологий.
- Поиск нужных данных: как определить, что важно на странице, которую программа видит впервые?
- Разные способы пагинации: бесконечная прокрутка, номера страниц и кнопки «Загрузить ещё» требуют разных действий.
И это тоже не всё.
Как решить это вручную? Речь идёт об универсальном сборе данных с сайтов, которые не используют общие технологии.
ИИ помогает, но дорого обходится {#ai-to-the-rescue-but-at-a-high-cost}
ИИ может решить большинство этих задач: понять исходный код страницы, найти нужные поля или создать для них селекторы. Конечно, если защиту от ботов вы уже обошли другими инструментами :)
Подход привлекательный. Мне нравится ИИ, особенно генеративный. Возможно, вы потратите много времени на составление и настройку промптов. Но даже если это вас устраивает, вскоре вы столкнётесь с главной проблемой.
На большинстве сайтов страницы содержат много данных, которые нужно как-то передать ИИ для обработки. Это быстро расходует токены, и стоимость растёт.
Если бюджет не безграничен, вы начнёте искать более дешёвые способы. Здесь и пригодится Scrapling :smile:
Scrapling поможет {#scrapling-got-you-covered}
Scrapling справляется почти со всеми проблемами, которые возникают при сборе данных с сайтов. Оставшиеся задачи будут постепенно решаться в будущих обновлениях.
Решение T1: частые изменения структуры сайта {#solving-issue-t1-rapidly-changing-website-structures}
Именно для этого создана адаптивная функция. Вы наверняка ожидали, что мы о ней поговорим :)
При включённом adaptive можно сохранить особенности любого элемента и найти его позже, когда структура сайта изменится. Главная трудность в том, что у элемента может измениться что угодно, поэтому нельзя полагаться на один постоянный признак.
Адаптивная функция сохраняет все характерные свойства элемента. После изменения структуры сайта она возвращает элемент, наиболее похожий на прежний.
Подробное объяснение и много примеров уже есть здесь.
Решение T2: нестабильные селекторы {#solving-issue-t2-unstable-selectors}
Если вы давно занимаетесь веб-скрейпингом, то, скорее всего, встречали сайты с неудобной структурой: HTML без ID и классов, случайные имена классов и отсутствие других надёжных признаков.
В таких случаях обычные CSS/XPath-селекторы не всегда подходят. Поэтому Scrapling предоставляет ещё три способа выбора элементов:
- По содержимому элемента: по тексту через
find_by_textили по регулярному выражению для текста черезfind_by_regex. - По сходству с другим элементом: найдите один элемент, а похожие найдёт Scrapling.
- По фильтрам: задайте условия, которым должен соответствовать элемент, и Scrapling найдёт его.
Подробности есть по ссылкам, поэтому здесь не будем повторять объяснения.
Решение T3: всё более сложная защита от ботов {#solving-issue-t3-increasingly-complex-anti-bot-measures}
Для защищённых сайтов одних прокси и действий, похожих на человеческие, может быть недостаточно. StealthyFetcher сочетает автоматизацию браузера с изменением его отпечатка и настройками для обхода защиты. Для проверок Cloudflare Turnstile и Interstitial включите solve_cloudflare=True.
Решение B1 и B2: разнообразие сайтов и поиск нужных данных {#solving-issues-b1-b2-extreme-website-diversity-identifying-relevant-data}
Это сложная задача, но гибкость Scrapling помогает её решить.
Я разговаривал с человеком, который использовал ИИ для извлечения цен с разных сайтов. Ему нужны были только цены и заголовки, и он поручал поиск цен ИИ.
Я объяснил, что здесь можно обойтись без ИИ, и показал такой пример:
price_element = page.find_by_regex(r'£[\d\.,]+', first_match=True) # Get the first element that contains a text that matches price regex eg. £10.50
# If you want the container/element that contains the price element
price_element_container = price_element.parent or price_element.find_ancestor(lambda ancestor: ancestor.has_class('product')) # or other methods...
target_element_selector = price_element_container.generate_css_selector or price_element_container.generate_full_css_selector # or xpath
Он спросил, что делать в таком случае:
<span class='currency'> $ </span> <span class='a-price'> 45,000 </span>
Тогда я изменил код:
price_element_container = page.find_by_regex(r'[\d,]+', first_match=True).parent # Adjusted the regex for this example
full_price_data = price_element_container.get_all_text(separator="", strip=True) # Returns '$45,000' in this case
Для его задачи этого хватило. Можно сначала использовать первое регулярное выражение, а если оно ничего не найдёт, пробовать следующее. Сначала покройте самые частые варианты, затем более редкие. Это немного скучно, но точно дешевле ИИ.
Пример показывает главную мысль: не всякая задача требует ИИ. Иногда достаточно немного изобретательности, чтобы заметно сэкономить.
Решение B3: разные способы пагинации {#solving-issue-b3-pagination-variations}
Сейчас в Scrapling нет отдельного метода, который сам определяет ссылки пагинации. Spider следует по ним через response.follow().
Но для большинства сайтов можно искать распространённые варианты: page.find_by_text('Next')['href'], page.find_by_text('load more')['href'] или селекторы вроде 'a[href*="?page="]' и 'a[href*="/page/"]'. Принцип тот же.
Сравнение затрат и экономия {#cost-comparison-and-savings}
Краткое сравнение:
| Критерий | Scrapling | Инструменты на основе ИИ, например Browse AI и Oxylabs |
|---|---|---|
| Стоимость | Бесплатно, без платы за число обращений к библиотеке | Платные планы; цена зависит от поставщика и объёма использования |
| Настройка | Нужны небольшие технические знания и ручная настройка | Часто не требуют кода и проще для нетехнических пользователей |
| Способы работы | Через код, терминал или MCP-сервер | Обычно через графический интерфейс или API, в зависимости от сервиса |
| Масштабирование | Зависит от реализации пользователя | Встроенная поддержка больших объёмов и управляемые сервисы |
| Адаптация | Гибкая благодаря adaptive и выбору элементов без селекторов |
Автоматическая за счёт ИИ, но частые изменения повышают расходы |
Текущие цены указаны на страницах Browse AI и Oxylabs Web Scraper API.
Итоги {#conclusion}
ИИ даёт много возможностей, но для многих задач сбора данных его стоимость слишком высока. Scrapling предлагает надёжные и гибкие инструменты с низкими затратами как для отдельных сайтов, так и для широкого обхода. Часто они позволяют обойтись без дорогих ИИ-сервисов. adaptive, разные способы выбора элементов и мощные Fetcher помогают быстрее создавать код, устойчивый к изменениям сайтов.
Изучайте документацию дальше, чтобы узнать, как Scrapling может упростить ваши следующие проекты по сбору данных.