🕷️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev
Python aiai-scrapingautomationcrawlercrawlingcrawling-pythondatadata-extractionmcpmcp-serverplaywrightpythonscrapingselectorsstealthweb-scraperweb-scrapingweb-scraping-pythonwebscrapingxpath
docs: update the library intro
Karim shoair8af38c48fbf8
diff --git a/README.md b/README.mdindex 602d1f1..2135a44 100644--- a/README.md+++ b/README.md@@ -61,20 +61,31 @@<a href="https://scrapling.readthedocs.io/en/latest/ai/mcp-server.html"><strong>MCP</strong></a></p>-Scrapling is an adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl.+Scrapling is a Python Web Scraping framework that brings fast HTTP requests, stealth browsers, powerful parsing, and concurrent crawling into one library.-Its parser learns from website changes and automatically relocates your elements when pages update. Its fetchers bypass anti-bot systems like Cloudflare Turnstile out of the box. And its spider framework lets you scale up to concurrent, multi-session crawls with pause/resume, automatic proxy rotation, and a crawl speed that adapts to how fast each website responds and backs off when it starts blocking you - all in a few lines of Python. One library, zero compromises.+Scrape static pages, render JavaScript, interact with websites, and extract data from the API calls behind them. Build crawlers with reusable sessions, proxy rotation, automatic retries, pause/resume, and built-in data exports.-Blazing fast crawls with real-time stats and streaming. Built by Web Scrapers for Web Scrapers and regular users, there's something for everyone.+Use it from Python, the terminal, or your AI agent through its MCP server and Agent Skill. From extracting a few fields to collecting a whole website as clean Markdown, Scrapling covers the full scraping workflow.++## What you can do with Scrapling++- **Fetch & interact**: Fast HTTP requests, stealth browsers, JavaScript rendering, Cloudflare Turnstile/Interstitial handling, persistent sessions, and background API capture.+- **Parse & extract**: CSS, XPath, text and regex search, adaptive element tracking, similar-element matching, and clean Markdown output.+- **Crawl & export**: Concurrent spiders, proxy rotation, retries, AutoThrottle, pause/resume, streaming, ready-made templates, and JSON/JSONL/CSV/XML exports.+- **Scrape with AI or from your terminal**: An MCP server for AI agents to browse and extract data, an Agent Skill, CLI commands, and an interactive shell.++Start with a single page:```python-from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher-StealthyFetcher.adaptive = True-p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # Fetch website under the radar!-products = p.css('.product', auto_save=True) # Scrape data that survives website design changes!-products = p.css('.product', adaptive=True) # Later, if the website structure changes, pass `adaptive=True` to find them!+from scrapling.fetchers import Fetcher++page = Fetcher.get('https://quotes.toscrape.com/')+quotes = page.css('.quote .text::text').getall()+print(quotes)```-Or scale up to full crawls++Or scale up to full crawls:+```pythonfrom scrapling.spiders import Spider, Response@@ -252,7 +263,7 @@ MySpider().start()- **Background API Capture**: Enable `record_requests=True` on a browser session, then search its saved responses with `session.network.search(limit=None)`. Read API data and HTTP errors across page loads without sending requests again. History is bounded and saves text response bodies.- **Async Support**: Complete async support across all fetchers and dedicated async session classes.-### Adaptive Scraping+### Parsing and Data Extraction- 🔄 **Smart Element Tracking**: Relocate elements after website changes using intelligent similarity algorithms.- 🎯 **Smart Flexible Selection**: CSS selectors, XPath selectors, filter-based search, text search, regex search, and more.- 🔍 **Find Similar Elements**: Automatically locate elements similar to found elements.diff --git a/docs/README_AR.md b/docs/README_AR.mdindex f9d2727..ecd92bb 100644--- a/docs/README_AR.md+++ b/docs/README_AR.md@@ -49,20 +49,31 @@<a href="https://scrapling.readthedocs.io/en/latest/ai/mcp-server.html"><strong>وضع MCP</strong></a></p>-Scrapling هو إطار عمل تكيفي لـ Web Scraping يتعامل مع كل شيء من طلب واحد إلى زحف كامل النطاق.+Scrapling هو إطار عمل لـ Web Scraping بلغة Python يجمع طلبات HTTP السريعة، والمتصفحات الخفية، وأدوات التحليل القوية، والزحف المتزامن في مكتبة واحدة.-محلله يتعلم من تغييرات المواقع ويعيد تحديد موقع عناصرك تلقائياً عند تحديث الصفحات. جوالبه تتجاوز أنظمة مكافحة الروبوتات مثل Cloudflare Turnstile مباشرةً. وإطار عمل Spider الخاص به يتيح لك التوسع إلى عمليات زحف متزامنة ومتعددة الجلسات مع إيقاف/استئناف، وتدوير تلقائي لـ Proxy، وسرعة زحف تتكيف مع سرعة استجابة كل موقع وتتراجع عندما يبدأ بحظرك - كل ذلك في بضعة أسطر من Python. مكتبة واحدة، بدون تنازلات.+اجلب الصفحات الثابتة، وشغّل JavaScript، وتفاعل مع المواقع، واستخرج البيانات من طلبات API التي تعمل خلفها. ابنِ زواحف بجلسات قابلة لإعادة الاستخدام، وتدوير للبروكسي، وإعادة محاولات تلقائية، وإيقاف مؤقت واستئناف، وأدوات مدمجة لتصدير البيانات.-زحف سريع للغاية مع إحصائيات فورية و Streaming. مبني بواسطة مستخرجي الويب لمستخرجي الويب والمستخدمين العاديين، هناك شيء للجميع.+استخدمه من Python، أو الطرفية، أو وكيل الذكاء الاصطناعي عبر خادم MCP وAgent Skill. من استخراج بضعة حقول إلى جمع موقع كامل بصيغة Markdown نظيفة، يغطي Scrapling كل خطوات استخراج بيانات الويب.++## ماذا يمكنك أن تفعل باستخدام Scrapling++- **الجلب والتفاعل**: طلبات HTTP سريعة، ومتصفحات خفية، وتشغيل JavaScript، والتعامل مع Cloudflare Turnstile/Interstitial، وجلسات مستمرة، وتسجيل طلبات API في الخلفية.+- **التحليل والاستخراج**: CSS وXPath، والبحث بالنص والتعبيرات النمطية، وتتبع العناصر التكيفي، ومطابقة العناصر المتشابهة، وإخراج Markdown نظيف.+- **الزحف والتصدير**: عناكب متزامنة، وتدوير للبروكسي، وإعادة محاولات، وAutoThrottle، وإيقاف مؤقت واستئناف، وStreaming، وقوالب جاهزة، وتصدير بصيغ JSON/JSONL/CSV/XML.+- **استخراج البيانات بالذكاء الاصطناعي أو من الطرفية**: خادم MCP لوكلاء الذكاء الاصطناعي لتصفح المواقع واستخراج البيانات، وAgent Skill، وأوامر CLI، وShell تفاعلي.++ابدأ بصفحة واحدة:```python-from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher-StealthyFetcher.adaptive = True-p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # احصل على الموقع بشكل خفي!-products = p.css('.product', auto_save=True) # استخرج بيانات تنجو من تغييرات تصميم الموقع!-products = p.css('.product', adaptive=True) # لاحقاً، إذا تغيرت بنية الموقع، مرر `adaptive=True` للعثور عليها!+from scrapling.fetchers import Fetcher++page = Fetcher.get('https://quotes.toscrape.com/')+quotes = page.css('.quote .text::text').getall()+print(quotes)```-أو توسع إلى عمليات زحف كاملة++أو توسع إلى عمليات زحف كاملة:+```pythonfrom scrapling.spiders import Spider, Response@@ -240,7 +251,7 @@ MySpider().start()- **التقاط طلبات API في الخلفية**: فعّل `record_requests=True` في جلسة المتصفح، ثم ابحث في الاستجابات المحفوظة باستخدام `session.network.search(limit=None)`. اقرأ بيانات API وأخطاء HTTP من الصفحات التي زرتها دون إرسال الطلبات مرة أخرى. السجل محدود الحجم ويحفظ أجسام الاستجابات النصية.- **دعم Async**: دعم async كامل عبر جميع الجوالب وفئات الجلسات async المخصصة.-### الاستخراج التكيفي+### التحليل واستخراج البيانات- 🔄 **تتبع العناصر الذكي**: إعادة تحديد موقع العناصر بعد تغييرات الموقع باستخدام خوارزميات التشابه الذكية.- 🎯 **الاختيار المرن الذكي**: محددات CSS، محددات XPath، البحث القائم على الفلاتر، البحث النصي، البحث بالتعبيرات العادية والمزيد.- 🔍 **البحث عن عناصر مشابهة**: تحديد العناصر المشابهة للعناصر الموجودة تلقائياً.diff --git a/docs/README_CN.md b/docs/README_CN.mdindex 50a0026..1b0380a 100644--- a/docs/README_CN.md+++ b/docs/README_CN.md@@ -49,20 +49,31 @@<a href="https://scrapling.readthedocs.io/en/latest/ai/mcp-server.html"><strong>MCP 模式</strong></a></p>-Scrapling 是一个自适应 Web Scraping 框架,能处理从单个请求到大规模爬取的一切需求。+Scrapling 是一个 Python 网页抓取框架,将快速 HTTP 请求、隐身浏览器、强大的解析功能和并发爬取整合到一个库中。-它的解析器能够从网站变化中学习,并在页面更新时自动重新定位您的元素。它的 Fetcher 能够开箱即用地绕过 Cloudflare Turnstile 等反机器人系统。它的 Spider 框架让您可以扩展到并发、多 Session 爬取,支持暂停/恢复、自动 Proxy 轮换,以及根据每个网站的响应速度自动调整、并在网站开始封锁时自动减速的爬取速度--只需几行 Python 代码。一个库,零妥协。+抓取静态页面、渲染 JavaScript、与网站交互,并从页面背后的 API 调用中提取数据。构建爬虫时,可复用会话、轮换代理、自动重试、暂停/恢复,并使用内置的数据导出功能。-极速爬取,实时统计和 Streaming。由 Web Scraper 为 Web Scraper 和普通用户而构建,每个人都能找到适合自己的功能。+通过 Python、终端,或借助 MCP 服务器和 Agent Skill 在 AI 智能体中使用它。从提取几个字段到将整个网站采集为干净的 Markdown,Scrapling 覆盖完整的抓取流程。++## 用 Scrapling 能做什么++- **获取与交互**:快速 HTTP 请求、隐身浏览器、JavaScript 渲染、Cloudflare Turnstile/Interstitial 处理、持久会话,以及后台 API 通信捕获。+- **解析与提取**:CSS、XPath、文本和正则表达式搜索、自适应元素跟踪、相似元素匹配,以及干净的 Markdown 输出。+- **爬取与导出**:并发爬虫、代理轮换、重试、AutoThrottle、暂停/恢复、流式输出、现成的爬虫模板,以及 JSON/JSONL/CSV/XML 导出。+- **使用 AI 或终端抓取**:供 AI 智能体浏览网页和提取数据的 MCP 服务器、Agent Skill、CLI 命令和交互式 Shell。++从单个页面开始:```python-from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher-StealthyFetcher.adaptive = True-p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # 隐秘地获取网站!-products = p.css('.product', auto_save=True) # 抓取在网站设计变更后仍能存活的数据!-products = p.css('.product', adaptive=True) # 之后,如果网站结构改变,传递 `adaptive=True` 来找到它们!+from scrapling.fetchers import Fetcher++page = Fetcher.get('https://quotes.toscrape.com/')+quotes = page.css('.quote .text::text').getall()+print(quotes)```-或扩展为完整爬取++或扩展为完整爬取:+```pythonfrom scrapling.spiders import Spider, Response@@ -240,7 +251,7 @@ MySpider().start()- **后台 API 捕获**:在浏览器会话中启用 `record_requests=True`,然后使用 `session.network.search(limit=None)` 搜索已保存的响应。无需再次发送请求,即可读取各个页面加载过程中产生的 API 数据和 HTTP 错误。历史记录有容量限制,并保存文本响应体。- **Async 支持**:所有 Fetcher 和专用 async Session 类的完整 async 支持。-### 自适应抓取+### 解析与数据提取- 🔄 **智能元素跟踪**:使用智能相似性算法在网站更改后重新定位元素。- 🎯 **智能灵活选择**:CSS 选择器、XPath 选择器、基于过滤器的搜索、文本搜索、正则表达式搜索等。- 🔍 **查找相似元素**:自动定位与已找到元素相似的元素。diff --git a/docs/README_DE.md b/docs/README_DE.mdindex bac66f7..d1cd9bd 100644--- a/docs/README_DE.md+++ b/docs/README_DE.md@@ -49,20 +49,31 @@<a href="https://scrapling.readthedocs.io/en/latest/ai/mcp-server.html"><strong>MCP-Modus</strong></a></p>-Scrapling ist ein adaptives Web-Scraping-Framework, das alles abdeckt -- von einer einzelnen Anfrage bis hin zu einem umfassenden Crawl.+Scrapling ist ein Web-Scraping-Framework für Python, das schnelle HTTP-Anfragen, Stealth-Browser, leistungsstarkes Parsing und paralleles Crawling in einer Bibliothek vereint.-Sein Parser lernt aus Website-Änderungen und lokalisiert Ihre Elemente automatisch neu, wenn sich Seiten aktualisieren. Seine Fetcher umgehen Anti-Bot-Systeme wie Cloudflare Turnstile direkt ab Werk. Und sein Spider-Framework ermöglicht es Ihnen, auf parallele Multi-Session-Crawls mit Pause & Resume, automatischer Proxy-Rotation und einer Crawl-Geschwindigkeit, die sich daran anpasst, wie schnell jede Website antwortet, und zurückfährt, sobald sie Sie zu blockieren beginnt, hochzuskalieren -- alles in wenigen Zeilen Python. Eine Bibliothek, keine Kompromisse.+Scrapen Sie statische Seiten, rendern Sie JavaScript, interagieren Sie mit Websites und extrahieren Sie Daten aus den API-Aufrufen dahinter. Bauen Sie Crawler mit wiederverwendbaren Sessions, Proxy-Rotation, automatischen Wiederholungsversuchen, Pause & Resume und integriertem Datenexport.-Blitzschnelle Crawls mit Echtzeit-Statistiken und Streaming. Von Web Scrapern für Web Scraper und normale Benutzer entwickelt, ist für jeden etwas dabei.+Nutzen Sie Scrapling in Python, im Terminal oder mit Ihrem KI-Agenten über den MCP-Server und den Agent Skill. Ob Sie nur ein paar Felder extrahieren oder eine ganze Website als sauberes Markdown sammeln möchten, Scrapling deckt den gesamten Scraping-Workflow ab.++## Was Sie mit Scrapling machen können++- **Abrufen & interagieren**: Schnelle HTTP-Anfragen, Stealth-Browser, JavaScript-Rendering, Umgang mit Cloudflare Turnstile/Interstitial, persistente Sessions und Aufzeichnung von API-Aufrufen im Hintergrund.+- **Parsen & extrahieren**: CSS, XPath, Text- und Regex-Suche, adaptives Element-Tracking, Suche nach ähnlichen Elementen und saubere Markdown-Ausgabe.+- **Crawlen & exportieren**: Parallele Spiders, Proxy-Rotation, Wiederholungsversuche, AutoThrottle, Pause & Resume, Streaming, fertige Vorlagen und JSON/JSONL/CSV/XML-Exporte.+- **Scrapen mit KI oder im Terminal**: Ein MCP-Server für KI-Agenten zum Browsen und Extrahieren von Daten, ein Agent Skill, CLI-Befehle und eine interaktive Shell.++Starten Sie mit einer einzelnen Seite:```python-from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher-StealthyFetcher.adaptive = True-p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # Website unbemerkt abrufen!-products = p.css('.product', auto_save=True) # Daten scrapen, die Website-Designänderungen überleben!-products = p.css('.product', adaptive=True) # Später, wenn sich die Website-Struktur ändert, `adaptive=True` übergeben, um sie zu finden!+from scrapling.fetchers import Fetcher++page = Fetcher.get('https://quotes.toscrape.com/')+quotes = page.css('.quote .text::text').getall()+print(quotes)```-Oder auf vollständige Crawls hochskalieren++Oder auf vollständige Crawls hochskalieren:+```pythonfrom scrapling.spiders import Spider, Response@@ -240,7 +251,7 @@ MySpider().start()- **Hintergrund-API-Erfassung**: Aktivieren Sie `record_requests=True` in einer Browsersitzung und durchsuchen Sie die gespeicherten Antworten mit `session.network.search(limit=None)`. Lesen Sie API-Daten und HTTP-Fehler über mehrere Seitenaufrufe hinweg, ohne Anfragen erneut zu senden. Der Verlauf ist begrenzt und speichert Text-Antwortkörper.- **Async-Unterstützung**: Vollständige async-Unterstützung über alle Fetcher und dedizierte async Session-Klassen hinweg.-### Adaptives Scraping+### Parsing und Datenextraktion- 🔄 **Intelligente Element-Verfolgung**: Elemente nach Website-Änderungen mit intelligenten Ähnlichkeitsalgorithmen neu lokalisieren.- 🎯 **Intelligente flexible Auswahl**: CSS-Selektoren, XPath-Selektoren, filterbasierte Suche, Textsuche, Regex-Suche und mehr.- 🔍 **Ähnliche Elemente finden**: Elemente, die gefundenen Elementen ähnlich sind, automatisch lokalisieren.diff --git a/docs/README_ES.md b/docs/README_ES.mdindex d8801cf..b001c57 100644--- a/docs/README_ES.md+++ b/docs/README_ES.md@@ -49,20 +49,31 @@<a href="https://scrapling.readthedocs.io/en/latest/ai/mcp-server.html"><strong>Modo MCP</strong></a></p>-Scrapling es un framework de Web Scraping adaptativo que se encarga de todo, desde una sola solicitud hasta un rastreo a gran escala.+Scrapling es un framework de Web Scraping en Python que reúne solicitudes HTTP rápidas, navegadores sigilosos, un potente parser y rastreo concurrente en una sola biblioteca.-Su parser aprende de los cambios de los sitios web y relocaliza automáticamente tus elementos cuando las páginas se actualizan. Sus fetchers evaden sistemas anti-bot como Cloudflare Turnstile de forma nativa. Y su framework Spider te permite escalar a rastreos concurrentes con múltiples sesiones, con Pause & Resume, rotación automática de Proxy y una velocidad de rastreo que se adapta a la rapidez con la que responde cada sitio y se reduce cuando empieza a bloquearte, todo en unas pocas líneas de Python. Una biblioteca, cero compromisos.+Extrae datos de páginas estáticas, renderiza JavaScript, interactúa con sitios web y extrae datos de las llamadas API que usan. Crea crawlers con sesiones reutilizables, rotación de proxies, reintentos automáticos, pausa/reanudación y exportación de datos integrada.-Rastreos ultrarrápidos con estadísticas en tiempo real y Streaming. Construido por Web Scrapers para Web Scrapers y usuarios regulares, hay algo para todos.+Úsalo desde Python, la terminal o tu agente de IA a través de su servidor MCP y Agent Skill. Desde extraer unos pocos campos hasta recopilar un sitio web completo como Markdown limpio, Scrapling cubre todo el proceso de scraping.++## Qué puedes hacer con Scrapling++- **Obtener páginas e interactuar**: Solicitudes HTTP rápidas, navegadores sigilosos, renderizado de JavaScript, manejo de Cloudflare Turnstile/Interstitial, sesiones persistentes y captura de llamadas API en segundo plano.+- **Analizar y extraer**: CSS, XPath, búsqueda por texto y expresiones regulares, seguimiento adaptativo de elementos, búsqueda de elementos similares y salida en Markdown limpio.+- **Rastrear y exportar**: Spiders concurrentes, rotación de proxies, reintentos, AutoThrottle, pausa/reanudación, streaming, plantillas listas para usar y exportación a JSON/JSONL/CSV/XML.+- **Hacer scraping con IA o desde tu terminal**: Un servidor MCP para que los agentes de IA naveguen y extraigan datos, un Agent Skill, comandos CLI y una consola interactiva.++Empieza con una sola página:```python-from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher-StealthyFetcher.adaptive = True-p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # ¡Obtén el sitio web bajo el radar!-products = p.css('.product', auto_save=True) # ¡Extrae datos que sobreviven a cambios de diseño del sitio web!-products = p.css('.product', adaptive=True) # Más tarde, si la estructura del sitio web cambia, ¡pasa `adaptive=True` para encontrarlos!+from scrapling.fetchers import Fetcher++page = Fetcher.get('https://quotes.toscrape.com/')+quotes = page.css('.quote .text::text').getall()+print(quotes)```-O escala a rastreos completos++O escala a rastreos completos:+```pythonfrom scrapling.spiders import Spider, Response@@ -240,7 +251,7 @@ MySpider().start()- **Captura de API en Segundo Plano**: Activa `record_requests=True` en una sesión del navegador y busca las respuestas guardadas con `session.network.search(limit=None)`. Lee datos de API y errores HTTP entre cargas de páginas sin volver a enviar las peticiones. El historial tiene límites y guarda cuerpos de respuesta de texto.- **Soporte Async**: Soporte async completo en todos los fetchers y clases de sesión async dedicadas.-### Scraping Adaptativo+### Análisis y Extracción de Datos- 🔄 **Seguimiento Inteligente de Elementos**: Relocaliza elementos después de cambios en el sitio web usando algoritmos inteligentes de similitud.- 🎯 **Selección Flexible Inteligente**: Selectores CSS, selectores XPath, búsqueda basada en filtros, búsqueda de texto, búsqueda regex y más.- 🔍 **Encontrar Elementos Similares**: Localiza automáticamente elementos similares a los elementos encontrados.diff --git a/docs/README_FR.md b/docs/README_FR.mdindex 6c3a896..b533021 100644--- a/docs/README_FR.md+++ b/docs/README_FR.md@@ -49,20 +49,31 @@<a href="https://scrapling.readthedocs.io/en/latest/ai/mcp-server.html"><strong>MCP</strong></a></p>-Scrapling est un framework de Web Scraping adaptatif qui gère tout, d'une simple requête à un crawl à grande échelle.+Scrapling est un framework de Web Scraping en Python qui réunit des requêtes HTTP rapides, des navigateurs furtifs, un parser puissant et du crawling concurrent dans une seule bibliothèque.-Son parser apprend des modifications de sites web et relocalise automatiquement vos éléments lorsque les pages sont mises à jour. Ses fetchers contournent les systèmes anti-bot comme Cloudflare Turnstile nativement. Et son framework Spider vous permet de monter en charge vers des crawls concurrents multi-sessions avec pause/reprise, rotation automatique de proxy et une vitesse de crawl qui s'adapte à la rapidité de réponse de chaque site et ralentit dès qu'il commence à vous bloquer - le tout en quelques lignes de Python. Une seule bibliothèque, zéro compromis.+Extrayez des données de pages statiques, exécutez JavaScript, interagissez avec les sites web et récupérez les données des appels API qui les alimentent. Créez des crawlers avec des sessions réutilisables, la rotation de proxys, des réessais automatiques, la pause/reprise et des exports de données intégrés.-Des crawls ultra-rapides avec des statistiques en temps réel et du streaming. Conçu par des Web Scrapers pour des Web Scrapers et des utilisateurs réguliers, il y en a pour tout le monde.+Utilisez-le depuis Python, le terminal ou votre agent IA grâce à son serveur MCP et son Agent Skill. De l'extraction de quelques champs à la collecte d'un site web entier en Markdown propre, Scrapling couvre tout le processus de scraping.++## Ce que vous pouvez faire avec Scrapling++- **Récupérer des pages et interagir** : Requêtes HTTP rapides, navigateurs furtifs, rendu JavaScript, gestion de Cloudflare Turnstile/Interstitial, sessions persistantes et capture des appels API en arrière-plan.+- **Analyser et extraire** : CSS, XPath, recherche par texte et expressions régulières, suivi adaptatif des éléments, recherche d'éléments similaires et sortie en Markdown propre.+- **Crawler et exporter** : Spiders concurrents, rotation de proxys, réessais, AutoThrottle, pause/reprise, streaming, modèles prêts à l'emploi et exports JSON/JSONL/CSV/XML.+- **Scraper avec l'IA ou depuis votre terminal** : Un serveur MCP pour que les agents IA naviguent et extraient des données, un Agent Skill, des commandes CLI et un shell interactif.++Commencez par une seule page :```python-from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher-StealthyFetcher.adaptive = True-p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # Récupérer un site web en toute discrétion !-products = p.css('.product', auto_save=True) # Scraper des données qui survivent aux changements de design !-products = p.css('.product', adaptive=True) # Plus tard, si la structure du site change, passez `adaptive=True` pour les retrouver !+from scrapling.fetchers import Fetcher++page = Fetcher.get('https://quotes.toscrape.com/')+quotes = page.css('.quote .text::text').getall()+print(quotes)```-Ou montez en charge vers des crawls complets++Ou montez en charge vers des crawls complets :+```pythonfrom scrapling.spiders import Spider, Response@@ -240,7 +251,7 @@ MySpider().start()- **Capture des API en arrière-plan** : Activez `record_requests=True` dans une session de navigateur, puis recherchez les réponses enregistrées avec `session.network.search(limit=None)`. Lisez les données API et les erreurs HTTP entre les chargements de pages sans renvoyer les requêtes. L'historique est limité et conserve les corps de réponse textuels.- **Support async** : Support async complet sur tous les fetchers et classes de sessions async dédiées.-### Scraping adaptatif+### Analyse et extraction de données- 🔄 **Suivi intelligent des éléments** : Relocalisez les éléments après des modifications de site web en utilisant des algorithmes de similarité intelligents.- 🎯 **Sélection flexible intelligente** : Sélecteurs CSS, sélecteurs XPath, recherche par filtres, recherche textuelle, recherche regex et plus encore.- 🔍 **Trouver des éléments similaires** : Localisez automatiquement des éléments similaires aux éléments trouvés.diff --git a/docs/README_JP.md b/docs/README_JP.mdindex d984d11..d687186 100644--- a/docs/README_JP.md+++ b/docs/README_JP.md@@ -49,20 +49,31 @@<a href="https://scrapling.readthedocs.io/en/latest/ai/mcp-server.html"><strong>MCP モード</strong></a></p>-Scrapling は、単一のリクエストから本格的なクロールまですべてを処理する適応型 Web Scraping フレームワークです。+Scrapling は、高速な HTTP リクエスト、ステルスブラウザ、強力なパース機能、並行クロールを 1 つのライブラリにまとめた Python Web スクレイピングフレームワークです。-そのパーサーはウェブサイトの変更から学習し、ページが更新されたときに要素を自動的に再配置します。Fetcher はすぐに使える Cloudflare Turnstile などのアンチボットシステムを回避します。そして Spider フレームワークにより、Pause & Resume、自動 Proxy 回転、そして各ウェブサイトの応答速度に合わせて調整され、ブロックされ始めると減速するクロール速度を備えた並行マルチ Session クロールへとスケールアップできます - すべてわずか数行の Python で。1 つのライブラリ、妥協なし。+静的ページのスクレイピング、JavaScript のレンダリング、ウェブサイトの操作、ページの裏で呼ばれる API からのデータ抽出に対応します。再利用可能なセッション、プロキシローテーション、自動リトライ、一時停止/再開、組み込みのデータエクスポート機能を備えたクローラーを構築できます。-リアルタイム統計と Streaming による超高速クロール。Web Scraper によって、Web Scraper と一般ユーザーのために構築され、誰にでも何かがあります。+Python やターミナルから、または MCP サーバーと Agent Skill を通じて AI エージェントから利用できます。いくつかのフィールドの抽出から、ウェブサイト全体を読みやすい Markdown として収集する作業まで、Scrapling がスクレイピングの全工程をカバーします。++## Scrapling でできること++- **取得と操作**:高速な HTTP リクエスト、ステルスブラウザ、JavaScript のレンダリング、Cloudflare Turnstile/Interstitial への対応、セッションの維持、バックグラウンドの API 通信の記録。+- **パースと抽出**:CSS、XPath、テキストと正規表現による検索、適応型の要素追跡、類似要素のマッチング、読みやすい Markdown 出力。+- **クロールとエクスポート**:並行クロール、プロキシローテーション、リトライ、AutoThrottle、一時停止/再開、ストリーミング、すぐに使える Spider テンプレート、JSON/JSONL/CSV/XML エクスポート。+- **AI やターミナルからスクレイピング**:AI エージェントがウェブを閲覧してデータを抽出するための MCP サーバー、Agent Skill、CLI コマンド、インタラクティブ Shell。++まずは 1 ページから:```python-from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher-StealthyFetcher.adaptive = True-p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # レーダーの下でウェブサイトを取得!-products = p.css('.product', auto_save=True) # ウェブサイトのデザイン変更に耐えるデータをスクレイプ!-products = p.css('.product', adaptive=True) # 後でウェブサイトの構造が変わったら、`adaptive=True`を渡して見つける!+from scrapling.fetchers import Fetcher++page = Fetcher.get('https://quotes.toscrape.com/')+quotes = page.css('.quote .text::text').getall()+print(quotes)```-または本格的なクロールへスケールアップ++または本格的なクロールへスケールアップ:+```pythonfrom scrapling.spiders import Spider, Response@@ -240,7 +251,7 @@ MySpider().start()- **バックグラウンド API キャプチャ**:ブラウザーセッションで `record_requests=True` を有効にし、`session.network.search(limit=None)` で保存済みのレスポンスを検索できます。リクエストを再送信せずに、複数のページ読み込みで発生した API データや HTTP エラーを確認できます。履歴には保存上限があり、テキストのレスポンス本文を保存します。- **async サポート**:すべての Fetcher および専用 async Session クラス全体での完全な async サポート。-### 適応型スクレイピング+### パースとデータ抽出- 🔄 **スマート要素追跡**:インテリジェントな類似性アルゴリズムを使用してウェブサイトの変更後に要素を再配置。- 🎯 **スマート柔軟選択**:CSS セレクタ、XPath セレクタ、フィルタベース検索、テキスト検索、正規表現検索など。- 🔍 **類似要素の検出**:見つかった要素に類似した要素を自動的に特定。diff --git a/docs/README_KR.md b/docs/README_KR.mdindex 8b113f3..9020b21 100644--- a/docs/README_KR.md+++ b/docs/README_KR.md@@ -49,20 +49,31 @@<a href="https://scrapling.readthedocs.io/en/latest/ai/mcp-server.html"><strong>MCP 서버</strong></a></p>-Scrapling은 단일 요청부터 대규모 크롤링까지 모든 것을 처리하는 적응형 Web Scraping 프레임워크입니다.+Scrapling은 빠른 HTTP 요청, 스텔스 브라우저, 강력한 파싱, 동시 크롤링을 하나의 라이브러리에 담은 Python 웹 스크래핑 프레임워크입니다.-파서는 웹사이트 변경 사항을 학습하고, 페이지가 업데이트되면 요소를 자동으로 재배치합니다. Fetcher는 Cloudflare Turnstile 같은 안티봇 시스템을 별도 설정 없이 우회합니다. Spider 프레임워크를 사용하면 일시정지/재개, 자동 프록시 로테이션, 그리고 각 웹사이트의 응답 속도에 맞춰 조절되고 차단이 시작되면 속도를 늦추는 크롤링 속도를 갖춘 동시 멀티 세션 크롤링으로 확장할 수 있습니다 - 모두 Python 몇 줄이면 됩니다. 하나의 라이브러리, 타협 없는 성능.+정적 페이지를 스크래핑하고, JavaScript를 렌더링하고, 웹사이트를 조작하고, 페이지 뒤에서 호출되는 API의 데이터를 추출하세요. 재사용 가능한 세션, 프록시 로테이션, 자동 재시도, 일시정지/재개, 내장 데이터 내보내기 기능을 갖춘 크롤러를 만들 수 있습니다.-실시간 통계와 스트리밍을 통한 초고속 크롤링. Web Scraper가 만들고, Web Scraper와 일반 사용자 모두를 위해 설계했습니다.+Python이나 터미널에서, 또는 MCP 서버와 Agent Skill을 통해 AI 에이전트에서 사용할 수 있습니다. 몇 개의 필드 추출부터 웹사이트 전체를 깔끔한 Markdown으로 수집하는 작업까지, Scrapling이 스크래핑의 전 과정을 지원합니다.++## Scrapling으로 할 수 있는 일++- **가져오기와 조작**: 빠른 HTTP 요청, 스텔스 브라우저, JavaScript 렌더링, Cloudflare Turnstile/Interstitial 처리, 세션 유지, 백그라운드 API 통신 캡처.+- **파싱과 추출**: CSS, XPath, 텍스트와 정규식 검색, 적응형 요소 추적, 유사 요소 매칭, 깔끔한 Markdown 출력.+- **크롤링과 내보내기**: 동시 크롤링, 프록시 로테이션, 재시도, AutoThrottle, 일시정지/재개, 스트리밍, 바로 쓸 수 있는 Spider 템플릿, JSON/JSONL/CSV/XML 내보내기.+- **AI나 터미널에서 스크래핑**: AI 에이전트가 웹을 탐색하고 데이터를 추출할 수 있는 MCP 서버, Agent Skill, CLI 명령어, 인터랙티브 Shell.++먼저 한 페이지부터 시작하세요:```python-from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher-StealthyFetcher.adaptive = True-p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # 탐지를 피해 웹사이트를 가져옵니다!-products = p.css('.product', auto_save=True) # 웹사이트 디자인 변경에도 살아남는 데이터를 스크레이핑!-products = p.css('.product', adaptive=True) # 나중에 웹사이트 구조가 바뀌면, `adaptive=True`를 전달해서 찾으세요!+from scrapling.fetchers import Fetcher++page = Fetcher.get('https://quotes.toscrape.com/')+quotes = page.css('.quote .text::text').getall()+print(quotes)```-또는 본격적인 크롤링으로 확장++또는 본격적인 크롤링으로 확장:+```pythonfrom scrapling.spiders import Spider, Response@@ -240,7 +251,7 @@ MySpider().start()- **백그라운드 API 캡처**: 브라우저 세션에서 `record_requests=True`를 켜고 `session.network.search(limit=None)`으로 저장된 응답을 검색하세요. 요청을 다시 보내지 않고 여러 페이지를 로드하며 발생한 API 데이터와 HTTP 오류를 확인할 수 있습니다. 기록에는 저장 한도가 있으며 텍스트 응답 본문을 저장합니다.- **비동기 지원**: 모든 Fetcher와 전용 비동기 세션 클래스에서 완전한 비동기를 지원합니다.-### 적응형 스크레이핑+### 파싱과 데이터 추출- 🔄 **스마트 요소 추적**: 지능적인 유사도 알고리즘으로 웹사이트 변경 후에도 요소를 재배치합니다.- 🎯 **유연한 스마트 선택**: CSS selector, XPath selector, 필터 기반 검색, 텍스트 검색, 정규식 검색 등을 지원합니다.- 🔍 **유사 요소 찾기**: 발견된 요소와 유사한 요소를 자동으로 찾아냅니다.diff --git a/docs/README_PT_BR.md b/docs/README_PT_BR.mdindex 0864418..05bf328 100644--- a/docs/README_PT_BR.md+++ b/docs/README_PT_BR.md@@ -51,20 +51,31 @@<a href="https://scrapling.readthedocs.io/en/latest/ai/mcp-server.html"><strong>MCP</strong></a></p>-Scrapling é um framework adaptativo de Web Scraping que lida com tudo, desde uma única requisição até um crawl em larga escala.+Scrapling é um framework de Web Scraping em Python que reúne requisições HTTP rápidas, navegadores furtivos, um parser poderoso e crawling concorrente em uma única biblioteca.-Seu parser aprende com as mudanças nos sites e relocaliza automaticamente seus elementos quando as páginas são atualizadas. Seus fetchers contornam sistemas anti-bot como o Cloudflare Turnstile de forma nativa. E seu framework de spiders permite escalar para crawls concorrentes com múltiplas sessões, pausa/retomada, rotação automática de proxies e uma velocidade de crawl que se adapta à rapidez com que cada site responde e recua quando ele começa a bloquear você, tudo em poucas linhas de Python. Uma biblioteca, zero concessões.+Extraia dados de páginas estáticas, renderize JavaScript, interaja com sites e extraia dados das chamadas de API que os alimentam. Crie crawlers com sessões reutilizáveis, rotação de proxies, retries automáticos, pausa/retomada e exportação de dados integrada.-Crawls extremamente rápidos com estatísticas em tempo real e streaming. Feito por Web Scrapers para Web Scrapers e usuários comuns, há algo para todo mundo.+Use pelo Python, pelo terminal ou pelo seu agente de IA com o servidor MCP e o Agent Skill. Da extração de alguns campos à coleta de um site inteiro em Markdown limpo, Scrapling cobre todo o processo de scraping.++## O que você pode fazer com Scrapling++- **Buscar páginas e interagir**: Requisições HTTP rápidas, navegadores furtivos, renderização de JavaScript, tratamento de Cloudflare Turnstile/Interstitial, sessões persistentes e captura de chamadas de API em segundo plano.+- **Analisar e extrair**: CSS, XPath, busca por texto e expressões regulares, rastreamento adaptativo de elementos, busca de elementos semelhantes e saída em Markdown limpo.+- **Rastrear e exportar**: Spiders concorrentes, rotação de proxies, retries, AutoThrottle, pausa/retomada, streaming, templates prontos e exportação para JSON/JSONL/CSV/XML.+- **Fazer scraping com IA ou pelo terminal**: Um servidor MCP para agentes de IA navegarem e extraírem dados, um Agent Skill, comandos CLI e um shell interativo.++Comece com uma única página:```python-from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher-StealthyFetcher.adaptive = True-p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # Busque o site sem chamar atenção!-products = p.css('.product', auto_save=True) # Extraia dados que sobrevivem a mudanças no design do site!-products = p.css('.product', adaptive=True) # Depois, se a estrutura do site mudar, passe `adaptive=True` para encontrá-los!+from scrapling.fetchers import Fetcher++page = Fetcher.get('https://quotes.toscrape.com/')+quotes = page.css('.quote .text::text').getall()+print(quotes)```-Ou escale para crawls completos++Ou escale para crawls completos:+```pythonfrom scrapling.spiders import Spider, Response@@ -242,7 +253,7 @@ MySpider().start()- **Captura de API em Segundo Plano**: Ative `record_requests=True` em uma sessão do navegador e busque as respostas salvas com `session.network.search(limit=None)`. Leia dados de API e erros HTTP entre carregamentos de páginas sem enviar as requisições novamente. O histórico tem limites e salva corpos de resposta de texto.- **Suporte Async**: Suporte assíncrono completo em todos os fetchers e classes dedicadas de sessão async.-### Scraping Adaptativo+### Análise e Extração de Dados- 🔄 **Rastreamento Inteligente de Elementos**: Relocalize elementos após mudanças no site usando algoritmos inteligentes de similaridade.- 🎯 **Seleção Flexível Inteligente**: Seletores CSS, seletores XPath, busca baseada em filtros, busca por texto, busca por regex e muito mais.- 🔍 **Encontrar Elementos Semelhantes**: Localize automaticamente elementos parecidos com os elementos encontrados.diff --git a/docs/README_RU.md b/docs/README_RU.mdindex ef4eb7b..cac48df 100644--- a/docs/README_RU.md+++ b/docs/README_RU.md@@ -49,20 +49,31 @@<a href="https://scrapling.readthedocs.io/en/latest/ai/mcp-server.html"><strong>Режим MCP</strong></a></p>-Scrapling - это адаптивный фреймворк для Web Scraping, который берёт на себя всё: от одного запроса до полномасштабного обхода сайтов.+Scrapling - это фреймворк для Web Scraping на Python, который объединяет быстрые HTTP-запросы, скрытные браузеры, мощный парсинг и параллельный обход сайтов в одной библиотеке.-Его парсер учится на изменениях сайтов и автоматически перемещает ваши элементы при обновлении страниц. Его Fetcher'ы обходят анти-бот системы вроде Cloudflare Turnstile прямо из коробки. А его Spider-фреймворк позволяет масштабироваться до параллельных, многосессионных обходов с Pause & Resume, автоматической ротацией Proxy и скоростью обхода, которая подстраивается под скорость ответа каждого сайта и снижается, как только он начинает вас блокировать, - и всё это в нескольких строках Python. Одна библиотека, без компромиссов.+Собирайте данные со статических страниц, выполняйте JavaScript, взаимодействуйте с сайтами и извлекайте данные из их API-запросов. Создавайте краулеры с повторно используемыми сессиями, ротацией прокси, автоматическими повторными попытками, паузой и возобновлением работы и встроенным экспортом данных.-Молниеносно быстрые обходы с отслеживанием статистики в реальном времени и Streaming. Создано веб-скраперами для веб-скраперов и обычных пользователей - здесь есть что-то для каждого.+Используйте Scrapling из Python, терминала или через своего ИИ-агента с помощью MCP-сервера и Agent Skill. Scrapling охватывает весь процесс сбора данных из интернета: от извлечения нескольких полей до сбора целого сайта в чистом Markdown.++## Что можно делать с Scrapling++- **Загружать и взаимодействовать**: Быстрые HTTP-запросы, скрытные браузеры, рендеринг JavaScript, работа с Cloudflare Turnstile/Interstitial, постоянные сессии и запись фоновых API-запросов.+- **Разбирать и извлекать**: CSS, XPath, поиск по тексту и регулярным выражениям, адаптивное отслеживание элементов, поиск похожих элементов и вывод в чистом Markdown.+- **Обходить сайты и экспортировать данные**: Параллельные пауки, ротация прокси, повторные попытки, AutoThrottle, пауза и возобновление работы, Streaming, готовые шаблоны и экспорт в JSON/JSONL/CSV/XML.+- **Собирать данные с ИИ или из терминала**: MCP-сервер для ИИ-агентов с возможностью просматривать сайты и извлекать данные, Agent Skill, команды CLI и интерактивная Shell.++Начните с одной страницы:```python-from scrapling.fetchers import Fetcher, AsyncFetcher, StealthyFetcher-StealthyFetcher.adaptive = True-p = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # Загрузите сайт незаметно!-products = p.css('.product', auto_save=True) # Скрапьте данные, которые переживут изменения дизайна сайта!-products = p.css('.product', adaptive=True) # Позже, если структура сайта изменится, передайте `adaptive=True`, чтобы найти их!+from scrapling.fetchers import Fetcher++page = Fetcher.get('https://quotes.toscrape.com/')+quotes = page.css('.quote .text::text').getall()+print(quotes)```-Или масштабируйте до полного обхода++Или масштабируйте до полного обхода:+```pythonfrom scrapling.spiders import Spider, Response@@ -242,7 +253,7 @@ MySpider().start()- **Перехват фоновых API-запросов**: Включите `record_requests=True` в сессии браузера и ищите сохранённые ответы с помощью `session.network.search(limit=None)`. Читайте данные API и ошибки HTTP после загрузки разных страниц без повторной отправки запросов. История ограничена по размеру и сохраняет текстовые тела ответов.- **Поддержка async**: Полная async-поддержка во всех Fetcher'ах и выделенных async-классах сессий.-### Адаптивный скрапинг+### Парсинг и извлечение данных- 🔄 **Умное отслеживание элементов**: Перемещайте элементы после изменений сайта с помощью интеллектуальных алгоритмов подобия.- 🎯 **Умный гибкий выбор**: CSS-селекторы, XPath-селекторы, поиск на основе фильтров, текстовый поиск, поиск по регулярным выражениям и многое другое.- 🔍 **Поиск похожих элементов**: Автоматически находите элементы, похожие на найденные.diff --git a/docs/index.md b/docs/index.mdindex 2d713c7..9467418 100644--- a/docs/index.md+++ b/docs/index.md@@ -16,20 +16,31 @@<h2 align="center"><i>Effortless Web Scraping for the Modern Web</i></h2><br>-Scrapling is an adaptive Web Scraping framework that handles everything from a single request to a full-scale crawl.+Scrapling is a Python Web Scraping framework that brings fast HTTP requests, stealth browsers, powerful parsing, and concurrent crawling into one library.-Its parser learns from website changes and automatically relocates your elements when pages update. Its fetchers bypass anti-bot systems like Cloudflare Turnstile out of the box. And its spider framework lets you scale up to concurrent, multi-session crawls with pause/resume, automatic proxy rotation, and a crawl speed that adapts to how fast each website responds and backs off when it starts blocking you - all in a few lines of Python. One library, zero compromises.+Scrape static pages, render JavaScript, interact with websites, and extract data from the API calls behind them. Build crawlers with reusable sessions, proxy rotation, automatic retries, pause/resume, and built-in data exports.-Blazing fast crawls with real-time stats and streaming. Built by Web Scrapers for Web Scrapers and regular users, there's something for everyone.+Use it from Python, the terminal, or your AI agent through its MCP server and Agent Skill. From extracting a few fields to collecting a whole website as clean Markdown, Scrapling covers the full scraping workflow.++## What you can do with Scrapling++- **Fetch & interact**: Fast HTTP requests, stealth browsers, JavaScript rendering, Cloudflare Turnstile/Interstitial handling, persistent sessions, and background API capture.+- **Parse & extract**: CSS, XPath, text and regex search, adaptive element tracking, similar-element matching, and clean Markdown output.+- **Crawl & export**: Concurrent spiders, proxy rotation, retries, AutoThrottle, pause/resume, streaming, ready-made templates, and JSON/JSONL/CSV/XML exports.+- **Scrape with AI or from your terminal**: An MCP server for AI agents to browse and extract data, an Agent Skill, CLI commands, and an interactive shell.++Start with a single page:```python-from scrapling.fetchers import Fetcher, StealthyFetcher-StealthyFetcher.adaptive = True-page = StealthyFetcher.fetch('https://example.com', headless=True, network_idle=True) # Fetch website under the radar!-products = page.css('.product', auto_save=True) # Scrape data that survives website design changes!-products = page.css('.product', adaptive=True) # Later, if the website structure changes, pass `adaptive=True` to find them!+from scrapling.fetchers import Fetcher++page = Fetcher.get('https://quotes.toscrape.com/')+quotes = page.css('.quote .text::text').getall()+print(quotes)```-Or scale up to full crawls++Or scale up to full crawls:+```pythonfrom scrapling.spiders import Spider, Response@@ -123,7 +134,7 @@ MySpider().start()- **Background API Capture**: Enable `record_requests=True` on a browser session, then search its saved responses with `session.network.search(limit=None)`. Read API data and HTTP errors across page loads without sending requests again. History is bounded and saves text response bodies.- **Async Support**: Complete async support across all fetchers and dedicated async session classes.-### Adaptive Scraping+### Parsing and Data Extraction- 🔄 **Smart Element Tracking**: Relocate elements after website changes using intelligent similarity algorithms.- 🎯 **Smart Flexible Selection**: CSS selectors, XPath selectors, filter-based search, text search, regex search, and more.- 🔍 **Find Similar Elements**: Automatically locate elements similar to found elements.