Skip to content

πŸ•·οΈ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

1.9 KB
Raw Blame

title: "Scrapling CLI: сбор Π΄Π°Π½Π½Ρ‹Ρ… ΠΈΠ· Ρ‚Π΅Ρ€ΠΌΠΈΠ½Π°Π»Π°" description: "УстановитС инструмСнты Scrapling для Ρ‚Π΅Ρ€ΠΌΠΈΠ½Π°Π»Π° ΠΈ Π²Ρ‹Π±Π΅Ρ€ΠΈΡ‚Π΅ ΠΊΠΎΠΌΠ°Π½Π΄Ρ‹ извлСчСния, ΠΈΠ½Ρ‚Π΅Ρ€Π°ΠΊΡ‚ΠΈΠ²Π½ΡƒΡŽ ΠΎΠ±ΠΎΠ»ΠΎΡ‡ΠΊΡƒ ΠΈΠ»ΠΈ MCP-сСрвСр. ΠžΡ‚ΠΊΡ€ΠΎΠΉΡ‚Π΅ руководство для своСй Π·Π°Π΄Π°Ρ‡ΠΈ."

Π˜Π½Ρ‚Π΅Ρ€Ρ„Π΅ΠΉΡ ΠΊΠΎΠΌΠ°Π½Π΄Π½ΠΎΠΉ строки {#command-line-interface}

Начиная с v0.3, Π² Scrapling Π΅ΡΡ‚ΡŒ интСрфСйс ΠΊΠΎΠΌΠ°Π½Π΄Π½ΠΎΠΉ строки с трСмя основными возмоТностями:

  1. Π˜Π½Ρ‚Π΅Ρ€Π°ΠΊΡ‚ΠΈΠ²Π½Π°Ρ ΠΎΠ±ΠΎΠ»ΠΎΡ‡ΠΊΠ°: срСда Π½Π° основС IPython для сбора Π΄Π°Π½Π½Ρ‹Ρ… с сайтов, с ΡƒΠ΄ΠΎΠ±Π½Ρ‹ΠΌΠΈ сокращСниями ΠΈ инструмСнтами.
  2. ΠšΠΎΠΌΠ°Π½Π΄Ρ‹ извлСчСния: сбор Π΄Π°Π½Π½Ρ‹Ρ… с сайтов ΠΈΠ· Ρ‚Π΅Ρ€ΠΌΠΈΠ½Π°Π»Π° Π±Π΅Π· программирования.
  3. Π‘Π»ΡƒΠΆΠ΅Π±Π½Ρ‹Π΅ ΠΊΠΎΠΌΠ°Π½Π΄Ρ‹: инструмСнты установки ΠΈ управлСния.
# Launch interactive shell
scrapling shell

# Convert the content of a page to markdown and save it to a file
scrapling extract get "https://example.com" content.md

# Get help for any command
scrapling --help
scrapling extract --help

ВрСбования {#requirements}

Для этого Ρ€Π°Π·Π΄Π΅Π»Π° установитС Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΡƒΡŽ Π³Ρ€ΡƒΠΏΠΏΡƒ зависимостСй shell:

pip install "scrapling[shell]"

Для Π·Π°Π³Ρ€ΡƒΠ·ΠΊΠΈ страниц Ρ‡Π΅Ρ€Π΅Π· Π±Ρ€Π°ΡƒΠ·Π΅Ρ€ Ρ‚Π°ΠΊΠΆΠ΅ установитС Π΅Π³ΠΎ зависимости:

scrapling install

Команда скачиваСт Chromium ΠΈ Π΅Π³ΠΎ систСмныС зависимости, Π° Ρ‚Π°ΠΊΠΆΠ΅ обновляСт список TLD. Для HTTP-запросов этот шаг Π½Π΅ Π½ΡƒΠΆΠ΅Π½.