๐ท๏ธ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev
title: "Scrapling: Python ์น ์คํฌ๋ํ ํ๋ ์์ํฌ" description: "Scrapling: ํ๋์ ์ธ ์น์ ๊ฐํธํ๊ฒ ์คํฌ๋ํํ์ธ์!"
ํ๋์ ์ธ ์น์ ๊ฐํธํ๊ฒ ์คํฌ๋ํํ์ธ์
Scrapling์ ๋น ๋ฅธ HTTP ์์ฒญ, ์คํ ์ค ๋ธ๋ผ์ฐ์ , ๊ฐ๋ ฅํ ํ์ฑ, ๋์ ํฌ๋กค๋ง์ ํ๋๋ก ๋ฌถ์ Python ์น ์คํฌ๋ํ ํ๋ ์์ํฌ์ ๋๋ค.
์ ์ ํ์ด์ง๋ฅผ ๊ฐ์ ธ์ค๊ณ , JavaScript๋ฅผ ์คํํ๊ณ , ์ฌ์ดํธ๋ฅผ ์กฐ์ํ๊ณ , ์ฌ์ดํธ๊ฐ ํธ์ถํ๋ API์์ ๋ฐ์ดํฐ๋ฅผ ์ถ์ถํ์ธ์. ์ธ์ ์ฌ์ฌ์ฉ, ํ๋ก์ ๊ต์ฒด, ์๋ ์ฌ์๋, ์ผ์ ์ ์ง์ ์ฌ๊ฐ, ๋ฐ์ดํฐ ๋ด๋ณด๋ด๊ธฐ๋ฅผ ์ง์ํ๋ ํฌ๋กค๋ฌ๋ฅผ ๋ง๋ค ์ ์์ต๋๋ค.
Python์ด๋ ํฐ๋ฏธ๋์์ ์ฌ์ฉํ ์ ์์ผ๋ฉฐ, MCP ์๋ฒ์ Agent Skill์ ํตํด AI ์์ด์ ํธ์์๋ ์ฌ์ฉํ ์ ์์ต๋๋ค. ๋ช ๊ฐ์ ํ๋๋ฅผ ์ถ์ถํ๋ ์์ ๋ถํฐ ์ฌ์ดํธ ์ ์ฒด๋ฅผ ๊น๋ํ Markdown ํ์ผ๋ก ์ ์ฅํ๋ ์์ ๊น์ง ์ง์ํฉ๋๋ค.
Scrapling์ผ๋ก ํ ์ ์๋ ์ผ {#what-you-can-do-with-scrapling}
- ํ์ด์ง ๊ฐ์ ธ์ค๊ธฐ์ ์กฐ์: ๋น ๋ฅธ HTTP ์์ฒญ, ์คํ ์ค ๋ธ๋ผ์ฐ์ , JavaScript ์คํ, Cloudflare Turnstile๊ณผ Interstitial ์ฒ๋ฆฌ, ์ง์ ์ธ์ , ๋ฐฑ๊ทธ๋ผ์ด๋ API ์๋ต ๊ธฐ๋ก.
- ํ์ฑ๊ณผ ๋ฐ์ดํฐ ์ถ์ถ: CSS, XPath, ํ ์คํธ์ ์ ๊ท์ ๊ฒ์, ํ์ด์ง๊ฐ ๋ฐ๋ ๋ค์๋ ์์ ์ถ์ , ๋น์ทํ ์์ ์ฐพ๊ธฐ, ๊น๋ํ Markdown ์ถ๋ ฅ.
- ํฌ๋กค๋ง๊ณผ ๋ด๋ณด๋ด๊ธฐ: ๋์ ํฌ๋กค๋ง, ํ๋ก์ ๊ต์ฒด, ์ฌ์๋, AutoThrottle, ์ผ์ ์ ์ง์ ์ฌ๊ฐ, ์คํธ๋ฆฌ๋ฐ, ๋ฐ๋ก ์ธ ์ ์๋ ํ ํ๋ฆฟ, JSONยทJSONLยทCSVยทXML ๋ด๋ณด๋ด๊ธฐ.
- AI๋ ํฐ๋ฏธ๋์์ ์คํฌ๋ํ: AI ์์ด์ ํธ๊ฐ ์ฌ์ดํธ๋ฅผ ํ์ํ๊ณ ๋ฐ์ดํฐ๋ฅผ ์ถ์ถํ๋ MCP ์๋ฒ, Agent Skill, CLI ๋ช ๋ น์ด, ๋ํํ ์ ธ.
ํ ํ์ด์ง๋ถํฐ ์์ํ์ธ์:
from scrapling.fetchers import Fetcher
page = Fetcher.get('https://quotes.toscrape.com/')
quotes = page.css('.quote .text::text').getall()
print(quotes)
์คํ์ด๋๋ก ์ฌ๋ฌ ํ์ด์ง๋ฅผ ์์งํ ์๋ ์์ต๋๋ค:
from scrapling.spiders import Spider, Response
class QuotesSpider(Spider):
name = "quotes"
start_urls = ["https://quotes.toscrape.com/"]
async def parse(self, response: Response):
for quote in response.css('.quote'):
yield {
"text": quote.css('.text::text').get(),
"author": quote.css('.author::text').get(),
}
result = QuotesSpider().start()
print(len(result.items))
result.items.to_json("quotes.json")
์ด ์ฝ๋๋ 10์ ์ถ๋ ฅํ๊ณ ๋ช
์ธ๊ณผ ์ ์๋ฅผ quotes.json์ ์ ์ฅํฉ๋๋ค.
์ฃผ์ ํ์์ฌ {#top-sponsors}
--8<-- "sponsors.html"
์ฌ๊ธฐ์ ๊ด๊ณ ๋ฅผ ์ฌ๋ฆฌ๊ณ ์ถ์ผ์ ๊ฐ์? ์ฌ๊ธฐ์์ ์๊ธ์ ๋ฅผ ์ ํํ๊ณ ๋ค๋ฅธ ํํ๋ ๋ฐ์ ๋ณด์ธ์!
์ฃผ์ ๊ธฐ๋ฅ {#key-features}
์คํ์ด๋: ๋ณธ๊ฒฉ์ ์ธ ํฌ๋กค๋ง ํ๋ ์์ํฌ {#spiders-a-full-crawling-framework}
- ๐ท๏ธ Scrapy์ ๋น์ทํ Spider API:
start_urls, ๋น๋๊ธฐparse์ฝ๋ฐฑ,Request/Response๊ฐ์ฒด๋ก ์คํ์ด๋๋ฅผ ์ ์ํฉ๋๋ค. - โก ๋์ ํฌ๋กค๋ง: ๋์์ ์ฒ๋ฆฌํ ์์ฒญ ์, ๋๋ฉ์ธ๋ณ ์ ํ, ๋ค์ด๋ก๋ ์ฌ์ด์ ๋๊ธฐ ์๊ฐ์ ์ค์ ํฉ๋๋ค.
- ๐ ์ฌ๋ฌ ์ธ์ ์ง์: ํ ์คํ์ด๋์์ HTTP ์์ฒญ๊ณผ ์คํ ์ค ํค๋๋ฆฌ์ค ๋ธ๋ผ์ฐ์ ๋ฅผ ๊ฐ์ ๋ฐฉ์์ผ๋ก ์ฌ์ฉํฉ๋๋ค. ์ธ์ ID๋ก ๊ฐ ์์ฒญ์ ๋ณด๋ผ ์ธ์ ์ ๊ณ ๋ฆ ๋๋ค.
- ๐พ ์ผ์ ์ ์ง์ ์ฌ๊ฐ:
crawldir๋ก ๋๊ธฐ ์ค์ธ ์์ฒญ๊ณผ ๋ฐฉ๋ฌธํ URL์ ์ ์ฅํฉ๋๋ค. Ctrl+C๋ก ์์ ํ๊ฒ ๋ฉ์ถ ๋ค ๊ฐ์ ํด๋๋ก ๋ค์ ์์ํ๋ฉด ์ด์ด์ ์คํ๋ฉ๋๋ค. - ๐ก ์คํธ๋ฆฌ๋ฐ:
async for item in spider.stream()์ผ๋ก ์ถ์ถํ ํญ๋ชฉ์ ๋ฐ๋ก ๋ฐ๊ณ ์ค์๊ฐ ํต๊ณ๋ฅผ ํ์ธํฉ๋๋ค. ํ๋ฉด ํ์, ๋ฐ์ดํฐ ์ฒ๋ฆฌ, ๊ธด ํฌ๋กค๋ง ์์ ์ ์ ํฉํฉ๋๋ค. - ๐ก๏ธ ์ฐจ๋จ ๊ฐ์ง: ์ฐจ๋จ๋ ์์ฒญ์ ์๋์ผ๋ก ๊ฐ์งํ๊ณ ์ฌ์๋ํฉ๋๋ค. ์ฒ๋ฆฌ ๋ฐฉ์๋ ๋ฐ๊ฟ ์ ์์ต๋๋ค.
- ๐ฆ AutoThrottle: ๋๊ธฐ ์๊ฐ์ ์ง์ ์ถ์ธกํ ํ์๊ฐ ์์ต๋๋ค. ์คํ์ด๋๊ฐ ์๋ต ์๋์ ๋ง์ถฐ ๋๋ฉ์ธ๋ณ ๋๊ธฐ ์๊ฐ์ ์กฐ์ ํฉ๋๋ค. ์ฐจ๋จ์ด๋ ์์ฒญ ๋น๋ ์ ํ์ด ์์๋๋ฉด ๋ ๋ฐฐ๋ก ๋๋ฆฌ๊ฑฐ๋
Retry-After๊ฐ ์ง์ ํ ์๊ฐ๋งํผ ๊ธฐ๋ค๋ฆฌ๊ณ , ๋ฌธ์ ๊ฐ ์ฌ๋ผ์ง๋ฉด ๋ค์ ์๋๋ฅผ ๋์ ๋๋ค. - ๐ค robots.txt ์ค์:
robots_txt_obey๋ฅผ ์ผ๋ฉดDisallow,Crawl-delay,Request-rate๊ท์น์ ๋ฐ๋ฆ ๋๋ค. ๊ท์น์ ๋๋ฉ์ธ๋ณ๋ก ์บ์ํฉ๋๋ค. - ๐งช ๊ฐ๋ฐ ๋ชจ๋: ์ฒซ ์คํ์์ ์๋ต์ ๋์คํฌ์ ์ ์ฅํ๊ณ ๋ค์ ์คํ๋ถํฐ ๋ค์ ์ฌ์ฉํฉ๋๋ค. ์๋ฒ์ ๋ค์ ์์ฒญํ์ง ์๊ณ
parse()๋ฅผ ์์ ํ๋ฉฐ ์ํํ ์ ์์ต๋๋ค. - ๐งฉ ๋ฐ๋ก ์ฐ๋ ์คํ์ด๋ ํ
ํ๋ฆฟ:
CrawlSpider๋ ๊ท์น์ ๋ฐ๋ผ ๋งํฌ๋ฅผ ๋ฐ๋ผ๊ฐ๊ณ ,SitemapSpider๋ sitemap๊ณผ robots.txt๋ฅผ ์ฌ์ฉํฉ๋๋ค.XMLFeedSpider/CSVFeedSpider๋ XMLยทRSSยทCSV ํผ๋๋ฅผ ์ฝ์ต๋๋ค.ShopifySpider๋ ๊ณต๊ฐ Shopify ์คํ ์ด์์ ์ํ์ ์์งํ๋ฉฐ, ์ํ ์ต์ ์กฐํฉ๋ง๋ค ํ ํญ๋ชฉ์ ๋ง๋ญ๋๋ค. - ๐ ๋งํฌ ์ถ์ถ:
LinkExtractor๋ ํ์ฉยท์ ์ธ ํจํด, ๋๋ฉ์ธ ํํฐ, CSSยทXPath ๋ฒ์ ์ง์ , ํ์ฅ์ ํํฐ, URL ์ ๊ทํ๋ฅผ ์ง์ํฉ๋๋ค. ํ ํ๋ฆฟ ์์์ ๋๋ ๋จ๋ ์ผ๋ก ์ฌ์ฉํ ์ ์์ต๋๋ค. - ๐ฆ ๋ฐ์ดํฐ ๋ด๋ณด๋ด๊ธฐ: ํ
๊ณผ ์์ฒด ์ฒ๋ฆฌ ๊ณผ์ ์ผ๋ก ๊ฒฐ๊ณผ๋ฅผ ์ ์ฅํ๊ฑฐ๋ ๋ด์ฅ JSONยทJSONLยทCSVยทXML ๊ธฐ๋ฅ์ ์ฌ์ฉํ์ธ์.
result.items.to_json(),to_jsonl(),to_csv(),to_xml()์ ํธ์ถํ๋ฉด ๋ฉ๋๋ค.
์ธ์ ์ ์ฌ์ฉํ ์ฌ์ดํธ ๊ฐ์ ธ์ค๊ธฐ {#advanced-websites-fetching-with-session-support}
- HTTP ์์ฒญ:
Fetcher๋ก ๋น ๋ฅด๊ณ ํ์งํ๊ธฐ ์ด๋ ค์ด HTTP ์์ฒญ์ ๋ณด๋ ๋๋ค. ๋ธ๋ผ์ฐ์ ์ TLS ์ง๋ฌธ๊ณผ ํค๋๋ฅผ ํ๋ด ๋ด๊ณ HTTP/3๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค. - ๋์ ํ์ด์ง:
StealthyFetcher๋ก ๋ธ๋ผ์ฐ์ ๋ฅผ ์๋ ์กฐ์ํ๋ฉฐ ๋์ ์ฌ์ดํธ๋ฅผ ๊ฐ์ ธ์ต๋๋ค. Playwright์ Chromium๊ณผ Google Chrome์ ์ง์ํฉ๋๋ค. - ๋ด ์ฐจ๋จ ์ฐํ:
StealthyFetcher๋ ์๋ํ ํ์ ์ ์จ๊ธฐ๊ณ ๋ธ๋ผ์ฐ์ ์ง๋ฌธ์ ์์ฅํฉ๋๋ค. ๋ชจ๋ ์ ํ์ Cloudflare Turnstile๊ณผ Interstitial ๊ฒ์ฌ๋ฅผ ์๋์ผ๋ก ํต๊ณผํ ์ ์์ต๋๋ค. - ์ธ์
๊ด๋ฆฌ:
FetcherSession๊ณผStealthySession์ ์์ฒญ ์ฌ์ด์ ์ฟ ํค์ ์ํ๋ฅผ ์ ์งํฉ๋๋ค. - ํ๋ก์ ๊ต์ฒด:
ProxyRotator๋ ๋ชจ๋ ์ธ์ ์์ ํ๋ก์๋ฅผ ์์๋๋ก ๋๋ ์ ํ ๊ท์น์ ๋ฐ๋ผ ๊ต์ฒดํฉ๋๋ค. ์์ฒญ๋ง๋ค ๋ค๋ฅธ ํ๋ก์๋ฅผ ์ง์ ํ ์๋ ์์ต๋๋ค. - ๋๋ฉ์ธ๊ณผ ๊ด๊ณ ์ฐจ๋จ: ํน์ ๋๋ฉ์ธ๊ณผ ํ์ ๋๋ฉ์ธ์ผ๋ก ๋ณด๋ด๋ ์์ฒญ์ ๋ง์ ์ ์์ต๋๋ค. ๋ธ๋ผ์ฐ์ Fetcher์ ๊ด๊ณ ์ฐจ๋จ ๊ธฐ๋ฅ์ ์ฝ 3,500๊ฐ์ ๊ด๊ณ ยท์ถ์ ๋๋ฉ์ธ์ ์ฐจ๋จํฉ๋๋ค.
- DNS ์ ์ถ ๋ฐฉ์ง: DNS-over-HTTPS๋ฅผ ์ผ๋ฉด Cloudflare์ DoH๋ฅผ ํตํด DNS๋ฅผ ์กฐํํฉ๋๋ค. ํ๋ก์๋ฅผ ์ธ ๋ DNS๊ฐ ์์ด ๋๊ฐ๋ ๊ฒ์ ๋ง์ต๋๋ค.
- ์๊ฒฉ ๋ธ๋ผ์ฐ์ :
cdp_url๋ก CDP๋ฅผ ํตํด ์ด๋ฏธ ์คํ ์ค์ธ ๋ธ๋ผ์ฐ์ ์ ์ฐ๊ฒฐํฉ๋๋ค. ๊ฐ์ ์ปดํจํฐ, ๋ค๋ฅธ ์๋ฒ, ๋ธ๋ผ์ฐ์ ์ ๊ณต ์๋น์ค ์ด๋์์๋ ์ฌ์ฉํ ์ ์์ต๋๋ค.executable_path๋ก ์ง์ ๋ง๋ Chromium์ ๋ธ๋ผ์ฐ์ Fetcher์ ์ง์ ํ ์๋ ์์ต๋๋ค. - ๋ฐฑ๊ทธ๋ผ์ด๋ API ์๋ต ๊ธฐ๋ก: ๋ธ๋ผ์ฐ์ ์ธ์
์์
record_requests=True๋ฅผ ์ผ๊ณsession.network.search(limit=None)์ผ๋ก ์ ์ฅ๋ ์๋ต์ ๊ฒ์ํ์ธ์. ์์ฒญ์ ๋ค์ ๋ณด๋ด์ง ์๊ณ ์ฌ๋ฌ ํ์ด์ง์์ ๋ฐ์ํ API ๋ฐ์ดํฐ์ HTTP ์ค๋ฅ๋ฅผ ์ฝ์ ์ ์์ต๋๋ค. ๊ธฐ๋ก์๋ ํฌ๊ธฐ ์ ํ์ด ์์ผ๋ฉฐ ํ ์คํธ ์๋ต ๋ณธ๋ฌธ์ ์ ์ฅํฉ๋๋ค. - ๋น๋๊ธฐ ์ง์: ๋ชจ๋ Fetcher์์ ๋น๋๊ธฐ ํธ์ถ์ ์ง์ํ๋ฉฐ, ์ ์ฉ ๋น๋๊ธฐ ์ธ์ ํด๋์ค๋ ์ ๊ณตํฉ๋๋ค.
ํ์ฑ๊ณผ ๋ฐ์ดํฐ ์ถ์ถ {#parsing-and-data-extraction}
- ๐ ์์ ์ถ์ : ์ฌ์ดํธ๊ฐ ๋ฐ๋์ด๋ ์ ์ฌ๋ ์๊ณ ๋ฆฌ์ฆ์ผ๋ก ์์๋ฅผ ๋ค์ ์ฐพ์ต๋๋ค.
- ๐ฏ ์ ์ฐํ ์ ํ: CSS, XPath, ํํฐ, ํ ์คํธ, ์ ๊ท์ ๋ฑ ์ฌ๋ฌ ๋ฐฉ๋ฒ์ ์ฌ์ฉํ ์ ์์ต๋๋ค.
- ๐ ๋น์ทํ ์์ ์ฐพ๊ธฐ: ์ด๋ฏธ ์ฐพ์ ์์์ ๋น์ทํ ์์๋ฅผ ์๋์ผ๋ก ์ฐพ์ต๋๋ค.
AI ๊ธฐ๋ฅ {#ai-features}
- ๐ค MCP ์๋ฒ: Claude๋ Cursor ๊ฐ์ AI ์ฑ๋ด๊ณผ ์์ด์ ํธ๊ฐ Scrapling์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ์์งํฉ๋๋ค. HTTP ์์ฒญ, ๋ธ๋ผ์ฐ์ ์กฐ์, ์คํฌ๋ฆฐ์ท, ์ ์ฅ๋ ๋ก๊ทธ์ธ ์ํ, ๋ฐฑ๊ทธ๋ผ์ด๋ API ์๋ต์ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์คํ ์ค ๋ธ๋ผ์ฐ์ ์ ๋๊ตฌ๋ฅผ ํตํด ์ถฉ๋ถํ ๋ฅ๋ ฅ์ ๊ฐ์ง AI ๋ชจ๋ธ์ด ์์ ์ค ๋ง์ฃผ์น๋ ๋ชจ๋ CAPTCHA๋ฅผ ์ฒ๋ฆฌํ๋๋ก ๋์ต๋๋ค. Cloudflare ์ฒ๋ฆฌ ๊ธฐ๋ฅ๋ ๋ด์ฅ๋์ด ์์ต๋๋ค. ๋ชจ๋ธ์ ๋ณด๋ด๋ ๋ด์ฉ์ ์ค์ด๊ณ ๊ด๊ณ ๋ฅผ ์ฐจ๋จํ๋ฉฐ ํ๋กฌํํธ ์ธ์ ์ ์ผ๋ก๋ถํฐ ๋ชจ๋ธ์ ๋ณดํธํฉ๋๋ค. CDP ์๊ฒฉ ๋ธ๋ผ์ฐ์ ์ ์ธ์ฆ์ ์ง์ํ๋ HTTP ์ฐ๊ฒฐ๋ ์ ๊ณตํฉ๋๋ค. (๋ฐ๋ชจ ์์)
- ๐ง Agent Skill: ์ค์นํด์ ์ฐ๋ Agent Skill์ด ์ฝ๋ฉ ์์ด์ ํธ์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ์ ์ฒด ์ฌ์ฉ๋ฒ์ ์๋ ค ์ค๋๋ค. ์์ด์ ํธ๊ฐ ์ถ์ธก ๋์ ํ์ฌ API์ ๋ง๋ ์ฝ๋๋ฅผ ์์ฑํ๋๋ก ๋์ต๋๋ค.
- ๐ RAG์ฉ Markdown: ํ ์ค(
page.markdown())๋ก ํ์ด์ง๋ฅผ ์ ๋ฆฌํ๊ณ ์ํํ ๋ด์ฉ์ ์ ๊ฑฐํด LLM์ฉ Markdown์ผ๋ก ๋ง๋ญ๋๋ค.ContentSpiderํ ํ๋ฆฟ์ผ๋ก ์ฌ์ดํธ ์ ์ฒด๋ฅผ Markdown ํ์ผ๋ก ์ ์ฅํ ์๋ ์์ต๋๋ค. ์ด ๊ณผ์ ์๋ LLM์ด ํ์ํ์ง ์์ต๋๋ค. (๋ฌธ์)
๋น ๋ฅด๊ณ ์ค๋ฌด์์ ๊ฒ์ฆ๋ ๊ตฌ์กฐ {#high-performance-battle-tested-architecture}
- ๐ ๋น ๋ฅธ ์ฒ๋ฆฌ: ์ต์ ํ๋ฅผ ํตํด ๋๋ถ๋ถ์ Python ์คํฌ๋ํ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ณด๋ค ๋น ๋ฅด๊ฒ ๋์ํฉ๋๋ค.
- ๐ ์ ์ ๋ฉ๋ชจ๋ฆฌ ์ฌ์ฉ: ์ต์ ํํ ์๋ฃ ๊ตฌ์กฐ๋ฅผ ์ฌ์ฉํ๊ณ ํ์ํ ์์ ์๋ง ๋ฐ์ดํฐ๋ฅผ ๋ถ๋ฌ์ต๋๋ค.
- โก ๋น ๋ฅธ JSON ๋ณํ: ํ์ค ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ณด๋ค 10๋ฐฐ ๋น ๋ฆ ๋๋ค.
- ๐๏ธ ์ค๋ฌด ๊ฒ์ฆ: ํ ์คํธ ์ปค๋ฒ๋ฆฌ์ง 92%์ ์ ์ฒด ์ฝ๋์ ํ์ ํํธ๋ฅผ ๊ฐ์ท์ต๋๋ค. ์ง๋ 1๋ ๋์ ์๋ฐฑ ๋ช ์ด ๋งค์ผ ๋ฐ์ดํฐ๋ฅผ ์์งํ๋ ๋ฐ ์ฌ์ฉํ์ต๋๋ค.
๊ฐ๋ฐ์๋ฅผ ์ํ ํธ๋ฆฌํ ๋๊ตฌ {#developerweb-scraper-friendly-experience}
- ๐ฏ ๋ํํ ์ ธ: Scrapling์ ํตํฉํ IPython ์ ธ์ ์ถ๊ฐํ ์ ์์ต๋๋ค. ๋จ์ถ ๋ช ๋ น๊ณผ ๋๊ตฌ๋ก ์คํฌ๋ฆฝํธ๋ฅผ ๋น ๋ฅด๊ฒ ๊ฐ๋ฐํ์ธ์. curl ์์ฒญ์ Scrapling ์์ฒญ์ผ๋ก ๋ฐ๊พธ๊ณ ๊ฒฐ๊ณผ๋ฅผ ๋ธ๋ผ์ฐ์ ์์ ๋ณผ ์ ์์ต๋๋ค.
- ๐ ํฐ๋ฏธ๋์์ ๋ฐ๋ก ์ฌ์ฉ: ์ฝ๋๋ฅผ ํ ์ค๋ ์ฐ์ง ์๊ณ URL์์ ๋ฐ์ดํฐ๋ฅผ ๊ฐ์ ธ์ฌ ์ ์์ต๋๋ค!
- ๐ ๏ธ DOM ํ์: ๋ถ๋ชจ, ํ์ , ์์ ์์๋ก ์ด๋ํ๋ ๋ฉ์๋๋ฅผ ์ ๊ณตํฉ๋๋ค.
- ๐งฌ ํ ์คํธ ์ฒ๋ฆฌ: ์ ๊ท์, ํ ์คํธ ์ ๋ฆฌ, ๋น ๋ฅธ ๋ฌธ์์ด ์ฐ์ฐ์ ์ฌ์ฉํ ์ ์์ต๋๋ค.
- ๐ ์ ํ์ ์์ฑ: ์ด๋ค ์์๋ ์์ ์ ์ธ CSSยทXPath ์ ํ์๋ฅผ ๋ง๋ค ์ ์์ต๋๋ค.
- ๐ ์ต์ํ API: Scrapy์ BeautifulSoup์ ์ต์ํ๋ค๋ฉด ์ฝ๊ฒ ์ฌ์ฉํ ์ ์์ต๋๋ค. ScrapyยทParsel๊ณผ ๊ฐ์ ๊ฐ์ ์์๋ฅผ ์ง์ํฉ๋๋ค.
- ๐ค Scrapy ํตํฉ: ์ฝ๋ฐฑ์
scrapling_response๋ฐ์ฝ๋ ์ดํฐ๋ฅผ ๋ถ์ด๋ฉด ์ด๋ฏธ ๊ฐ์ ธ์จ ์๋ต์ Scrapling ํ์๋ก ์ฒ๋ฆฌํ ์ ์์ต๋๋ค. ์ฝ๋๋ฅผ ์๋ก ์์ฑํ ํ์๊ฐ ์์ต๋๋ค. - ๐ ์ ์ฒด ํ์ ํํธ: ํธ์ง๊ธฐ ์ง์๊ณผ ์ฝ๋ ์๋ ์์ฑ์ ๋์ต๋๋ค. ์ฝ๋๊ฐ ๋ฐ๋ ๋๋ง๋ค PyRight์ MyPy๊ฐ ์ ์ฒด ์ฝ๋๋ฅผ ์๋์ผ๋ก ๊ฒ์ฌํฉ๋๋ค.
- ๐ ๋ฐ๋ก ์ฐ๋ Docker ์ด๋ฏธ์ง: ์ ๋ฒ์ ๋ง๋ค ๋ชจ๋ ๋ธ๋ผ์ฐ์ ๊ฐ ํฌํจ๋ Docker ์ด๋ฏธ์ง๋ฅผ ์๋์ผ๋ก ๋ง๋ค๊ณ ๋ฐฐํฌํฉ๋๋ค.
GitHub ์คํ ๊ธฐ๋ก {#star-history}
Scrapling์ GitHub ์คํ ์๋ ๊ณต๊ฐ ์ดํ ๊พธ์คํ ๋๊ณ ์์ต๋๋ค. ์๋ ๊ทธ๋ํ์์ ํ์ธํ์ธ์.
์ค์น {#installation}
Scrapling์๋ Python 3.10 ์ด์์ด ํ์ํฉ๋๋ค:
pip install scrapling
!!! warning "์ฃผ์"
์ด ๋ช
๋ น์ ํ์์ ํ์ํ ํจํค์ง๋ง ์ค์นํฉ๋๋ค. Fetcher๋ ๋ช
๋ น์ค ๋๊ตฌ๋ ํฌํจ๋์ง ์์ต๋๋ค. ๋ฐ๋ผ์ ์ ์์ ์ฒ๋ผ `scrapling.fetchers`๋ `scrapling.spiders`์์ ๊ฐ์ ธ์ค๋ฉด `ModuleNotFoundError`๊ฐ ๋ฐ์ํฉ๋๋ค. Fetcher๋ ์คํ์ด๋๋ฅผ ์ฌ์ฉํ๋ ค๋ฉด ๋จผ์ ์๋ ๋ฐฉ๋ฒ์ผ๋ก Fetcher์ ํ์ํ ํจํค์ง๋ฅผ ์ค์นํ์ธ์.
์ถ๊ฐ ํจํค์ง {#optional-dependencies}
Fetcher, ๊ด๋ จ ํด๋์ค, ์๋ ์ถ๊ฐ ๊ธฐ๋ฅ์ ์ฌ์ฉํ๋ ค๋ฉด Fetcher์ ๋ธ๋ผ์ฐ์ ์ ํ์ํ ํจํค์ง๋ฅผ ์ค์นํ์ธ์:
pip install "scrapling[fetchers]" scrapling install # normal install scrapling install --force # force reinstall๋ชจ๋ ๋ธ๋ผ์ฐ์ , ํ์ํ ์์คํ ํจํค์ง, ๋ธ๋ผ์ฐ์ ์ง๋ฌธ์ ๋ฐ๊พธ๋ ๋๊ตฌ๋ฅผ ๋ค์ด๋ก๋ํฉ๋๋ค.
๋ช ๋ น์ด ๋์ ์ฝ๋์์ ์ค์นํ ์๋ ์์ต๋๋ค:
from scrapling.cli import install install([], standalone_mode=False) # normal install install(["--force"], standalone_mode=False) # force reinstall์ถ๊ฐ ๊ธฐ๋ฅ:
- MCP ์๋ฒ ์ค์น:
pip install "scrapling[ai]" - RAG ์์คํ
๋ง๋ค๊ธฐ์ ํ์ํ ํจํค์ง ์ค์น:
pip install "scrapling[rag]" - ๋ํํ ์
ธ๊ณผ
extract๋ช ๋ น์ด ์ค์น:pip install "scrapling[shell]" - ๋ชจ๋ ๊ธฐ๋ฅ ์ค์น:
pip install "scrapling[all]"
๋ธ๋ผ์ฐ์ Fetcher๋ฅผ ์ฌ์ฉํ๋ ค๋ฉด
scrapling install์ ์คํํ์ธ์. HTTP ์์ฒญ์๋ ๋ธ๋ผ์ฐ์ ์ค์น๊ฐ ํ์ํ์ง ์์ต๋๋ค.- MCP ์๋ฒ ์ค์น:
Docker {#docker}
๋ชจ๋ ์ถ๊ฐ ๊ธฐ๋ฅ๊ณผ ๋ธ๋ผ์ฐ์ ๊ฐ ํฌํจ๋ Docker ์ด๋ฏธ์ง๋ฅผ DockerHub์์ ๋ฐ์ ์๋ ์์ต๋๋ค:
docker pull pyd4vinci/scrapling
๋๋ GitHub ๋ ์ง์คํธ๋ฆฌ์์ ๋ฐ์ผ์ธ์:
docker pull ghcr.io/d4vinci/scrapling:latest
์ด ์ด๋ฏธ์ง๋ ์ ์ฅ์์ main ๋ธ๋์น๋ฅผ ๋ฐํ์ผ๋ก GitHub Actions์์ ์๋์ผ๋ก ๋ง๋ค๊ณ ๋ฐฐํฌํฉ๋๋ค.
๋ฌธ์ ๊ตฌ์ฑ {#how-the-documentation-is-organized}
Scrapling์๋ ๋ง์ ๋ฌธ์๊ฐ ์์ผ๋ฏ๋ก Diรกtaxis ๋ฌธ์ ๊ตฌ์ฑ ๋ฐฉ์์ ๋ฐ๋ฅด๋ ค๊ณ ํฉ๋๋ค.
ํ๋ก์ ํธ ์ง์ {#support}
Scrapling์ด ๋ง์์ ๋ ๋ค๋ฉด ๋ค์ ๋ฐฉ๋ฒ์ผ๋ก ๊ฐ๋ฐ์ ์ง์ํด ์ฃผ์ธ์:
- โญ GitHub ์ ์ฅ์์ ์คํ๋ฅผ ๋๋ฌ ์ฃผ์ธ์.
- ๐ Twitter๋ฅผ ํ๋ก์ฐํ๊ณ Discord์ ์ฐธ์ฌํ์ธ์.
- ๐ ํ๋ก์ ํธ๋ฅผ ํ์ํ๊ฑฐ๋ ์ปคํผ ํ ์์ ๋ณด๋ด ์ฃผ์ธ์. :wink:
- ๐ GitHub Issues์์ ๋ฒ๊ทธ๋ฅผ ์๋ฆฌ๊ณ ๊ธฐ๋ฅ์ ์ ์ํ์ธ์.
๋ผ์ด์ ์ค {#license}
์ด ํ๋ก์ ํธ๋ BSD-3 ๋ผ์ด์ ์ค๋ก ๋ฐฐํฌํฉ๋๋ค. ์์ธํ ๋ด์ฉ์ LICENSE๋ฅผ ํ์ธํ์ธ์.