Skip to content

๐Ÿ•ท๏ธ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

34.0 KB
Raw Blame

title: "Scrapling MCP ์„œ๋ฒ„ ์„ค์ •๊ณผ ์Šคํฌ๋ž˜ํ•‘ ์ž‘์—…" description: "AI ํด๋ผ์ด์–ธํŠธ๋ฅผ Scrapling์— ์—ฐ๊ฒฐํ•ด HTTP์™€ ๋ธŒ๋ผ์šฐ์ €๋กœ ์Šคํฌ๋ž˜ํ•‘ํ•˜์„ธ์š”. ์„ธ์…˜, ์ €์žฅํ•œ ๋กœ๊ทธ์ธ ์ƒํƒœ, ๋ธŒ๋ผ์šฐ์ € ๋™์ž‘, ์„ ํƒ ์ถ”์ถœ, API ๊ธฐ๋ก์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค."

Scrapling MCP ์„œ๋ฒ„ ์•ˆ๋‚ด {#scrapling-mcp-server-guide}

Scrapling MCP ์„œ๋ฒ„๋Š” ์ฆ๊ฒจ ์“ฐ๋Š” AI ์ฑ—๋ด‡์ด๋‚˜ AI ์—์ด์ „ํŠธ์— Scrapling์˜ ์›น ์Šคํฌ๋ž˜ํ•‘ ๊ธฐ๋Šฅ์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. Claude๋‚˜ MCP๋ฅผ ์ง€์›ํ•˜๋Š” ์ธํ„ฐํŽ˜์ด์Šค์—์„œ ๋Œ€ํ™”ํ•˜๋ฉฐ ์›น์‚ฌ์ดํŠธ๋ฅผ ์Šคํฌ๋ž˜ํ•‘ํ•˜๊ณ , ๋ฐ์ดํ„ฐ๋ฅผ ์ถ”์ถœํ•˜๊ณ , ๋ด‡ ์ฐจ๋‹จ์„ ์šฐํšŒํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ธฐ๋Šฅ {#features}

Scrapling MCP ์„œ๋ฒ„๋Š” ์›น ์Šคํฌ๋ž˜ํ•‘๊ณผ ๋ธŒ๋ผ์šฐ์ € ์กฐ์ž‘์„ ์œ„ํ•œ ๋„๊ตฌ 16๊ฐœ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ์ผํšŒ์„ฑ ๋„๊ตฌ๋Š” URL ํ•˜๋‚˜๋ฅผ ๊ฐ€์ ธ์˜จ ๋’ค ์‚ฌ์šฉํ•œ ๋ธŒ๋ผ์šฐ์ €๋‚˜ ํด๋ผ์ด์–ธํŠธ๋ฅผ ๋‹ซ์Šต๋‹ˆ๋‹ค. ์„ธ์…˜ ๋„๊ตฌ๋Š” ํ˜ธ์ถœ ์‚ฌ์ด์— ์ฟ ํ‚ค์™€ ์„ค์ •์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ AI๊ฐ€ ๊ฐ™์€ ํƒญ์—์„œ ๋ธŒ๋ผ์šฐ์ € ์ž‘์—…์„ ์ด์–ด ๊ฐ€๊ณ  ๋„คํŠธ์›Œํฌ ๊ธฐ๋ก์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์ผํšŒ์„ฑ ๋„๊ตฌ {#one-shot-tools}

๐Ÿš€ ๊ธฐ๋ณธ HTTP ์Šคํฌ๋ž˜ํ•‘ {#basic-http-scraping}

  • make_request: ์—ฌ๋Ÿฌ ๋ฉ”์„œ๋“œ(GET, POST, PUT, DELETE)๋กœ ๋น ๋ฅด๊ฒŒ HTTP ์š”์ฒญ์„ ๋ณด๋ƒ…๋‹ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ € ์ง€๋ฌธ ๋ชจ๋ฐฉ, TLS ๋ฒ„์ „์— ๋งž๋Š” ์‹ค์ œ ๋ธŒ๋ผ์šฐ์ € ํ—ค๋” ์ƒ์„ฑ, HTTP/3 ๋“ฑ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ”’ ์Šคํ…”์Šค ๋ธŒ๋ผ์šฐ์ € ์Šคํฌ๋ž˜ํ•‘ {#stealth-browser-scraping}

  • browser_fetch_once: ์Šคํ…”์Šค ๋ธŒ๋ผ์šฐ์ €๋กœ JavaScript๋ฅผ ์‹คํ–‰ํ•˜๊ณ  ๋™์  ํŽ˜์ด์ง€๋ฅผ ์Šคํฌ๋ž˜ํ•‘ํ•ฉ๋‹ˆ๋‹ค. ์ง€๋ฌธ ์œ„์žฅ, Cloudflare Turnstile/Interstitial ์šฐํšŒ, ๋ธŒ๋ผ์šฐ์ €์™€ ์š”์ฒญ ์„ค์ •์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

์„ธ์…˜ ๋„๊ตฌ {#session-tools}

๐Ÿ”Œ ์„ธ์…˜ ๊ด€๋ฆฌ {#session-management}

  • browser_open: ์—ฌ๋Ÿฌ browser_fetch ํ˜ธ์ถœ ์‚ฌ์ด์— ๊ณ„์† ์—ด๋ ค ์žˆ๋Š” ์Šคํ…”์Šค ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์„ ๋งŒ๋“ญ๋‹ˆ๋‹ค. ๋งค๋ฒˆ ์ƒˆ ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์‹คํ–‰ํ•˜๋Š” ๋ถ€๋‹ด์„ ์ค„์ž…๋‹ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ € ์ˆ˜์ค€์˜ ์„ค์ •์„ ๋ณด๊ด€ํ•˜๊ณ  session_id์™€ session_type๋งŒ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ์‹ค์ œ ์ ์šฉ๋œ settings๋Š” list_sessions๋กœ ํ™•์ธํ•˜์„ธ์š”. CDP ์„ธ์…˜์—์„œ๋Š” ๋น„์–ด ์žˆ์Šต๋‹ˆ๋‹ค.
  • open_request_session: session_make_request์—์„œ ์‚ฌ์šฉํ•˜๋Š” ์ง€์† HTTP ์„ธ์…˜์„ ๋งŒ๋“ญ๋‹ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ €๋Š” ์‚ฌ์šฉํ•˜์ง€ ์•Š์œผ๋ฉฐ ์š”์ฒญ ์‚ฌ์ด์— ์ฟ ํ‚ค, ์—ฐ๊ฒฐ, ๋ธŒ๋ผ์šฐ์ € ์ง€๋ฌธ(impersonate)์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. session_id์™€ session_type๋งŒ ๋ฐ˜ํ™˜ํ•˜๊ณ  ํƒ€์ž…์€ static์ž…๋‹ˆ๋‹ค. ์‹ค์ œ ์ ์šฉ๋œ settings๋Š” list_sessions๋กœ ํ™•์ธํ•˜์„ธ์š”.
  • close_session: ๋ธŒ๋ผ์šฐ์ € ๋˜๋Š” HTTP ์„ธ์…˜์„ ๋‹ซ๊ณ  ์ž์›์„ ํ•ด์ œํ•ฉ๋‹ˆ๋‹ค.
  • list_sessions: ํ™œ์„ฑ ์„ธ์…˜๊ณผ ๊ฐ ์„ธ์…˜์˜ ์ •๋ณด ๋ฐ settings๋ฅผ ๋‚˜์—ดํ•ฉ๋‹ˆ๋‹ค.

๋ธŒ๋ผ์šฐ์ € ์ƒํƒœ {#browser-state}

  • browser_save_state: ์ฟ ํ‚ค, ๋กœ์ปฌ ์Šคํ† ๋ฆฌ์ง€, IndexedDB๋ฅผ Playwright ํ˜ธํ™˜ JSON ํŒŒ์ผ๋กœ ์ €์žฅํ•ฉ๋‹ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์ด ๋๋‚œ ๋’ค์—๋„ ๋กœ๊ทธ์ธ ์ƒํƒœ๋ฅผ ์žฌ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ธฐ์กด ํŒŒ์ผ์€ ๋ฎ์–ด์”๋‹ˆ๋‹ค.
  • browser_load_state: ์—ด๋ ค ์žˆ๋Š” ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์— ์ €์žฅํ•œ ํŒŒ์ผ์„ ๋ณต์›ํ•ฉ๋‹ˆ๋‹ค. ์ฒซ ํŽ˜์ด์ง€๋ฅผ ๋ถˆ๋Ÿฌ์˜ค๊ธฐ ์ „์—๋„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ ์ €์žฅ ์ƒํƒœ๋ฅผ ๋ฐ”๊พธ์ง€๋งŒ ๊ธฐ์กด ํƒญ์„ ๋‹ซ๊ฑฐ๋‚˜ ์ด๋™ํ•˜์ง€๋Š” ์•Š์Šต๋‹ˆ๋‹ค. ๋ณต์›ํ•œ ๋กœ๊ทธ์ธ ์ƒํƒœ๋ฅผ ์‚ฌ์šฉํ•˜๋ ค๋ฉด ํŽ˜์ด์ง€๋ฅผ ๊ฐ€์ ธ์˜ค๊ฑฐ๋‚˜ ์ƒˆ๋กœ๊ณ ์นจํ•˜์„ธ์š”.

์ƒํƒœ ํŒŒ์ผ์€ MCP ์„œ๋ฒ„๊ฐ€ ์‹คํ–‰๋˜๋Š” ์ปดํ“จํ„ฐ์— ์ €์žฅ๋ฉ๋‹ˆ๋‹ค. sessionStorage, ์—ด๋ฆฐ ํƒญ, ๋ธŒ๋ผ์šฐ์ € ์„ค์ •์€ ํฌํ•จํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

๐ŸŽฏ ์„ธ์…˜์œผ๋กœ ๊ฐ€์ ธ์˜ค๊ธฐ {#fetching-through-a-session}

  • browser_fetch: ์—ด๋ ค ์žˆ๋Š” ์Šคํ…”์Šค ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์—์„œ JavaScript๋ฅผ ์‹คํ–‰ํ•˜๊ณ  URL ํ•˜๋‚˜๋ฅผ ์Šคํฌ๋ž˜ํ•‘ํ•ฉ๋‹ˆ๋‹ค. ์ง€๋ฌธ ์œ„์žฅ๊ณผ Cloudflare Turnstile/Interstitial ์šฐํšŒ๋ฅผ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ์š”์†Œ ์ฐธ์กฐ, ์œ„์น˜, ํฌ๊ธฐ๊ฐ€ ๋‹ด๊ธด ๊ตฌ์กฐํ™”๋œ ํŽ˜์ด์ง€ ์Šค๋ƒ…์ƒท๋„ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. AI๊ฐ€ ์กฐ์ž‘ํ•  ๋Œ€์ƒ์„ ์ฐพ๊ณ  ๋งˆ์šฐ์Šค ๋™์ž‘์„ ๊ณ„ํšํ•˜๋Š” ๋ฐ ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค.
  • session_make_request: ์—ฌ๋Ÿฌ ๋ฉ”์„œ๋“œ(GET, POST, PUT, DELETE)๋กœ ๋น ๋ฅด๊ฒŒ HTTP ์š”์ฒญ์„ ๋ณด๋ƒ…๋‹ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ € ์ง€๋ฌธ ๋ชจ๋ฐฉ, ์ด์— ๋งž๋Š” ํ—ค๋”, HTTP/3๋ฅผ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. open_request_session์œผ๋กœ ์—ฐ ์„ธ์…˜์—์„œ ์ฟ ํ‚ค, ์—ฐ๊ฒฐ, ๋ธŒ๋ผ์šฐ์ € ์ง€๋ฌธ์„ ์žฌ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

๐Ÿ“ธ ์Šคํฌ๋ฆฐ์ƒท {#screenshots}

  • browser_screenshot: ์ƒˆ๋กœ๊ณ ์นจ ์—†์ด ํ˜„์žฌ ํŽ˜์ด์ง€๋‚˜ ์„ ํƒํ•œ ์š”์†Œ๋ฅผ PNG ๋˜๋Š” JPEG๋กœ ์บก์ฒ˜ํ•ฉ๋‹ˆ๋‹ค. ์ž…๋ ฅํ•œ ํ•„๋“œ, ์—ด๋ฆฐ ๋ฉ”๋‰ด, ์ฐจํŠธ, ๊ฒฐ๊ณผ ์นด๋“œ๋ฅผ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์š”์†Œ๋งŒ ์บก์ฒ˜ํ•˜๋ฉด ๊ด€๋ จ ์—†๋Š” ์ฃผ๋ณ€ ๋‚ด์šฉ์„ ์ค„์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ˜„์žฌ ๋ณด์ด๋Š” ์˜์—ญ, ์ „์ฒด ํŽ˜์ด์ง€, ์š”์†Œ ํ•˜๋‚˜๋ฅผ ์ง€์›ํ•˜๋ฉฐ JPEG ํ’ˆ์งˆ๋„ ์กฐ์ ˆํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์Šคํฌ๋ฆฐ์ƒท์€ ๋ชจ๋ธ์ด ์ง์ ‘ ๋ณผ ์ˆ˜ ์žˆ๋Š” ์‹ค์ œ ์ด๋ฏธ์ง€ ์ฝ˜ํ…์ธ  ๋ธ”๋ก์œผ๋กœ ๋ฐ˜ํ™˜๋ฉ๋‹ˆ๋‹ค.

ํ˜„์žฌ ํŽ˜์ด์ง€ ๋‚ด์šฉ {#current-page-content}

  • browser_extract: ์ƒˆ๋กœ๊ณ ์นจ ์—†์ด ํ˜„์žฌ ํŽ˜์ด์ง€๋‚˜ ์š”์†Œ ํ•˜๋‚˜๋ฅผ AI ์Šค๋ƒ…์ƒท, HTML, Markdown, ํ…์ŠคํŠธ๋กœ ์ฝ์Šต๋‹ˆ๋‹ค. ํผ์„ ์ž…๋ ฅํ•˜๊ฑฐ๋‚˜ ๋‚ด์šฉ์„ ๋” ๋ถˆ๋Ÿฌ์˜จ ๋’ค์˜ ๊ฒฐ๊ณผ๋„ ์ถ”์ถœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์Šค๋ƒ…์ƒท์—๋Š” ์ดํ›„ ๋™์ž‘์— ์‚ฌ์šฉํ•  ์š”์†Œ์˜ ์—ญํ• , ์ด๋ฆ„, ์ฐธ์กฐ, ์œ„์น˜, ํฌ๊ธฐ๊ฐ€ ํฌํ•จ๋ฉ๋‹ˆ๋‹ค. ์ •๊ทœ์‹ ๊ฒ€์ƒ‰์€ ์ผ์น˜ํ•˜๋Š” ์Šค๋ƒ…์ƒท ์ค„๊ณผ ์ฃผ๋ณ€ ๋ฌธ๋งฅ, ๋ถ€๋ชจ ๋…ธ๋“œ๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค.

๋ธŒ๋ผ์šฐ์ € ๋™์ž‘ {#browser-actions}

  • browser_actions: ํ•œ ๋ฒˆ์˜ ํ˜ธ์ถœ๋กœ ๋งˆ์šฐ์Šค ๋™์ž‘, ํ•„๋“œ ์ž…๋ ฅ, ํ‚ค๋ณด๋“œ ๋‹จ์ถ•ํ‚ค, ๋Œ€ํ™” ์ƒ์ž ์‘๋‹ต, ๋Œ€๊ธฐ๋ฅผ ์ด์–ด์„œ ์‹คํ–‰ํ•ฉ๋‹ˆ๋‹ค. ์•Œ๋ฆผ์ด๋‚˜ ํ™•์ธ ์ฐฝ์„ ์ˆ˜๋ฝํ•˜๊ฑฐ๋‚˜ ๋‹ซ๊ณ , ์ž…๋ ฅ ๋Œ€ํ™” ์ƒ์ž์— ํ…์ŠคํŠธ๋ฅผ ๋„ฃ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด ๊ฒ€์ƒ‰์ฐฝ ์ž…๋ ฅ, ์ œ์ถœ, ๊ฒฐ๊ณผ ๋Œ€๊ธฐ, ๊ฒฐ๊ณผ ์—ด๊ธฐ๋ฅผ ํ•œ ๋ฒˆ์— ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. AI๋Š” ์ด๋ฏธ ์•Œ๊ณ  ์žˆ๋Š” ๋‹จ๊ณ„๋ฅผ ๋ฌถ์–ด์„œ ์‹คํ–‰ํ•˜๊ณ , ํŽ˜์ด์ง€ ๋ณ€ํ™”๋ฅผ ํ™•์ธํ•  ๋•Œ๋Š” ์Šค๋ƒ…์ƒท์„ ๋”ฐ๋กœ ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋‹จ๊ณ„๋งˆ๋‹ค ์—์ด์ „ํŠธ์™€ ๋‹ค์‹œ ํ†ต์‹ ํ•  ํ•„์š”๊ฐ€ ์—†์–ด, ์ž ๊น๋งŒ ํ‘œ์‹œ๋˜๋Š” ๋ฉ”๋‰ด๋‚˜ ๋น ๋ฅธ ํ›„์† ๋™์ž‘์ด ํ•„์š”ํ•œ ๋‹ค๋ฅธ ์กฐ์ž‘ ๋Œ€์ƒ์„ ๋‹ค๋ฃฐ ๋•Œ ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค.

    ๋งˆ์šฐ์Šค๋ฅผ ์˜ฌ๋ ค ๋ฉ”๋‰ด๋‚˜ ํˆดํŒ์„ ํ‘œ์‹œํ•˜๊ณ , ๋ฒ„ํŠผ์ด๋‚˜ ๋งํฌ๋ฅผ ํด๋ฆญํ•˜๊ณ , ์ค‘์ฒฉ ํŒจ๋„ ์œ„๋กœ ์ด๋™ํ•ด ์„ธ๋กœ๋‚˜ ๊ฐ€๋กœ๋กœ ์Šคํฌ๋กคํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋™๊ณผ ํด๋ฆญ์—๋Š” ์„ ํƒ์ž, ์Šค๋ƒ…์ƒท ์ฐธ์กฐ, ์ขŒํ‘œ๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ๋Œ€์ƒ์ด ์š”์†Œ๋ผ๋ฉด ์ž๋™์œผ๋กœ ๊ธฐ๋‹ค๋ฆฐ ๋’ค ํ™”๋ฉด ์•ˆ์œผ๋กœ ์Šคํฌ๋กคํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ ๋‹จ๊ณ„์˜ ์ขŒํ‘œ ์ด๋™, ์™ผ์ชฝยท์˜ค๋ฅธ์ชฝยท๊ฐ€์šด๋ฐ ๋ฒ„ํŠผ ํด๋ฆญ, ๋”๋ธ” ํด๋ฆญ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

    ์„ ํƒ์ž๋‚˜ ์Šค๋ƒ…์ƒท ์ฐธ์กฐ๋กœ ํŽ˜์ด์ง€ ์–ด๋””์— ์žˆ๋Š” ํ•„๋“œ๋“  ์ง€์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ…์ŠคํŠธ ์ž…๋ ฅ, ์ฒดํฌ๋ฐ•์Šค ์„ ํƒ๊ณผ ํ•ด์ œ, ๋ผ๋””์˜ค ๋ฒ„ํŠผ ์„ ํƒ, ๊ธฐ๋ณธ ๋“œ๋กญ๋‹ค์šด์—์„œ ๋ณด์ด๋Š” ๋ผ๋ฒจ๋กœ ํ•˜๋‚˜ ์ด์ƒ์˜ ์˜ต์…˜ ์„ ํƒ์„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ์กด ํ…์ŠคํŠธ๋ฅผ ๋ฐ”๊พธ๊ฑฐ๋‚˜ ์ง€์šฐ๊ฑฐ๋‚˜ ํ˜„์žฌ ์ปค์„œ ์œ„์น˜์—์„œ ์ด์–ด ์“ธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ‚ค๋ณด๋“œ ๋‹จ์ถ•ํ‚ค๋กœ ํ…์ŠคํŠธ ์„ ํƒ๊ณผ ์‚ญ์ œ, ํฌ์ปค์Šค ์ด๋™, ํผ ์ œ์ถœ, ๋ฉ”๋‰ด ๋‹ซ๊ธฐ๋ฅผ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋А๋ฆฐ ๋ชจ๋“œ๋Š” ํ•œ ๊ธ€์ž์”ฉ ์ž…๋ ฅํ•˜๋ฉฐ ๊ธ€์ž ์‚ฌ์ด์™€ ๋ชจ๋“  ๋™์ž‘ ์‚ฌ์ด์— ๋ฌด์ž‘์œ„๋กœ ์ž ์‹œ ๋ฉˆ์ถฅ๋‹ˆ๋‹ค.

    ๋‹ค์Œ ๋™์ž‘ ์ „์— ๊ฒฐ๊ณผ๊ฐ€ ๋‚˜ํƒ€๋‚˜๊ฑฐ๋‚˜ ๋กœ๋”ฉ ์˜ค๋ฒ„๋ ˆ์ด๊ฐ€ ์‚ฌ๋ผ์ง€๊ฑฐ๋‚˜ ํŽ˜์ด์ง€ ๋กœ๋“œ ์ด๋ฒคํŠธ๊ฐ€ ๋ฐœ์ƒํ•  ๋•Œ๊นŒ์ง€ ๊ธฐ๋‹ค๋ฆด ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ •ํ•ด์ง„ ์‹œ๊ฐ„ ๋™์•ˆ ๋ฉˆ์ถ”๊ธฐ์™€ ๋„คํŠธ์›Œํฌ ํ™œ๋™์ด ์žฆ์•„๋“ค ๋•Œ๊นŒ์ง€ ๊ธฐ๋‹ค๋ฆฌ๊ธฐ๋„ ์ง€์›ํ•ฉ๋‹ˆ๋‹ค.

JavaScript {#javascript}

  • browser_evaluate: ํ˜„์žฌ ํŽ˜์ด์ง€์—์„œ JavaScript๋ฅผ ์‹คํ–‰ํ•ด ์‚ฌ์šฉ์ž ์ •์˜ ๋ฐ์ดํ„ฐ ์ถ”์ถœ, ๊ณ„์‚ฐ, ํŽ˜์ด์ง€๋ณ„ ์ž‘์—…์„ ์ˆ˜ํ–‰ํ•ฉ๋‹ˆ๋‹ค. AI๊ฐ€ ์—ฌ๋Ÿฌ ์š”์†Œ์—์„œ ๋ฐ์ดํ„ฐ๋ฅผ ๋ชจ์œผ๊ฑฐ๋‚˜ ์•ฑ ์ƒํƒœ๋ฅผ ์ฝ๊ฑฐ๋‚˜ ํŽ˜์ด์ง€ ๋‚ด์šฉ์„ ๋ฐ”๊ฟ€ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋น„๋™๊ธฐ ์Šคํฌ๋ฆฝํŠธ๋ฅผ ์ง€์›ํ•˜๊ณ  ๊ฒฐ๊ณผ๋Š” JSON์œผ๋กœ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค.

๋„คํŠธ์›Œํฌ ๊ธฐ๋ก {#network-history}

  • browser_network_requests: ํƒญ, ํŽ˜์ด์ง€ ๋กœ๋“œ, ๋ธŒ๋ผ์šฐ์ € ๋™์ž‘์„ ๊ฑฐ์ณ ์™„๋ฃŒ๋œ ์š”์ฒญ์„ ์ฐพ์Šต๋‹ˆ๋‹ค. ํŽ˜์ด์ง€ ๋ฐ์ดํ„ฐ์˜ ์ถœ์ฒ˜์ธ API ํ˜ธ์ถœ, HTTP ์˜ค๋ฅ˜, ์ €์žฅํ•œ ๋ฆฌ๋””๋ ‰์…˜์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฒฐ๊ณผ๋ฅผ ์ค„์ด๊ธฐ ์œ„ํ•ด ์ •์  ๋ฆฌ์†Œ์Šค๋Š” ๊ธฐ๋ณธ์œผ๋กœ ์ˆจ๊น๋‹ˆ๋‹ค. ์š”์ฒญ ์ •๋ณด๋ฅผ JSON์œผ๋กœ ๋ฐ˜ํ™˜ํ•˜๋ฉฐ ๊ธด ๊ธฐ๋ก์€ ํŽ˜์ด์ง€ ๋‹จ์œ„๋กœ ์กฐํšŒํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • browser_network_request: ๊ธฐ๋กํ•œ ์š”์ฒญ ํ•˜๋‚˜์˜ ์š”์•ฝ, ํ—ค๋”, ๋ณด๋‚ธ ๋ฐ์ดํ„ฐ, ํ…์ŠคํŠธ ์‘๋‹ต ๋ณธ๋ฌธ์„ ๊ตฌ์กฐํ™”๋œ JSON์œผ๋กœ ํ™•์ธํ•ฉ๋‹ˆ๋‹ค. ํŽ˜์ด์ง€๋ฅผ ๋ถˆ๋Ÿฌ์˜ค๊ฑฐ๋‚˜ ์š”์ฒญ์„ ๋‹ค์‹œ ๋ณด๋‚ด์ง€ ์•Š๊ณ  ์„ ํƒํ•œ ๋ถ€๋ถ„์„ ์ „๋ถ€ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ์ €์žฅํ•œ ์‘๋‹ต์€ ํŽ˜์ด์ง€๊ฐ€ ๋ฐ”๋€ ๋’ค์—๋„ ๋‚จ์Šต๋‹ˆ๋‹ค. ๊ธฐ๋ก ํฌ๊ธฐ์—๋Š” ์ œํ•œ์ด ์žˆ์œผ๋ฉฐ ํ…์ŠคํŠธ๊ฐ€ ์•„๋‹Œ ๋ณธ๋ฌธ, ๋„ˆ๋ฌด ํฐ ๋ณธ๋ฌธ, ์ฝ์„ ์ˆ˜ ์—†๋Š” ๋ณธ๋ฌธ์—๋Š” ์ด์œ ๋ฅผ ํ‘œ์‹œํ•ฉ๋‹ˆ๋‹ค. ํ•„์š”ํ•œ ์ •๋ณด๋Š” MCP ์„ธ์…˜์„ ๋‹ซ๊ธฐ ์ „์— ์ฝ์œผ์„ธ์š”.

์‘๋‹ต ๋ณธ๋ฌธ์€ HTML, JSON, XML, JavaScript ๋“ฑ ์ง€์›ํ•˜๋Š” ํ…์ŠคํŠธ Content-Type์ธ ๊ฒฝ์šฐ์—๋งŒ ์ฝ๊ณ  ์ €์žฅํ•ฉ๋‹ˆ๋‹ค. ๋ฐ”์ด๋„ˆ๋ฆฌ, ์•Œ ์ˆ˜ ์—†๋Š” ํƒ€์ž…, ํƒ€์ž…์ด ์—†๋Š” ์‘๋‹ต์€ ๋ณธ๋ฌธ์„ ์ฝ๊ฑฐ๋‚˜ ์ €์žฅํ•˜์ง€ ์•Š๊ณ  ์š”์ฒญ ๋ฉ”ํƒ€๋ฐ์ดํ„ฐ์™€ ํ—ค๋”๋งŒ ๋ณด๊ด€ํ•ฉ๋‹ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ €๋Š” ๋ฆฌ์†Œ์Šค๋ฅผ ํ‰์†Œ์ฒ˜๋Ÿผ ๋ถˆ๋Ÿฌ์˜ต๋‹ˆ๋‹ค.

์™„๋ฃŒ๋œ ์š”์ฒญ๋งŒ ์ €์žฅํ•˜๋ฉฐ HTTP 4xx์™€ 5xx ์‘๋‹ต๋„ ํฌํ•จํ•ฉ๋‹ˆ๋‹ค. ์‹คํŒจํ•˜๊ฑฐ๋‚˜ ์•„์ง ๋๋‚˜์ง€ ์•Š์€ ์š”์ฒญ์€ ์ œ์™ธํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ๋ก์ด ๋๋‚œ ๋’ค ํ•ญ๋ชฉ์ด ๋‚˜ํƒ€๋‚˜๋ฉฐ, ๊ธฐ๋ก ์กฐํšŒ๋‚˜ ์„ธ์…˜ ์ข…๋ฃŒ๋Š” ์ด๋ฅผ ๊ธฐ๋‹ค๋ฆฌ์ง€ ์•Š์Šต๋‹ˆ๋‹ค. ํŽ˜์ด์ง€ ์ด๋™์ด๋‚˜ ์ข…๋ฃŒ ์‹œ์ ์— ๊ธฐ๋ก ์ค‘์ด๋˜ ํ•ญ๋ชฉ์€ ๋น ์งˆ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ €์žฅํ•œ ๋ฐ”์ดํŠธ๋Š” ๋ธŒ๋ผ์šฐ์ €์—์„œ ๊ฐ€์ ธ์˜ค๋ฏ€๋กœ ์„œ๋ฒ„๊ฐ€ ๋ณด๋‚ธ ๋ฐ”์ดํŠธ์™€ ๋‹ค๋ฅผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์œ ํšจํ•œ UTF-8์ด๋ผ๋ฉด Playwright์™€ ๊ฐ™์ด UTF-8๋กœ ์ฝ๊ณ , ๊ทธ๋ ‡์ง€ ์•Š์œผ๋ฉด ๋ช…์‹œ๋œ ๋ฌธ์ž ์ธ์ฝ”๋”ฉ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

Shadow DOM {#shadow-dom}

์—ด๋ฆฐ Shadow DOM์˜ ๋‚ด์šฉ์„ ํฌํ•จํ•˜๋ ค๋ฉด browser_fetch_once ๋˜๋Š” ๊ฐ browser_fetch ํ˜ธ์ถœ์— pierce_shadow=true๋ฅผ ์„ค์ •ํ•˜์„ธ์š”. ๊ธฐ๋ณธ๊ฐ’์€ false์ž…๋‹ˆ๋‹ค. ์„ ํƒ์ž ์˜ˆ์ œ์™€ ์ œํ•œ ์‚ฌํ•ญ์€ Shadow DOM์„ ์ฐธ๊ณ ํ•˜์„ธ์š”.

๋ธŒ๋ผ์šฐ์ € ์„ ํƒ์ž๋กœ ๋‹ซํžŒ Shadow DOM ์•ˆ์˜ ์š”์†Œ๋ฅผ ์ง€์ •ํ•˜๊ณ  ์กฐ์ž‘ํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

์ฃผ์š” ๊ธฐ๋Šฅ {#key-capabilities}

  • ์ฝ˜ํ…์ธ  ์ถ”์ถœ: ์›นํŽ˜์ด์ง€๋‚˜ ์š”์†Œ๋ฅผ Markdown, HTML๋กœ ๋ฐ”๊พธ๊ฑฐ๋‚˜ ์ •๋ฆฌ๋œ ํ…์ŠคํŠธ๋ฅผ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค.
  • CSS ์„ ํƒ์ž ์ง€์›: AI์— ์ „๋‹ฌํ•˜๊ธฐ ์ „์— Scrapling ์—”์ง„์œผ๋กœ ํ•„์š”ํ•œ ์š”์†Œ๋ฅผ ์ •ํ™•ํžˆ ๊ณ ๋ฆ…๋‹ˆ๋‹ค.
  • ๋ด‡ ์ฐจ๋‹จ ์šฐํšŒ: Cloudflare Turnstile, Interstitial ๋“ฑ ์—ฌ๋Ÿฌ ๋ณดํ˜ธ ๋ฐฉ์‹์— ๋Œ€์‘ํ•ฉ๋‹ˆ๋‹ค.
  • ํ”„๋ก์‹œ ์ง€์›: ์ต๋ช…์„ฑ์„ ๋†’์ด๊ณ  ์ ‘์† ์ง€์—ญ์„ ์„ ํƒํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ๋ธŒ๋ผ์šฐ์ € ๋ชจ๋ฐฉ: TLS ์ง€๋ฌธ, ํ•ด๋‹น ๋ฒ„์ „์— ๋งž๋Š” ์‹ค์ œ ๋ธŒ๋ผ์šฐ์ € ํ—ค๋” ๋“ฑ์„ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.
  • ์„ธ์…˜ ์œ ์ง€: ์—ฌ๋Ÿฌ ์š”์ฒญ์—์„œ ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์„ ์žฌ์‚ฌ์šฉํ•ด ์„ฑ๋Šฅ์„ ๋†’์ž…๋‹ˆ๋‹ค.
  • ๊ด‘๊ณ  ์ฐจ๋‹จ: ๋ชจ๋“  ๋ธŒ๋ผ์šฐ์ € ๋„๊ตฌ๊ฐ€ ์•Œ๋ ค์ง„ ๊ด‘๊ณ ยท์ถ”์  ๋„๋ฉ”์ธ ์•ฝ 3,500๊ฐœ๋กœ ๋ณด๋‚ด๋Š” ์š”์ฒญ์„ ์ž๋™์œผ๋กœ ์ฐจ๋‹จํ•ด ํ† ํฐ์„ ์ค„์ด๊ณ  ํŽ˜์ด์ง€ ๋กœ๋“œ๋ฅผ ๋น ๋ฅด๊ฒŒ ํ•ฉ๋‹ˆ๋‹ค.
  • ํ”„๋กฌํ”„ํŠธ ์ธ์ ์…˜ ๋ฐฉ์ง€: ๊ณต๊ฒฉ์— ์“ฐ์ผ ์ˆ˜ ์žˆ๋Š” ์ˆจ๊ฒจ์ง„ ๋‚ด์šฉ์„ ์ž๋™์œผ๋กœ ์ œ๊ฑฐํ•ฉ๋‹ˆ๋‹ค. ์ธ๋ผ์ธ ์Šคํƒ€์ผ๋กœ ์ˆจ๊ธด ์š”์†Œ, aria-hidden, ์ˆจ๊ฒจ์ง„ ์Šฌ๋กฏ, ๋„ˆ๋น„๊ฐ€ 0์ธ ๋ฌธ์ž, HTML ์ฃผ์„, template ํƒœ๊ทธ๊ฐ€ ๋Œ€์ƒ์ž…๋‹ˆ๋‹ค.

์„ค์น˜ {#installation}

MCP๋ฅผ ์ง€์›ํ•˜๋Š” Scrapling์„ ์„ค์น˜ํ•˜๊ณ  ๋ธŒ๋ผ์šฐ์ € ์˜์กด์„ฑ๋„ ์„ค์น˜๋˜์–ด ์žˆ๋Š”์ง€ ํ™•์ธํ•˜์„ธ์š”.

# Install Scrapling with MCP server dependencies
pip install "scrapling[ai]"

# Install browser dependencies
scrapling install

Docker ๋ ˆ์ง€์ŠคํŠธ๋ฆฌ์˜ ์ด๋ฏธ์ง€๋ฅผ ๋ฐ”๋กœ ์‚ฌ์šฉํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

docker pull pyd4vinci/scrapling

GitHub ๋ ˆ์ง€์ŠคํŠธ๋ฆฌ์—์„œ๋„ ๋‹ค์šด๋กœ๋“œํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

docker pull ghcr.io/d4vinci/scrapling:latest

MCP ์„œ๋ฒ„ ์„ค์ • {#setting-up-the-mcp-server}

์—ฌ๊ธฐ์„œ๋Š” Claude Desktop๊ณผ Claude Code์— Scrapling MCP ์„œ๋ฒ„๋ฅผ ์ถ”๊ฐ€ํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์„ค๋ช…ํ•ฉ๋‹ˆ๋‹ค. MCP๋ฅผ ์ง€์›ํ•˜๋Š” ๋‹ค๋ฅธ ์ฑ—๋ด‡๋„ ๊ฐ™์€ ๋ฐฉ์‹์œผ๋กœ ์„ค์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

!!! note "์ฐธ๊ณ " ์•„๋ž˜์˜ scrapling-mcp ๋ช…๋ น์€ v0.4.13์—์„œ ์ถ”๊ฐ€๋˜์—ˆ์Šต๋‹ˆ๋‹ค. scrapling mcp๋ฅผ ๋ฐ”๋กœ ์‹คํ–‰ํ•˜๋Š” ๋‹จ์ถ• ๋ช…๋ น์œผ๋กœ, ๋ช…๋ น ํ•˜๋‚˜๋ฅผ ์š”๊ตฌํ•˜๋Š” MCP ๋ ˆ์ง€์ŠคํŠธ๋ฆฌ๋‚˜ ํด๋ผ์ด์–ธํŠธ์— ๋“ฑ๋กํ•˜๊ธฐ ์‰ฝ์Šต๋‹ˆ๋‹ค. ์ด์ „ ๋ฒ„์ „์—์„œ๋Š” scrapling ๋ช…๋ น์˜ ์ฒซ ๋ฒˆ์งธ ์ธ์ˆ˜๋กœ mcp๋ฅผ ์‚ฌ์šฉํ•˜์„ธ์š”.

Claude Desktop {#claude-desktop}

  1. Claude Desktop์„ ์—ฝ๋‹ˆ๋‹ค.
  2. ์™ผ์ชฝ ์œ„ ๋ฉ”๋‰ด(โ˜ฐ)์—์„œ Settings โ†’ Developer โ†’ Edit Config๋ฅผ ์„ ํƒํ•ฉ๋‹ˆ๋‹ค.
  3. Scrapling MCP ์„œ๋ฒ„ ์„ค์ •์„ ์ถ”๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.
"ScraplingServer": {
  "command": "scrapling-mcp"
}

์ฒ˜์Œ MCP ์„œ๋ฒ„๋ฅผ ์ถ”๊ฐ€ํ•œ๋‹ค๋ฉด ํŒŒ์ผ ์ „์ฒด๋ฅผ ๋‹ค์Œ ๋‚ด์šฉ์œผ๋กœ ์„ค์ •ํ•˜์„ธ์š”.

{
  "mcpServers": {
    "ScraplingServer": {
      "command": "scrapling-mcp"
    }
  }
}

๊ณต์‹ ์•ˆ๋‚ด์— ๋”ฐ๋ฅด๋ฉด, ์ด ์ž‘์—…์€ ๊ธฐ์กด ์„ค์ • ํŒŒ์ผ์„ ์—ด๊ฑฐ๋‚˜ ํŒŒ์ผ์ด ์—†์œผ๋ฉด ์ƒˆ๋กœ ๋งŒ๋“ญ๋‹ˆ๋‹ค. ํŒŒ์ผ ์œ„์น˜๋Š” ๋‹ค์Œ๊ณผ ๊ฐ™์Šต๋‹ˆ๋‹ค.

  1. macOS: ~/Library/Application Support/Claude/claude_desktop_config.json
  2. Windows: %APPDATA%\Claude\claude_desktop_config.json

ํ™•์‹คํ•˜๊ฒŒ ์‹คํ–‰ํ•˜๋ ค๋ฉด scrapling-mcp ์‹คํ–‰ ํŒŒ์ผ์˜ ์ „์ฒด ๊ฒฝ๋กœ๋ฅผ ์‚ฌ์šฉํ•˜์„ธ์š”.

  1. macOS: which scrapling-mcp
  2. Windows: where scrapling-mcp

์ œ Mac์—์„œ๋Š” /Users/<MyUsername>/.venv/bin/scrapling-mcp๊ฐ€ ๋ฐ˜ํ™˜๋˜์–ด ์ตœ์ข… ์„ค์ •์„ ๋‹ค์Œ๊ณผ ๊ฐ™์ด ์‚ฌ์šฉํ–ˆ์Šต๋‹ˆ๋‹ค.

{
  "mcpServers": {
    "ScraplingServer": {
      "command": "/Users/<MyUsername>/.venv/bin/scrapling-mcp"
    }
  }
}

Docker {#docker}

Docker ์ด๋ฏธ์ง€๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™์ด ์„ค์ •ํ•ฉ๋‹ˆ๋‹ค.

{
  "mcpServers": {
    "ScraplingServer": {
      "command": "docker",
      "args": [
        "run", "-i", "--rm", "pyd4vinci/scrapling", "mcp"
      ]
    }
  }
}

Cursor, WindSurf ๋“ฑ๋„ ๊ฐ™์€ ๋ฐฉ์‹์œผ๋กœ ์„ค์ •ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

Claude Code {#claude-code}

Claude Code์—์„œ๋Š” ๋” ๊ฐ„๋‹จํ•ฉ๋‹ˆ๋‹ค.

claude mcp add ScraplingServer "/Users/<MyUsername>/.venv/bin/scrapling-mcp"

Scrapling ์‹คํ–‰ ํŒŒ์ผ์˜ ๊ฒฝ๋กœ๋ฅผ ํ™•์ธํ•˜๋ ค๋ฉด ๋‹ค์Œ ๋ช…๋ น์„ ์‚ฌ์šฉํ•˜์„ธ์š”.

  1. macOS: which scrapling-mcp
  2. Windows: where scrapling-mcp

์ž์„ธํ•œ ๋‚ด์šฉ์€ Anthropic์˜ Claude Code์— MCP ์„œ๋ฒ„ ์ถ”๊ฐ€ํ•˜๊ธฐ๋ฅผ ์ฐธ๊ณ ํ•˜์„ธ์š”.

์„œ๋ฒ„๋ฅผ ์ถ”๊ฐ€ํ•œ ๋’ค ์‚ฌ์šฉ ์ค‘์ธ ์•ฑ์„ ์™„์ „ํžˆ ์ข…๋ฃŒํ•˜๊ณ  ๋‹ค์‹œ ์‹คํ–‰ํ•˜์„ธ์š”. Claude Desktop์—์„œ๋Š” ์ฑ„ํŒ… ์ž…๋ ฅ์ฐฝ ์˜ค๋ฅธ์ชฝ ์•„๋ž˜์— MCP ์„œ๋ฒ„ ํ‘œ์‹œ(๐Ÿ”ง)๊ฐ€ ๋‚˜ํƒ€๋‚˜๊ฑฐ๋‚˜, ์ž…๋ ฅ์ฐฝ์˜ Search and tools ๋ฉ”๋‰ด์— ScraplingServer๊ฐ€ ํ‘œ์‹œ๋ฉ๋‹ˆ๋‹ค.

๋‹ค๋ฅธ ๋ธŒ๋ผ์šฐ์ € ์‹คํ–‰ ํŒŒ์ผ ์‚ฌ์šฉํ•˜๊ธฐ {#custom-browser-executable}

browser_fetch_once์™€ browser_open์€ ๊ธฐ๋ณธ Chromium ๋Œ€์‹  ๋‹ค๋ฅธ Chromium ํ˜ธํ™˜ ์‹คํ–‰ ํŒŒ์ผ์„ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์‚ฌ์šฉ์ž ์ •์˜ ๋นŒ๋“œ๋‚˜ ๊ฐ€๋ฒผ์šด ๋ธŒ๋ผ์šฐ์ € ์—”์ง„์„ ์“ธ ๋•Œ ์œ ์šฉํ•ฉ๋‹ˆ๋‹ค.

MCP ์„œ๋ฒ„ ์ „์ฒด์— ์„ค์ •ํ•˜๋ ค๋ฉด ์„œ๋ฒ„๋ฅผ ์‹œ์ž‘ํ•  ๋•Œ ์‹คํ–‰ ํŒŒ์ผ ๊ฒฝ๋กœ๋ฅผ ์ „๋‹ฌํ•˜์„ธ์š”.

scrapling-mcp --executable-path "/path/to/chromium"

Claude Desktop ์„ค์ •์—์„œ๋Š” ์„œ๋ฒ„ ์ธ์ˆ˜์— ์˜ต์…˜์„ ์ถ”๊ฐ€ํ•ฉ๋‹ˆ๋‹ค.

{
  "mcpServers": {
    "ScraplingServer": {
      "command": "/Users/<MyUsername>/.venv/bin/scrapling-mcp",
      "args": [
        "--executable-path",
        "/path/to/chromium"
      ]
    }
  }
}

์„œ๋ฒ„๋ฅผ ์‹œ์ž‘ํ•˜๊ธฐ ์ „์— SCRAPLING_EXECUTABLE_PATH ํ™˜๊ฒฝ ๋ณ€์ˆ˜๋ฅผ ์„ค์ •ํ•  ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ž˜๋„ AI๋Š” browser_fetch_once๋กœ ํ•œ ๋ฒˆ ๊ฐ€์ ธ์˜ฌ ๋•Œ๋‚˜ browser_open์œผ๋กœ ์„ธ์…˜์„ ์—ด ๋•Œ ๋‹ค๋ฅธ ์‹คํ–‰ ํŒŒ์ผ์„ ์„ ํƒํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์›๊ฒฉ ๋ธŒ๋ผ์šฐ์ €์— ์—ฐ๊ฒฐํ•˜๊ธฐ {#connecting-to-remote-browsers}

browser_open์ด ๋ฐ˜๋“œ์‹œ ๋กœ์ปฌ ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์‹คํ–‰ํ•ด์•ผ ํ•˜๋Š” ๊ฒƒ์€ ์•„๋‹™๋‹ˆ๋‹ค. CDP URL์„ ์ „๋‹ฌํ•˜๋ฉด Chrome DevTools Protocol๋กœ ์ด๋ฏธ ์‹คํ–‰ ์ค‘์ธ ๋ธŒ๋ผ์šฐ์ €์— ์—ฐ๊ฒฐํ•ฉ๋‹ˆ๋‹ค. ๊ฐ™์€ ์ปดํ“จํ„ฐ, ๋‹ค๋ฅธ ํ˜ธ์ŠคํŠธ, ๊ด€๋ฆฌํ˜• ๋ธŒ๋ผ์šฐ์ € ์„œ๋น„์Šค ๋ชจ๋‘ ๊ฐ€๋Šฅํ•ฉ๋‹ˆ๋‹ค.

Open a stealthy browser session on wss://cdp.provider.example/session/abc123, then use it to scrape the product details from https://shop.example.com. Close the session when you're done.

๋ฐ˜ํ™˜๋œ session_id๋Š” ํ‰์†Œ์ฒ˜๋Ÿผ browser_fetch, browser_extract, browser_actions, browser_evaluate, browser_screenshot, browser_network_requests, browser_network_request, browser_save_state, browser_load_state์— ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค.

URL์—๋Š” ๋ธŒ๋ผ์šฐ์ € ์„œ๋น„์Šค์—์„œ ์ œ๊ณตํ•˜๋Š” WebSocket ์ฃผ์†Œ(ws:///wss://)๋‚˜, ์›๊ฒฉ ๋””๋ฒ„๊น… ํฌํŠธ๋ฅผ ์ผœ๊ณ  ์ง์ ‘ ์‹คํ–‰ํ•œ ๋ธŒ๋ผ์šฐ์ €์˜ HTTP ์ฃผ์†Œ๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

chrome --remote-debugging-port=9222

์ด ๋ธŒ๋ผ์šฐ์ €์—๋Š” cdp_url="http://localhost:9222"๋กœ ์—ฐ๊ฒฐํ•ฉ๋‹ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ €๊ฐ€ ๋‹ค๋ฅธ ์ปดํ“จํ„ฐ์—์„œ ์‹คํ–‰ ์ค‘์ด๋ฉด ํ•ด๋‹น ํ˜ธ์ŠคํŠธ์˜ ์ฃผ์†Œ๋ฅผ ์‚ฌ์šฉํ•˜์„ธ์š”.

!!! note "์ฐธ๊ณ :"

* ๋ธŒ๋ผ์šฐ์ €๊ฐ€ ์ด๋ฏธ ์‹คํ–‰ ์ค‘์ด๋ฏ€๋กœ ์‹คํ–‰ํ•  ๋•Œ๋งŒ ์“ฐ๋Š” ์˜ต์…˜์€ CDP ์„ธ์…˜์—์„œ ๋ฌด์‹œ๋ฉ๋‹ˆ๋‹ค. `headless`, `real_chrome`, `executable_path`๊ฐ€ ์ด์— ํ•ด๋‹นํ•˜๋ฉฐ, ์•ž์—์„œ ์„ค๋ช…ํ•œ ์„œ๋ฒ„ ์ „์ฒด ๊ธฐ๋ณธ ๊ฒฝ๋กœ๋„ ํฌํ•จ๋ฉ๋‹ˆ๋‹ค.<br/>
* ๊ฐ ์„ธ์…˜์ด ์›๊ฒฉ ๋ธŒ๋ผ์šฐ์ €์— ๋ณ„๋„์˜ ๋ธŒ๋ผ์šฐ์ € ์ปจํ…์ŠคํŠธ๋ฅผ ๋งŒ๋“ค๊ธฐ ๋•Œ๋ฌธ์— ๋‚˜๋จธ์ง€ ์˜ต์…˜(`locale`, `useragent`, `proxy`, `cookies`, `timezone_id` ๋“ฑ)์€ ๊ทธ๋Œ€๋กœ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค.

Streamable HTTP {#streamable-http}

๋ฒ„์ „ 0.3.6๋ถ€ํ„ฐ ๊ธฐ์กด 'stdio' ์ „์†ก ๋ฐฉ์‹ ๋Œ€์‹  'Streamable HTTP' ์ „์†ก ๋ฐฉ์‹์œผ๋กœ MCP ์„œ๋ฒ„๋ฅผ ์‹คํ–‰ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋‹ค์Œ 'stdio' ๋ช…๋ น ๋Œ€์‹ :

scrapling-mcp

์•„๋ž˜ ๋ช…๋ น์œผ๋กœ 'Streamable HTTP' ์ „์†ก ๋ฐฉ์‹์„ ์ผœ์„ธ์š”.

scrapling-mcp --http

์„œ๋ฒ„๋Š” ๊ธฐ๋ณธ์ ์œผ๋กœ ํ˜ธ์ŠคํŠธ '127.0.0.1'์˜ ํฌํŠธ 8000์—์„œ ์—ฐ๊ฒฐ์„ ๋ฐ›์Šต๋‹ˆ๋‹ค. ๋‘ ๊ฐ’์€ ๋‹ค์Œ๊ณผ ๊ฐ™์ด ๋ฐ”๊ฟ€ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

scrapling-mcp --http --host '0.0.0.0' --port 8000

๊ธฐ๋ณธ ์„ค์ •์—์„œ๋Š” ๊ฐ™์€ ์ปดํ“จํ„ฐ์˜ ์—ฐ๊ฒฐ๋งŒ ๋ฐ›์Šต๋‹ˆ๋‹ค. ๋„คํŠธ์›Œํฌ์—์„œ ์„œ๋ฒ„์— ์—ฐ๊ฒฐํ•  ์ˆ˜ ์žˆ๊ฒŒ ํ•˜๋ ค๋ฉด --host '0.0.0.0'์„ ์ „๋‹ฌํ•˜์„ธ์š”. ์ด ์„ค์ •๊ณผ ์•„๋ž˜์˜ ์ธ์ฆ ์„ค์ •์€ ๋ณ„๊ฐœ์ž…๋‹ˆ๋‹ค.

Docker ์•ˆ์—์„œ 'Streamable HTTP'๋ฅผ ์‹คํ–‰ํ•˜๋ ค๋ฉด ์ง์ ‘ '0.0.0.0'์— ๋ฐ”์ธ๋”ฉํ•˜๊ณ  ํ† ํฐ์„ ์„ค์ •ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋ ‡์ง€ ์•Š์œผ๋ฉด ๊ณต๊ฐœํ•œ ํฌํŠธ์—์„œ ์„œ๋ฒ„์— ์—ฐ๊ฒฐํ•  ์ˆ˜ ์—†์Šต๋‹ˆ๋‹ค. ์ปจํ…Œ์ด๋„ˆ์˜ '127.0.0.1'์€ ์ปจํ…Œ์ด๋„ˆ ์•ˆ์—์„œ๋งŒ ์ ‘๊ทผํ•  ์ˆ˜ ์žˆ๊ธฐ ๋•Œ๋ฌธ์ž…๋‹ˆ๋‹ค.

docker run -p 8000:8000 -e SCRAPLING_MCP_AUTH_TOKEN="<your-token>" pyd4vinci/scrapling mcp --http --host '0.0.0.0'

์ธ์ฆ {#authentication}

'stdio' ์ „์†ก ๋ฐฉ์‹์—์„œ๋Š” ์„œ๋ฒ„๋ฅผ ์‹œ์ž‘ํ•œ ํ”„๋กœ๊ทธ๋žจ๋งŒ ์„œ๋ฒ„์— ์—ฐ๊ฒฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ 'Streamable HTTP'๋กœ ๋ฐ”๊พธ๋ฉด ํฌํŠธ์— ์ ‘๊ทผํ•  ์ˆ˜ ์žˆ๋Š” ๋ˆ„๊ตฌ๋‚˜ ๋ชจ๋“  ๋„๊ตฌ๋ฅผ ํ˜ธ์ถœํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์„œ๋ฒ„๊ฐ€ ์‹คํ–‰ ์ค‘์ธ ์ปดํ“จํ„ฐ์—์„œ ์–ด๋–ค URL์ด๋“  ๊ฐ€์ ธ์˜ฌ ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด ๋•Œ๋ฌธ์— 'Streamable HTTP'์—๋Š” ์ธ์ฆ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค. --http๋งŒ ์ „๋‹ฌํ•˜๋ฉด ์„œ๋ฒ„๊ฐ€ ์‹œ์ž‘๋˜์ง€ ์•Š๊ณ  ํ† ํฐ์„ ์š”์ฒญํ•ฉ๋‹ˆ๋‹ค.

scrapling-mcp --http --auth-token "$(openssl rand -hex 32)"

ํด๋ผ์ด์–ธํŠธ๋Š” Authorization ํ—ค๋”์— ํ† ํฐ์„ ๋ณด๋‚ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ํ† ํฐ์ด ์—†๋Š” ์š”์ฒญ์€ 401๋กœ ๊ฑฐ๋ถ€๋ฉ๋‹ˆ๋‹ค.

{
  "mcpServers": {
    "ScraplingServer": {
      "url": "https://your-server.example.com/mcp",
      "headers": {
        "Authorization": "Bearer <your-token>"
      }
    }
  }
}

๋ช…๋ น์ค„์— ํ† ํฐ์„ ๋„ฃ์œผ๋ฉด ์…ธ ๊ธฐ๋ก๊ณผ ํ”„๋กœ์„ธ์Šค ๋ชฉ๋ก์— ๋‚จ์Šต๋‹ˆ๋‹ค. ๋”ฐ๋ผ์„œ SCRAPLING_MCP_AUTH_TOKEN ํ™˜๊ฒฝ ๋ณ€์ˆ˜๋ฅผ ์‚ฌ์šฉํ•˜์„ธ์š”.

export SCRAPLING_MCP_AUTH_TOKEN="<your-token>"
scrapling-mcp --http

๊ธฐ๋ณธ ์ฃผ์†Œ '127.0.0.1'์—์„œ ๋กœ์ปฌ ํ…Œ์ŠคํŠธ๋ฅผ ํ•˜๋Š” ๊ฒฝ์šฐ์ฒ˜๋Ÿผ ์ธ์ฆ ์—†๋Š” ์„œ๋ฒ„๊ฐ€ ํ•„์š”ํ•˜๋‹ค๋ฉด --no-auth๋กœ ๋ช…์‹œํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.

scrapling-mcp --http --no-auth

--no-auth์™€ --host '0.0.0.0'์„ ํ•จ๊ป˜ ์‚ฌ์šฉํ•˜๋ฉด ํฌํŠธ์— ์ ‘๊ทผํ•  ์ˆ˜ ์žˆ๋Š” ๋ˆ„๊ตฌ๋‚˜ ๋ชจ๋“  ๋„๊ตฌ๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์‹ ๋ขฐํ•  ์ˆ˜ ์žˆ๋Š” ๋„คํŠธ์›Œํฌ ๋ฐ–์—์„œ๋Š” ๋‘ ์˜ต์…˜์„ ํ•จ๊ป˜ ์‚ฌ์šฉํ•˜์ง€ ๋งˆ์„ธ์š”.

์„œ๋ฒ„๊ฐ€ ๊ณต์šฉ ์ฃผ์†Œ์—์„œ ์—ฐ๊ฒฐ์„ ๋ฐ›๋Š”๋‹ค๋ฉด ํ—ˆ์šฉํ•  ํ˜ธ์ŠคํŠธ ์ด๋ฆ„๋„ ์ง€์ •ํ•˜์„ธ์š”. ๊ทธ๋Ÿฌ๋ฉด DNS ๋ฆฌ๋ฐ”์ธ๋”ฉ ๊ณต๊ฒฉ์„ ๋ง‰๋Š” ๋ณดํ˜ธ ๊ธฐ๋Šฅ์ด ์ผœ์ง‘๋‹ˆ๋‹ค. ์ด ๊ณต๊ฒฉ์€ ๋ธŒ๋ผ์šฐ์ €๋กœ ๋ฐฉ๋ฌธํ•œ ์›น์‚ฌ์ดํŠธ๊ฐ€ ์—ฌ๋Ÿฌ๋ถ„์˜ ์„œ๋ฒ„์— ์—ฐ๊ฒฐ์„ ์‹œ๋„ํ•˜๋Š” ๋ฐฉ์‹์ž…๋‹ˆ๋‹ค. ์ด ์˜ต์…˜์€ ์—ฌ๋Ÿฌ ๋ฒˆ ์ „๋‹ฌํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

scrapling-mcp --http --allowed-host 'your-server.example.com:8000'

!!! note "์ฐธ๊ณ :"

* ์ธ์ฆ์€ 'Streamable HTTP' ์ „์†ก ๋ฐฉ์‹์—๋งŒ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค. 'stdio'์—์„œ๋Š” ๋ฌด์‹œ๋˜๋ฉฐ, ์„œ๋ฒ„๊ฐ€ ์ด๋ฅผ ์•Œ๋ฆฌ๋Š” ๊ฒฝ๊ณ ๋ฅผ ๊ธฐ๋กํ•ฉ๋‹ˆ๋‹ค.<br/>
* ์ผ๋ฐ˜ HTTP๋Š” ํ† ํฐ์„ ํ‰๋ฌธ์œผ๋กœ ์ „์†กํ•ฉ๋‹ˆ๋‹ค. ์ธํ„ฐ๋„ท์— ๊ณต๊ฐœํ•˜๊ธฐ ์ „์— TLS ์—ฐ๊ฒฐ์„ ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฆฌ๋ฒ„์Šค ํ”„๋ก์‹œ ๋’ค์— ์„œ๋ฒ„๋ฅผ ๋‘์„ธ์š”.<br/>
* ํด๋ผ์ด์–ธํŠธ๋งˆ๋‹ค ๋‹ค๋ฅธ ์ธ์ฆ ์ •๋ณด๋ฅผ ์“ฐ๋Š” ๋ฐฉ์‹์ด ์•„๋‹ˆ๋ผ ํ•˜๋‚˜์˜ ๊ณต์œ  ํ‚ค๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค. ๋ชจ๋“  ํด๋ผ์ด์–ธํŠธ๊ฐ€ ๊ฐ™์€ ํ† ํฐ์„ ์“ฐ๋ฉฐ, ํ† ํฐ์„ ๋ฐ”๊พธ๋ ค๋ฉด ์„œ๋ฒ„๋ฅผ ๋‹ค์‹œ ์‹œ์ž‘ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.<br/>
* `--http --no-auth`๋กœ ์‹œ์ž‘ํ•˜๋ฉด ์ธ์ฆ์ด ๊บผ์ ธ ์žˆ๋‹ค๋Š” ๊ฒฝ๊ณ ๊ฐ€ ๊ธฐ๋ก๋ฉ๋‹ˆ๋‹ค.<br/>
* `--auth-token`๊ณผ `--no-auth`๋ฅผ ํ•จ๊ป˜ ์ „๋‹ฌํ•˜๋ฉด ํ† ํฐ์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. ์ธ์ฆ์„ ์•Œ๋ฆฌ์ง€ ์•Š๊ณ  ํ•ด์ œํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.

์˜ˆ์ œ {#examples}

MCP ์„œ๋ฒ„๋ฅผ ํ…Œ์ŠคํŠธํ•  ๋•Œ ์‚ฌ์šฉํ•œ ํ”„๋กฌํ”„ํŠธ๋ฅผ ๋ช‡ ๊ฐ€์ง€ ์†Œ๊ฐœํ•ฉ๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ๋ถ„์€ ๋” ์ฐฝ์˜์ ์ด๊ณ  ๋” ์ข‹์€ ํ”„๋กฌํ”„ํŠธ๋ฅผ ๋งŒ๋“ค ์ˆ˜ ์žˆ์„ ๊ฑฐ์˜ˆ์š” :)

๊ฐ„๋‹จํ•œ ํ”„๋กฌํ”„ํŠธ๋ถ€ํ„ฐ ๋ณต์žกํ•œ ํ”„๋กฌํ”„ํŠธ๊นŒ์ง€ ์ฐจ๋ก€๋กœ ์‚ดํŽด๋ด…๋‹ˆ๋‹ค. ์˜ˆ์ œ์—์„œ๋Š” Claude Desktop์„ ์‚ฌ์šฉํ•˜์ง€๋งŒ ๋‹ค๋ฅธ ํด๋ผ์ด์–ธํŠธ์—์„œ๋„ ๊ฐ™์€ ๋ฐฉ์‹์œผ๋กœ ์“ธ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  1. ๊ธฐ๋ณธ ์›น ์Šคํฌ๋ž˜ํ•‘

    ์›นํŽ˜์ด์ง€์˜ ์ฃผ์š” ๋‚ด์šฉ์„ Markdown์œผ๋กœ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค.

    Scrape the main content from https://example.com and convert it to markdown format.
    

    Claude๋Š” make_request๋กœ ํŽ˜์ด์ง€๋ฅผ ๊ฐ€์ ธ์™€ ์ฝ๊ธฐ ์‰ฌ์šด ๋‚ด์šฉ์„ ๋ฐ˜ํ™˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. HTTP ์š”์ฒญ์€ ๊ธฐ๋ณธ์ ์œผ๋กœ ์ตœ๋Œ€ ์„ธ ๋ฒˆ ์‹œ๋„ํ•˜๋ฉฐ, ๊ฐ ์‹œ๋„ ์‚ฌ์ด์— 1์ดˆ๋ฅผ ๊ธฐ๋‹ค๋ฆฝ๋‹ˆ๋‹ค. ํŽ˜์ด์ง€์— JavaScript๊ฐ€ ํ•„์š”ํ•˜๊ฑฐ๋‚˜ HTTP ์š”์ฒญ์ด ์ฐจ๋‹จ๋˜๋ฉด AI๊ฐ€ browser_fetch_once๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋‘ ๋„๊ตฌ ๋ชจ๋‘ ํ˜ธ์ถœ ํ›„ ์‚ฌ์šฉํ•œ ๋ฆฌ์†Œ์Šค๋ฅผ ์ •๋ฆฌํ•ฉ๋‹ˆ๋‹ค.

    ๊ฐ™์€ ์š”์ฒญ์„ ๋” ํšจ์œจ์ ์œผ๋กœ ์“ฐ๋ ค๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™์ด ํ•ฉ๋‹ˆ๋‹ค.

    Use regular requests to scrape the main content from https://example.com and convert it to markdown format.
    

    ์ด๋ ‡๊ฒŒ ํ•˜๋ฉด Claude๊ฐ€ ์‚ฌ์šฉํ•  ๋„๊ตฌ๋ฅผ ์ถ”์ธกํ•  ํ•„์š”๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค. ๋•Œ๋กœ๋Š” ์ผ๋ฐ˜ ์š”์ฒญ์œผ๋กœ ์‹œ์ž‘ํ•˜๊ณ , ๋•Œ๋กœ๋Š” ๋šœ๋ ทํ•œ ์ด์œ  ์—†์ด ๋ธŒ๋ผ์šฐ์ €๊ฐ€ ๋” ์ ํ•ฉํ•˜๋‹ค๊ณ  ํŒ๋‹จํ•˜๊ธฐ๋„ ํ•ฉ๋‹ˆ๋‹ค. ์‹œ๊ฐ„๊ณผ ๋น„์šฉ์„ ์ค„์ด๊ณ  ์ผ๊ด€๋œ ๊ฒฐ๊ณผ๋ฅผ ์–ป์œผ๋ ค๋ฉด ์‚ฌ์šฉํ•  ๋„๊ตฌ๋ฅผ Claude์— ์ง์ ‘ ์•Œ๋ ค์ฃผ๋Š” ๊ฒƒ์ด ์ข‹์Šต๋‹ˆ๋‹ค.

  2. ์›ํ•˜๋Š” ๋ฐ์ดํ„ฐ๋งŒ ์ถ”์ถœํ•˜๊ธฐ

    CSS ์„ ํƒ์ž๋กœ ํŠน์ • ์š”์†Œ๋ฅผ ์ถ”์ถœํ•ฉ๋‹ˆ๋‹ค.

    Get all product titles from https://shop.example.com using the CSS selector '.product-title'. If the request fails, retry up to 5 times every 10 seconds.
    

    ์„œ๋ฒ„๋Š” ์„ ํƒ์ž์— ๋งž๋Š” ์š”์†Œ๋งŒ ์ถ”์ถœํ•ด ๊ตฌ์กฐํ™”๋œ ๋ชฉ๋ก์œผ๋กœ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค. ์›น์‚ฌ์ดํŠธ์— ์—ฐ๊ฒฐ ๋ฌธ์ œ๊ฐ€ ์žˆ์„ ๋•Œ๋ฅผ ๋Œ€๋น„ํ•ด ์ตœ๋Œ€ 5๋ฒˆ ์‹œ๋„ํ•˜๋„๋ก ์ง€์ •ํ–ˆ์Šต๋‹ˆ๋‹ค. ๋Œ€๋ถ€๋ถ„์˜ ๊ฒฝ์šฐ์—๋Š” ๊ธฐ๋ณธ ์„ค์ •์œผ๋กœ ์ถฉ๋ถ„ํ•ฉ๋‹ˆ๋‹ค.

  3. ์‡ผํ•‘๋ชฐ ๋ฐ์ดํ„ฐ ์ˆ˜์ง‘ํ•˜๊ธฐ

    ์กฐ๊ธˆ ๋” ๋ณต์žกํ•œ ํ”„๋กฌํ”„ํŠธ์ž…๋‹ˆ๋‹ค.

    Open a stealthy browser session and visit these e-commerce URLs one at a time:
    - https://shop1.com/product-a
    - https://shop2.com/product-b  
    - https://shop3.com/product-c
    
    Get the product names, prices, and descriptions from each page. Close the session when done.
    

    Claude๋Š” ํ•˜๋‚˜์˜ ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์„ ์žฌ์‚ฌ์šฉํ•˜๊ณ  ๊ฐ URL์— ๋Œ€ํ•ด ์ˆœ์„œ๋Œ€๋กœ browser_fetch๋ฅผ ํ˜ธ์ถœํ•œ ๋’ค ์ถ”์ถœํ•œ ๋ฐ์ดํ„ฐ๋ฅผ ๋ถ„์„ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

  4. ๋” ๋ณต์žกํ•œ ์ž‘์—… ํ๋ฆ„

    ์ง€๊ธˆ PlayStation ์Šคํ† ์–ด์˜ ์ฒซ ํŽ˜์ด์ง€์— ์žˆ๋Š” ๋ชจ๋“  ์•ก์…˜ ๊ฒŒ์ž„์„ ๊ฐ€์ ธ์˜ค๊ณ  ์‹ถ๋‹ค๋ฉด ๋‹ค์Œ ํ”„๋กฌํ”„ํŠธ๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

    Extract the URLs of all games on this page, then visit each game in order and return a list of all action games: https://store.playstation.com/en-us/pages/browse
    

    ์ผ๋ฐ˜ ์š”์ฒญ์œผ๋กœ ๋ฐ์ดํ„ฐ๋ฅผ ๊ฐ€์ ธ์˜ฌ ์ˆ˜ ์žˆ๋‹ค๋ฉด ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์‹คํ–‰ํ•˜์ง€ ์•Š๋„๋ก HTTP ์„ธ์…˜์„ ์žฌ์‚ฌ์šฉํ•˜๋ผ๊ณ  AI์— ์•Œ๋ ค์ฃผ์„ธ์š”.

    Open an HTTP session, extract the URLs of all games on this page, then fetch each game in order and return a list of all action games. Close the session when done: https://store.playstation.com/en-us/pages/browse
    

    CSS ์„ ํƒ์ž๋ฅผ ์“ธ ์ค„ ์•ˆ๋‹ค๋ฉด AI๊ฐ€ ์ฝ๊ธฐ ์ „์— ๋‚ด์šฉ์˜ ๋ฒ”์œ„๋ฅผ ์ขํž ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

    Use an HTTP session to extract the URLs of all games on the page below, then fetch each game in order and return a list of all action games.
    The selector for games in the first page is `[href*="/concept/"]` and the selector for the genre in each game page is `[data-qa="gameInfo#releaseInformation#genre-value"]`.
    Close the session when done.
    
    URL: https://store.playstation.com/en-us/pages/browse
    
  5. Cloudflare๋กœ ๋ณดํ˜ธ๋œ ์›น์‚ฌ์ดํŠธ์—์„œ ๋ฐ์ดํ„ฐ ๊ฐ€์ ธ์˜ค๊ธฐ

    ๋Œ€์ƒ ์›น์‚ฌ์ดํŠธ์— Cloudflare ๋ณดํ˜ธ ๊ธฐ๋Šฅ์ด ์žˆ๋‹ค๊ณ  ์ƒ๊ฐ๋˜๋ฉด Claude๊ฐ€ ์ง์ ‘ ์•Œ์•„๋‚ด๋„๋ก ๋‘์ง€ ๋ง๊ณ  ๋ฏธ๋ฆฌ ์•Œ๋ ค์ฃผ์„ธ์š”.

    What's the price of this product? Be cautious, as it utilizes Cloudflare's Turnstile protection. Make the browser visible while you work.
    
    https://ao.com/product/oo101uk-ninja-woodfire-outdoor-pizza-oven-brown-99357-685.aspx
    
  6. ๊ธด ์ž‘์—… ํ๋ฆ„

    ๋‹ค์Œ๊ณผ ๊ฐ™์€ ํ”„๋กฌํ”„ํŠธ๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

    Extract all product URLs for the following category, then return the prices and details for the first 3 products.
    
    https://www.arnotts.ie/furniture/bedroom/bed-frames/
    

    ํ•˜์ง€๋งŒ ์•„๋ž˜์ฒ˜๋Ÿผ ์“ฐ๋Š” ํŽธ์ด ๋” ์ข‹์Šต๋‹ˆ๋‹ค.

    Go to the following category URL and extract all product URLs using the CSS selector "a". Then, reuse the session to fetch the first 3 product pages in order and extract each productโ€™s price and details. Close the session when done.
    
    Keep the output in markdown format to reduce irrelevant content.
    
    Category URL:
    https://www.arnotts.ie/furniture/bedroom/bed-frames/
    
  7. ์ง€์† ์„ธ์…˜ ์‚ฌ์šฉํ•˜๊ธฐ

    ๊ฐ™์€ ์‚ฌ์ดํŠธ์—์„œ ์—ฌ๋Ÿฌ ํŽ˜์ด์ง€๋ฅผ ์Šคํฌ๋ž˜ํ•‘ํ•  ๋•Œ๋Š” ์ง€์† ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์„ ์‚ฌ์šฉํ•˜์„ธ์š”. ์š”์ฒญ๋งˆ๋‹ค ์ƒˆ ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์‹คํ–‰ํ•˜๋Š” ๋น„์šฉ์„ ์ค„์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

    Open a stealthy browser session, then use it to scrape the main details from the first 5 product pages on https://shop.example.com. Close the session when you're done.
    

    Claude๋Š” browser_open์œผ๋กœ ๊ณ„์† ์‚ฌ์šฉํ•  ๋ธŒ๋ผ์šฐ์ €๋ฅผ ๋งŒ๋“ค๊ณ , ๊ฐ™์€ ์„ธ์…˜์—์„œ ๊ฐ ์ƒํ’ˆ ํŽ˜์ด์ง€์— ๋Œ€ํ•ด browser_fetch๋ฅผ ํ˜ธ์ถœํ•œ ๋’ค ๋งˆ์ง€๋ง‰์— close_session์„ ํ˜ธ์ถœํ•ฉ๋‹ˆ๋‹ค. ํŽ˜์ด์ง€๋งˆ๋‹ค ์ƒˆ ๋ธŒ๋ผ์šฐ์ €๋ฅผ ์‹คํ–‰ํ•˜๋Š” ๊ฒƒ๋ณด๋‹ค ํ›จ์”ฌ ๋น ๋ฆ…๋‹ˆ๋‹ค.

    !!! danger "์œ„ํ—˜"

     ์ง€์† ์„ธ์…˜์„ ์‚ฌ์šฉํ•œ ๋’ค์—๋Š” ๋ฐ˜๋“œ์‹œ ๋‹ซ์œผ์„ธ์š”. ๋‹ซ์ง€ ์•Š์œผ๋ฉด ์„ธ์…˜์ด ๊ณ„์† ์—ด๋ ค ์žˆ์Šต๋‹ˆ๋‹ค!
    
  8. ๊ธด ์ž‘์—… ํ๋ฆ„์—์„œ ์ง€์† ์„ธ์…˜ ์‚ฌ์šฉํ•˜๊ธฐ

    Claude๊ฐ€ ์—ฌ๋Ÿฌ ๋‹จ๊ณ„๋ฅผ ์ƒ๊ฐํ•ด์•ผ ํ•˜๋Š” ๊ธด ํ…Œ์ŠคํŠธ ์˜ˆ์ œ์ž…๋‹ˆ๋‹ค.

    Use Scrapling MCP to do the following in this order:
    
    1. Open a stealthy browser session with headless mode off.
    2. Go to this page and collect the number of stars: https://github.com/D4Vinci/Scrapling
    3. From the README, get the URL that shows the number of downloads and go to it.
    4. Get the number of downloads and the top 3 countries from the graph.
    5. Prepare a report with the results.
    6. Close the browser.
    

์ด๋Ÿฐ ์‹์œผ๋กœ ํ™œ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์—ฌ๋Ÿฌ๋ถ„์˜ ์•„์ด๋””์–ด์— ๋”ฐ๋ผ ๋” ๋งŽ์€ ์ž‘์—…์„ ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๊ถŒ์žฅ ์‚ฌ์šฉ ๋ฐฉ๋ฒ• {#best-practices}

๊ธฐ์ˆ ์ ์œผ๋กœ ์•Œ์•„๋‘๋ฉด ์ข‹์€ ๋ช‡ ๊ฐ€์ง€ ํŒ์ž…๋‹ˆ๋‹ค.

1. ์•Œ๋งž์€ ๋„๊ตฌ ์„ ํƒํ•˜๊ธฐ {#1-choose-the-right-tool}

  • make_request: ๋‹จ์ผ ํŽ˜์ด์ง€๋‚˜ API ํ˜ธ์ถœ์— ์“ฐ๋Š” ๋น ๋ฅธ HTTP ์š”์ฒญ
  • browser_fetch_once: JavaScript๊ฐ€ ํ•„์š”ํ•œ ๋‹จ์ผ ๋™์  ํŽ˜์ด์ง€๋‚˜ Cloudflare ๋“ฑ์œผ๋กœ ๋ณดํ˜ธ๋œ ์‚ฌ์ดํŠธ
  • ์„ธ์…˜ ๋„๊ตฌ: ์„œ๋กœ ๊ด€๋ จ๋œ ์š”์ฒญ, ๋ธŒ๋ผ์šฐ์ € ์ž‘์—…, ์Šคํฌ๋ฆฐ์ƒท, ๋„คํŠธ์›Œํฌ ๊ธฐ๋ก

2. ์„ฑ๋Šฅ ๊ฐœ์„ ํ•˜๊ธฐ {#2-optimize-performance}

  • ์„ธ์…˜์„ ์žฌ์‚ฌ์šฉํ•˜๊ณ  ๊ฐ URL์„ ์ˆœ์„œ๋Œ€๋กœ ๊ฐ€์ ธ์˜ค์„ธ์š”.
  • ํ•„์š” ์—†๋Š” ๋ฆฌ์†Œ์Šค๋Š” ๋„์„ธ์š”.
  • ์ ์ ˆํ•œ ์ œํ•œ ์‹œ๊ฐ„์„ ์„ค์ •ํ•˜์„ธ์š”.
  • CSS ์„ ํƒ์ž๋กœ ํ•„์š”ํ•œ ๋‚ด์šฉ๋งŒ ์ถ”์ถœํ•˜์„ธ์š”.

3. ๋™์  ์ฝ˜ํ…์ธ  ์ฒ˜๋ฆฌํ•˜๊ธฐ {#3-handle-dynamic-content}

  • SPA์—๋Š” network_idle์„ ์‚ฌ์šฉํ•˜์„ธ์š”.
  • ํŠน์ • ์š”์†Œ๋ฅผ ๊ธฐ๋‹ค๋ฆฌ๋ ค๋ฉด wait_selector๋ฅผ ์„ค์ •ํ•˜์„ธ์š”.
  • ๋А๋ฆฌ๊ฒŒ ๋กœ๋“œ๋˜๋Š” ์‚ฌ์ดํŠธ์—์„œ๋Š” ์ œํ•œ ์‹œ๊ฐ„์„ ๋Š˜๋ฆฌ์„ธ์š”.

4. ๋ฐ์ดํ„ฐ ํ’ˆ์งˆ {#4-data-quality}

  • ํŽ˜์ด์ง€์˜ ๋ณธ๋ฌธ์„ ์„ ํƒํ•˜๊ณ  ์ •๋ฆฌํ•˜๋ ค๋ฉด main_content_only=true๋ฅผ ์‚ฌ์šฉํ•˜์„ธ์š”.
  • ์šฉ๋„์— ๋งž๋Š” extraction_type์„ ์„ ํƒํ•˜์„ธ์š”.

5. ํ”„๋กฌํ”„ํŠธ ์ธ์ ์…˜ ๋ฐฉ์ง€ {#5-prompt-injection-protection}

MCP ์„œ๋ฒ„๋Š” main_content_only๊ฐ€ ์ผœ์ ธ ์žˆ์œผ๋ฉด ์Šคํฌ๋ž˜ํ•‘ํ•œ ๋‚ด์šฉ์„ ์ž๋™์œผ๋กœ ์ •๋ฆฌํ•ฉ๋‹ˆ๋‹ค. ์ด ์˜ต์…˜์€ ๊ธฐ๋ณธ์œผ๋กœ ์ผœ์ ธ ์žˆ์Šต๋‹ˆ๋‹ค. ์•…์„ฑ ์›น์‚ฌ์ดํŠธ๊ฐ€ AI์˜ ์ปจํ…์ŠคํŠธ์— ์ง€์‹œ๋ฅผ ๋„ฃ๋Š” ๋ฐ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋Š” ์ˆจ๊ฒจ์ง„ ๋‚ด์šฉ์„ ์ œ๊ฑฐํ•ฉ๋‹ˆ๋‹ค.

  • ์š”์†Œ๋ฅผ ์ˆจ๊ธฐ๋Š” ์ธ๋ผ์ธ ์Šคํƒ€์ผ: display:none, visibility:hidden, ๋ถˆํˆฌ๋ช…๋„, ๊ธ€๊ผด ํฌ๊ธฐ, ๋†’์ด, ๋„ˆ๋น„, ์ตœ๋Œ€ ๋†’์ด, ์ตœ๋Œ€ ๋„ˆ๋น„์˜ ๊ฐ’์ด 0์ธ ์Šคํƒ€์ผ
  • ์ ‘๊ทผ์„ฑ ๋„๊ตฌ์—์„œ ์ˆจ๊ธด ์š”์†Œ: aria-hidden="true"
  • ํ…œํ”Œ๋ฆฟ ํƒœ๊ทธ์™€ ์ˆจ๊ฒจ์ง„ ์Šฌ๋กฏ: <template>, <slot hidden> ์š”์†Œ
  • HTML ์ฃผ์„: <!-- ... -->
  • ๋„ˆ๋น„๊ฐ€ 0์ธ ๋ฌธ์ž: ๋„ˆ๋น„๊ฐ€ 0์ธ ๊ณต๋ฐฑ์ฒ˜๋Ÿผ ๋ˆˆ์— ๋ณด์ด์ง€ ์•Š๋Š” ์œ ๋‹ˆ์ฝ”๋“œ ๋ฌธ์ž

์ด ๋ณดํ˜ธ ๊ธฐ๋Šฅ์€ HTML, Markdown, ํ…์ŠคํŠธ ์ถ”์ถœ์— ์ž๋™์œผ๋กœ ์ ์šฉ๋ฉ๋‹ˆ๋‹ค. ์ตœ๋Œ€ํ•œ ๋ณดํ˜ธํ•˜๋ ค๋ฉด ๊ธฐ๋ณธ๊ฐ’์ธ main_content_only=true๋ฅผ ์œ ์ง€ํ•˜์„ธ์š”.

6. ์„ธ์…˜ ๊ด€๋ฆฌํ•˜๊ธฐ {#6-manage-sessions}

  • ํ•œ ๋ฒˆ๋งŒ ๊ฐ€์ ธ์˜ฌ ๋•Œ๋Š” make_request๋‚˜ browser_fetch_once๋ฅผ ์‚ฌ์šฉํ•˜์„ธ์š”. ๋‘ ๋„๊ตฌ๋Š” ๋ฆฌ์†Œ์Šค๋ฅผ ์ง์ ‘ ์ •๋ฆฌํ•˜๋ฉฐ, ๋‹ค์Œ ํ˜ธ์ถœ์— ์‚ฌ์šฉํ•  ์„ธ์…˜์„ ๋‚จ๊ธฐ์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  • ์—ฌ๋Ÿฌ ํŽ˜์ด์ง€๋ฅผ ์Šคํฌ๋ž˜ํ•‘ํ•  ๋•Œ๋Š” browser_open์œผ๋กœ ์ง€์† ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์„ ๋งŒ๋“ค๊ณ , ๊ฐ™์€ ์„ธ์…˜์—์„œ ๊ฐ ํŽ˜์ด์ง€์— ๋Œ€ํ•ด browser_fetch๋ฅผ ํ˜ธ์ถœํ•˜์„ธ์š”.
  • ์ผ๋ฐ˜ HTTP ์š”์ฒญ์„ ์—ฌ๋Ÿฌ ๋ฒˆ ๋ณด๋‚ผ ๋•Œ๋Š” open_request_session์„ ์‚ฌ์šฉํ•˜๊ณ , ์š”์ฒญ๋งˆ๋‹ค session_make_request๋ฅผ ํ˜ธ์ถœํ•˜์„ธ์š”. ๋ธŒ๋ผ์šฐ์ € ์—†์ด๋„ ํ˜ธ์ถœ ์‚ฌ์ด์— ์ฟ ํ‚ค, ์—ฐ๊ฒฐ, ๋ธŒ๋ผ์šฐ์ € ์ง€๋ฌธ(impersonate)์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค.
  • ์„ธ์…˜์€ ์—ด ๋•Œ ์ง€์ •ํ•œ ์„ธ์…˜ ์„ค์ •์„ ์œ ์ง€ํ•ฉ๋‹ˆ๋‹ค. ๋ธŒ๋ผ์šฐ์ €์—์„œ๋Š” headless, locale, cookies, ์Šคํ…”์Šค ์˜ต์…˜ ๋“ฑ์ด ํ•ด๋‹นํ•˜๊ณ , ์š”์ฒญ ์„ธ์…˜์—์„œ๋Š” impersonate, proxy๊ฐ€ ํ•ด๋‹นํ•ฉ๋‹ˆ๋‹ค. timeout, wait_selector, network_idle, solve_cloudflare ๊ฐ™์€ ์š”์ฒญ๋ณ„ ์˜ต์…˜์€ browser_fetch/session_make_request๋ฅผ ํ˜ธ์ถœํ•  ๋•Œ๋งˆ๋‹ค ์ „๋‹ฌํ•ฉ๋‹ˆ๋‹ค. ๊ธฐ๋ณธ๊ฐ’์€ ๊ฐ ๋„๊ตฌ์˜ ์Šคํ‚ค๋งˆ์— ๋‚˜์™€ ์žˆ์Šต๋‹ˆ๋‹ค.
  • browser_fetch๋Š” ์—ด๋ ค ์žˆ๋Š” ์Šคํ…”์Šค ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์—์„œ Cloudflare ๊ฒ€์ฆ์„ ํ†ต๊ณผํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์ž‘์—…์ด ๋๋‚˜๋ฉด ํ•ญ์ƒ close_session์œผ๋กœ ์„ธ์…˜์„ ๋‹ซ์•„ ๋ฆฌ์†Œ์Šค๋ฅผ ํ•ด์ œํ•˜์„ธ์š”.
  • list_sessions๋กœ ์•„์ง ํ™œ์„ฑ ์ƒํƒœ์ธ ์„ธ์…˜๊ณผ ์ƒ์„ฑํ•  ๋•Œ ์‚ฌ์šฉํ•œ settings๋ฅผ ํ™•์ธํ•˜์„ธ์š”. ์ด ์ •๋ณด๋Š” AI ์—์ด์ „ํŠธ์— ๋ฐ˜ํ™˜๋˜๋ฉฐ, CDP ์„ธ์…˜์—์„œ๋Š” ๋น„์–ด ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์„ธ์…˜์„ ์—ฌ๋Š” ๋„๊ตฌ์— ์›ํ•˜๋Š” session_id๋ฅผ ์ „๋‹ฌํ•˜๋ฉด ๊ธฐ๋ณธ๊ฐ’์ธ ์ž„์˜์˜ 16์ง„์ˆ˜ ๋Œ€์‹  ์˜๋ฏธ ์žˆ๋Š” ์ด๋ฆ„(์˜ˆ: "search", "checkout")์„ ๋ถ™์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์ด๋ฏธ ์‚ฌ์šฉ ์ค‘์ธ ID๋ฅผ ์ง€์ •ํ•˜๋ฉด ์˜ค๋ฅ˜๊ฐ€ ๋ฐœ์ƒํ•˜๋ฏ€๋กœ ์ด๋ฆ„ ์ถฉ๋Œ์„ ๋ฐ”๋กœ ์•Œ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

7. ์Šคํฌ๋ฆฐ์ƒท ์ฐ๊ธฐ {#7-capturing-screenshots}

  • browser_screenshot์€ ์Šคํ…”์Šค ๋ธŒ๋ผ์šฐ์ € ์„ธ์…˜์—์„œ browser_fetch๋กœ ์ด๋ฏธ ์—ฐ ํŽ˜์ด์ง€๋ฅผ ์บก์ฒ˜ํ•ฉ๋‹ˆ๋‹ค. ํŽ˜์ด์ง€๋ฅผ ๋‹ค์‹œ ๋กœ๋“œํ•˜์ง€ ์•Š์œผ๋ฏ€๋กœ AI๊ฐ€ ์ž…๋ ฅํ•œ ํ•„๋“œ, ์—ด๋ฆฐ ๋ฉ”๋‰ด ๋“ฑ ์ž‘์—… ๊ฒฐ๊ณผ๋ฅผ ํ™•์ธํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์ด๋ฏธ์ง€๋Š” ์‹ค์ œ ImageContent ๋ธ”๋ก์œผ๋กœ ๋ฐ˜ํ™˜๋˜๋ฏ€๋กœ ๋ชจ๋ธ์ด ํŽ˜์ด์ง€๋ฅผ ์ง์ ‘ ๋ณผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ํ˜„์žฌ ๋ณด์ด๋Š” ํ™”๋ฉด์ด๋‚˜ ์•„๋ž˜์ชฝ์˜ ๋ณด์ด์ง€ ์•Š๋Š” ๋‚ด์šฉ๊นŒ์ง€ ํฌํ•จํ•œ ์ „์ฒด ํŽ˜์ด์ง€๋ฅผ ์บก์ฒ˜ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ํ•„๋“œ, ์ฐจํŠธ, ์นด๋“œ, ๊ฒฐ๊ณผ ํ•˜๋‚˜๋งŒ ์บก์ฒ˜ํ•ด ์ฃผ๋ณ€ ๋‚ด์šฉ์„ ์ค„์ผ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์š”์†Œ๋ฅผ ์บก์ฒ˜ํ•  ๋•Œ๋Š” ๋Œ€์ƒ์ด ๋ณด์ด๋„๋ก ์Šคํฌ๋กคํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.
  • ์†์‹ค ์—†๋Š” ์ด๋ฏธ์ง€์—๋Š” PNG๋ฅผ, ๋” ์ž‘์€ ์ „์†ก ํฌ๊ธฐ์—๋Š” ํ’ˆ์งˆ์„ ์กฐ์ ˆํ•  ์ˆ˜ ์žˆ๋Š” JPEG๋ฅผ ์„ ํƒํ•˜์„ธ์š”.
  • AI๋Š” ์บก์ฒ˜ ์ „์— browser_actions๋กœ ์ฝ˜ํ…์ธ ๋ฅผ ๊ธฐ๋‹ค๋ฆฌ๊ฑฐ๋‚˜ ํ•„์š”ํ•œ ์กฐ์ž‘์„ ๋งˆ์น  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฒ•์  ์‚ฌํ•ญ๊ณผ ์œค๋ฆฌ {#legal-and-ethical-considerations}

โš ๏ธ ์ค‘์š”ํ•œ ์ง€์นจ:

  • robots.txt ํ™•์ธ: https://website.com/robots.txt์—์„œ ์Šคํฌ๋ž˜ํ•‘ ๊ทœ์น™์„ ํ™•์ธํ•˜์„ธ์š”.
  • ์š”์ฒญ ์†๋„ ์ œํ•œ ์ค€์ˆ˜: ๋„ˆ๋ฌด ๋งŽ์€ ์š”์ฒญ์œผ๋กœ ์„œ๋ฒ„์— ๋ถ€๋‹ด์„ ์ฃผ์ง€ ๋งˆ์„ธ์š”.
  • ์ด์šฉ ์•ฝ๊ด€: ์›น์‚ฌ์ดํŠธ์˜ ์•ฝ๊ด€์„ ์ฝ๊ณ  ์ค€์ˆ˜ํ•˜์„ธ์š”.
  • ์ €์ž‘๊ถŒ: ์ง€์‹์žฌ์‚ฐ๊ถŒ์„ ์กด์ค‘ํ•˜์„ธ์š”.
  • ๊ฐœ์ธ์ •๋ณด: ๊ฐœ์ธ์ •๋ณด ๋ณดํ˜ธ๋ฒ•์— ์ฃผ์˜ํ•˜์„ธ์š”.
  • ์ƒ์—…์  ์ด์šฉ: ์‚ฌ์—… ๋ชฉ์ ์œผ๋กœ ์ด์šฉํ•  ๊ถŒํ•œ์ด ์žˆ๋Š”์ง€ ํ™•์ธํ•˜์„ธ์š”.

Scrapling ํŒ€์ด โค๏ธ๋ฅผ ๋‹ด์•„ ๋งŒ๋“ค์—ˆ์Šต๋‹ˆ๋‹ค. ์ฆ๊ฒ๊ฒŒ ์Šคํฌ๋ž˜ํ•‘ํ•˜์„ธ์š”!