๐ท๏ธ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev
title: "Scrapling MCP ์๋ฒ API ์ฐธ๊ณ ๋ฌธ์" description: "HTTP์ ๋ธ๋ผ์ฐ์ ๋ก ๋ฐ์ดํฐ๋ฅผ ์์งํ๋ MCP ๋๊ตฌ, ์์ฒญยท์๋ต ๋ชจ๋ธ, ์ธ์ ์์ ์ ํ์ธํ์ธ์."
MCP ์๋ฒ API ์ฐธ๊ณ ๋ฌธ์ {#mcp-server-api-reference}
Scrapling MCP ์๋ฒ๋ Model Context Protocol(MCP)์ ํตํด ์น ์คํฌ๋ํ๊ณผ ๋ธ๋ผ์ฐ์ ์กฐ์์ ์ํ 16๊ฐ ๋๊ตฌ๋ฅผ ์ ๊ณตํฉ๋๋ค. AI ์ฑ๋ด์ด๋ ์์ด์ ํธ์ ์ฐ๊ฒฐํ๋ฉด ๋ํ๋ก ๋ฐ์ดํฐ๋ฅผ ์์งํ ์ ์์ผ๋ฉฐ, ๋ด ์ฐจ๋จ ์ฐํ ๊ธฐ๋ฅ๋ ์ฌ์ฉํ ์ ์์ต๋๋ค.
๋ค์ ๋ช ๋ น์ผ๋ก MCP ์๋ฒ๋ฅผ ์์ํฉ๋๋ค:
scrapling mcp
์๋ฒ ํด๋์ค๋ฅผ ์ง์ ๊ฐ์ ธ์ฌ ์๋ ์์ต๋๋ค:
from scrapling.core.ai import ScraplingMCPServer
server = ScraplingMCPServer()
server.serve(http=False, host="127.0.0.1", port=8000)
์ง์ ์ค๋นํ Chromium ํธํ ๋ธ๋ผ์ฐ์ ๋ฅผ ์ฌ์ฉํ๋ ค๋ฉด executable_path๋ก ์คํ ํ์ผ์ ์ง์ ํ์ธ์:
server = ScraplingMCPServer(executable_path="/path/to/chromium")
์๋ต ๋ชจ๋ธ {#response-model}
ํ์ด์ง ๊ฐ์ ธ์ค๊ธฐ์ HTTP ์์ฒญ ๋๊ตฌ๋ ์๋ ํ์์ผ๋ก ํธ์ถ๋น ํ๋์ ์๋ต์ ๋ฐํํฉ๋๋ค. ์ธ์
๊ด๋ฆฌ ๋๊ตฌ๋ ๋ค์ ๋์ค๋ ๋ชจ๋ธ์ ์ฌ์ฉํฉ๋๋ค. browser_screenshot์ ํ์ด์ง๋ ์์์ ์ด๋ฏธ์ง์ ํ์ฌ URL์ ์ด๋ฏธ์ง ๋ธ๋ก๊ณผ ํ
์คํธ ๋ธ๋ก์ผ๋ก ๋ฐํํฉ๋๋ค. browser_extract์ browser_actions๋ ์ผ๋ฐ ํ
์คํธ๋ฅผ ๋ฐํํฉ๋๋ค. ๋ ๋คํธ์ํฌ ๋๊ตฌ๋ ์๋ ๋ชจ๋ธ์ ๋ฐ๋ฅธ ๊ตฌ์กฐํ๋ JSON์ ๋ฐํํฉ๋๋ค. browser_evaluate๋ ๊ฒฐ๊ณผ๋ฅผ JSON์ผ๋ก ๋ง๋ค์ด ํ
์คํธ ๋ธ๋ก์ ๋ด์ต๋๋ค.
::: scrapling.core.ai.server.ResponseModel
handler: python
:docstring:
๋คํธ์ํฌ ์์ฒญ ๋ชจ๋ธ {#network-request-models}
browser_network_requests๋ requests, next_cursor, has_more, dropped_count๊ฐ ์๋ NetworkRequestsModel์ ๋ฐํํฉ๋๋ค. ๊ฐ NetworkRequestInfo์๋ id, url, method, resource_type, status๊ฐ ์์ต๋๋ค. ๋ค์ ๊ฒฐ๊ณผ๋ฅผ ์ฝ์ผ๋ ค๋ฉด next_cursor๋ฅผ after_id๋ก ์ ๋ฌํ์ธ์. has_more๋ ํ์ฌ ๊ธฐ๋ก์ ์กฐ๊ฑด๊ณผ ์ผ์นํ๋ ๊ฒฐ๊ณผ๊ฐ ๋ ์๋์ง ๋ํ๋
๋๋ค.
browser_network_request๋ request_id, part, data, note๊ฐ ์๋ NetworkRequestModel์ ๋ฐํํฉ๋๋ค. ์์ฝ๊ณผ ํค๋๋ ๊ฐ์ฒด์
๋๋ค. ์ ์ฅ๋ ์ ์ฒด ๋ณธ๋ฌธ์ JSON ์๋ต์ด์ด๋ ๋ฌธ์์ด๋ก ๋ฐํํฉ๋๋ค. note๋ ๋ณธ๋ฌธ์ด ์๊ฑฐ๋ ํค๋๊ฐ ์ผ๋ถ๋ง ์๋ ์ด์ ๋ฅผ ์ค๋ช
ํฉ๋๋ค.
::: scrapling.core.ai._network_formatting.NetworkRequestInfo
handler: python
:docstring:
::: scrapling.core.ai.server.NetworkRequestsModel
handler: python
:docstring:
::: scrapling.core.ai._network_formatting.NetworkRequestModel
handler: python
:docstring:
์ธ์ ๋ชจ๋ธ {#session-models}
์ธ์ ๊ด๋ฆฌ์ ์ฌ์ฉํ๋ ๋ชจ๋ธ ํด๋์ค์ ๋๋ค:
::: scrapling.core.ai.server.SessionInfo
handler: python
:docstring:
::: scrapling.core.ai.server.SessionCreatedModel
handler: python
:docstring:
::: scrapling.core.ai.server.SessionClosedModel
handler: python
:docstring:
MCP ์๋ฒ ํด๋์ค {#mcp-server-class}
MCP ์๋ฒ์ ์ฃผ์ ํด๋์ค๋ ๋ค์ ๋๊ตฌ๋ฅผ ์ ๊ณตํฉ๋๋ค:
make_request: ๋ธ๋ผ์ฐ์ ๋ฅผ ํ๋ด ๋ธ HTTP ์์ฒญ์ผ๋ก URL ํ๋๋ฅผ ๊ฐ์ ธ์จ ๋ค ํด๋ผ์ด์ธํธ๋ฅผ ์๋์ผ๋ก ๋ซ์ต๋๋ค. GET, POST, PUT, DELETE๋ฅผ ์ง์ํฉ๋๋ค.browser_fetch_once: ์คํ ์ค ๋ธ๋ผ์ฐ์ ๋ก URL ํ๋๋ฅผ ๊ฐ์ ธ์ค๊ณ JavaScript ์คํ๊ณผ Cloudflare ์ฒ๋ฆฌ๋ฅผ ๋ง์น ๋ค ๋ธ๋ผ์ฐ์ ๋ฅผ ๋ซ์ต๋๋ค. ๋์ค์ ์กฐ์ํ๊ฑฐ๋ ๋คํธ์ํฌ ๊ธฐ๋ก์ ์ฝ์ผ๋ ค๋ฉด ์ง์ ์ธ์ ์ ์ฌ์ฉํ์ธ์.browser_extract: ์๋ก๊ณ ์นจ ์์ด ํ์ฌ ํ์ด์ง๋ ์์๋ฅผ AI์ฉ ๊ตฌ์กฐ ์ค๋ ์ท, HTML, Markdown, ํ ์คํธ๋ก ์ฝ์ต๋๋ค. ํผ ์ ๋ ฅ๊ณผ ํ์ด์ง ์กฐ์ ๊ฒฐ๊ณผ๊ฐ ์ ์ง๋ฉ๋๋ค. ์ค๋ ์ท์๋ ์์์ ์ญํ , ์ด๋ฆ, ์ฐธ์กฐ, ์์น, ํฌ๊ธฐ๊ฐ ๋ค์ด ์์ต๋๋ค. ์ ๊ท์ ๊ฒ์์ ์ผ์นํ๋ ์ค๊ณผ ์ฃผ๋ณ ๋ด์ฉ, ๋ถ๋ชจ ๋ ธ๋๋ฅผ ๋ฐํํฉ๋๋ค.browser_actions: ๋ง์ฐ์ค ์ด๋, ๊ฐ๋ฆฌํค๊ธฐ, ํด๋ฆญ, ์คํฌ๋กค, ํ๋ ์ ๋ ฅ, ๋จ์ถํค, ๋ํ ์์ ์๋ต, ๋๊ธฐ๋ฅผ ํ ๋ฒ์ ํธ์ถ๋ก ์ด์ด์ ์คํํฉ๋๋ค. ์๋ฆผ๊ณผ ํ์ธ ์ฐฝ์ ์๋ฝํ๊ฑฐ๋ ๋ซ๊ณ ์ ๋ ฅ ์ฐฝ์ ๊ธ์ ์ธ ์ ์์ต๋๋ค. ๊ฒ์์ด ์ ๋ ฅ, ์ ์ถ, ๊ฒฐ๊ณผ ๋๊ธฐ, ๊ฒฐ๊ณผ ์ด๊ธฐ๋ฅผ ๊ฐ๊ฐ ํธ์ถํ ํ์๊ฐ ์์ต๋๋ค.์ด๋๊ณผ ํด๋ฆญ์ ๋์์ ์ ํ์, ์ค๋ ์ท ์ฐธ์กฐ, ์ขํ๋ก ์ง์ ํฉ๋๋ค. ์์๊ฐ ์ค๋น๋ ๋๊น์ง ๊ธฐ๋ค๋ฆฐ ๋ค ํ๋ฉด์ ๋ณด์ด๋๋ก ์คํฌ๋กคํฉ๋๋ค. ์ฌ๋ฌ ๋จ๊ณ์ ์ด๋, ์ผ์ชฝยท์ค๋ฅธ์ชฝยท๊ฐ์ด๋ฐ ํด๋ฆญ, ๋๋ธ ํด๋ฆญ, ์ค์ฒฉ ์์ญ ์คํฌ๋กค์ ์ง์ํฉ๋๋ค.
์ ํ์๋ ์ค๋ ์ท ์ฐธ์กฐ๋ก ํ์ด์ง์ ํ๋๋ฅผ ์ฐพ์ต๋๋ค. ํ ์คํธ ์ ๋ ฅ, ์ฒดํฌ๋ฐ์ค ์ ํ๊ณผ ํด์ , ๋ผ๋์ค ๋ฒํผ ์ ํ, ๊ธฐ๋ณธ ๋๋กญ๋ค์ด์ ๋จ์ผยท๋ค์ค ํญ๋ชฉ ์ ํ์ ํ ์ ์์ต๋๋ค. ๋๋กญ๋ค์ด ํญ๋ชฉ์ ํ์๋ ์ด๋ฆ์ผ๋ก ๊ณ ๋ฆ ๋๋ค. ํ ์คํธ๋ฅผ ๋ฐ๊พธ๊ฑฐ๋ ์ง์ฐ๊ณ , ์ปค์ ์์น์ ์ด์ด ์ธ ์๋ ์์ต๋๋ค. ๋จ์ถํค๋ ํ์ฌ ํฌ์ปค์ค์ ์ ์ฉ๋ฉ๋๋ค. ๋๋ฆฐ ๋ชจ๋๋ ๊ธ์์ ์์ ์ฌ์ด์ ๋ฌด์์ ๋๊ธฐ ์๊ฐ์ ๋ฃ์ต๋๋ค.
์ ํ์๋ ์ค๋ ์ท ์ฐธ์กฐ๋ก ์ฝํ ์ธ ๋ ๋ก๋ฉ ํ์๊ฐ ์ง์ ํ ์ํ๊ฐ ๋ ๋๊น์ง ๊ธฐ๋ค๋ฆด ์ ์์ต๋๋ค. ํ์ด์ง ๋ก๋ ์ด๋ฒคํธ, ๋คํธ์ํฌ ํ๋์ด ๋ฉ์ถ ๋๊น์ง์ ๋๊ธฐ, ์ผ์ ์๊ฐ ๋๊ธฐ๋ ์ง์ํฉ๋๋ค.
browser_evaluate: ํ์ฌ ํ์ด์ง์์ JavaScript๋ฅผ ์คํํด ์ํ๋ ๋ฐ์ดํฐ๋ฅผ ์ถ์ถํ๊ณ , ๊ณ์ฐํ๊ณ , ์ฑ ์ํ๋ฅผ ์ฝ๊ฑฐ๋ ํ์ด์ง ๋ด์ฉ์ ๋ฐ๊ฟ๋๋ค. ๋น๋๊ธฐ ์คํฌ๋ฆฝํธ๋ฅผ ์ง์ํ๋ฉฐ ๊ฒฐ๊ณผ๋ JSON์ผ๋ก ๋ฐํํฉ๋๋ค.browser_network_requests: ํญ, ํ์ด์ง ์ด๋, ์กฐ์ ์ ๋ฐ์์ ์๋ฃ๋ ๋ธ๋ผ์ฐ์ ์์ฒญ์ ๊ฒ์ํฉ๋๋ค. API ํธ์ถ, HTTP ์ค๋ฅ, ์ ์ฅ๋ ๋ฆฌ๋๋ ์ ์ ์ฐพ์ ์ ์์ต๋๋ค. ๊ฒฐ๊ณผ๋ฅผ ์ค์ด๊ธฐ ์ํด ์ ์ ๋ฆฌ์์ค๋ ๊ธฐ๋ณธ์ผ๋ก ์จ๊น๋๋ค. ์คํจํ๊ฑฐ๋ ๋๋์ง ์์ ์์ฒญ์ ์ ์ธํฉ๋๋ค. ํ์ด์ง ๋จ์๋ก ๊ตฌ์กฐํ๋ ์์ฒญ ์ ๋ณด๋ฅผ ๋ฐํํฉ๋๋ค.browser_network_request: ์์ฒญ์ ๋ค์ ๋ณด๋ด์ง ์๊ณ ์ ์ฅ๋ ์์ฒญ์ ์์ฝ, ํค๋, ์ ์ก ๋ฐ์ดํฐ, ํ ์คํธ ์๋ต ๋ณธ๋ฌธ์ ๊ตฌ์กฐํ๋ JSON์ผ๋ก ์ฝ์ต๋๋ค. ์ ์ฅ๋ ๋ณธ๋ฌธ์ ํฌํจํด ์ ํํ ๋ถ๋ถ์ ์ ๋ถ ๋ฐํํฉ๋๋ค. HTTP 4xxยท5xx ์๋ต์ ํฌํจํ ์ ์ฅ ๊ธฐ๋ก์ ํ์ด์ง๊ฐ ๋ฐ๋์ด๋ ๋จ์ ์์ต๋๋ค. ๊ธฐ๋ก์ ์ ์ฅ์ด ๋๋์ผ ๋ํ๋ฉ๋๋ค. ๊ธฐ๋ก ์ฝ๊ธฐ๋ ์ธ์ ์ข ๋ฃ๋ ์ ์ฅ ์๋ฃ๋ฅผ ๊ธฐ๋ค๋ฆฌ์ง ์์ผ๋ฏ๋ก ํ์ด์ง ์ด๋์ด๋ ์ข ๋ฃ ์ ์งํ ์ค์ธ ๊ธฐ๋ก์ด ๋น ์ง ์ ์์ต๋๋ค. ๋ฐ์ดํธ๋ Playwright์์ ๊ฐ์ ธ์ค๋ฏ๋ก ์๋ฒ์ ์๋ณธ ๋ฐ์ดํธ์ ๋ค๋ฅผ ์ ์์ต๋๋ค. ์ ์ฅ๋ ๋ฐ์ดํธ๊ฐ ์ฌ๋ฐ๋ฅธ UTF-8์ด๋ฉด Playwright์ ๊ฐ์ ๋ฐฉ์์ผ๋ก ๋์ฝ๋ฉํฉ๋๋ค. ๊ทธ๋ ์ง ์์ผ๋ฉด ์๋ต์ ์ง์ ๋ ๋ฌธ์ ์ธ์ฝ๋ฉ์ ์ฌ์ฉํฉ๋๋ค. ์ง์ํ๋ ํ ์คํธContent-Type์ ๋ณธ๋ฌธ๋ง ์ฝ๊ณ ์ ์ฅํฉ๋๋ค. ๋ฐ์ด๋๋ฆฌ, ์ ์ ์๋ ์ ํ, ์ ํ์ด ์๋ ์๋ต์ ๋ณธ๋ฌธ์ ์ฝ์ง ์๊ณ ๋ฉํ๋ฐ์ดํฐ์ ํค๋๋ง ์ ์ฅํฉ๋๋ค. ๋ธ๋ผ์ฐ์ ์ ํ์ด์ง ๋ก๋๋ ๋ฌ๋ผ์ง์ง ์์ต๋๋ค. ๊ธฐ๋ก์ ํฌ๊ธฐ๋ ์ ํ๋๋ฉฐ, ๋ณธ๋ฌธ์ด ํ ์คํธ๊ฐ ์๋๊ฑฐ๋ ๋๋ฌด ํฌ๊ฑฐ๋ ์ฝ์ ์ ์๋ ๊ฒฝ์ฐ ์ ํ์ ๋ฉ๋ชจ๋ก ์ด์ ๋ฅผ ์ค๋ช ํฉ๋๋ค. ํ์ํ ์ ๋ณด๋ MCP ์ธ์ ์ ๋ซ๊ธฐ ์ ์ ์ฝ์ผ์ธ์.browser_fetch: ์ด๋ฆฐ ์คํ ์ค ๋ธ๋ผ์ฐ์ ์ธ์ ์์ ํ์ด์ง๋ฅผ ๊ฐ์ ธ์ HTML, Markdown, ํ ์คํธ, ๊ตฌ์กฐ ์ค๋ ์ท์ ์ถ์ถํฉ๋๋ค. ์ค๋ ์ท์ ํ์ด์ง ์ ์ฒด๋ ์ ํํ ์์๋ฅผ ๋์์ผ๋ก ํ๋ฉฐ, ๋์ค์ ์กฐ์ํ ์ ์๋๋ก ์์ ์ฐธ์กฐ, ์์น, ํฌ๊ธฐ๋ฅผ ํฌํจํฉ๋๋ค.
::: scrapling.core.ai.server.ScraplingMCPServer
handler: python
:docstring: