Skip to content

🕷 The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

8.5 KB
Raw Blame

title: "Scrapling MCP サヌバヌの API リファレンス" description: "HTTP ずブラりザによるデヌタ抜出に䜿う MCP ツヌルず、リク゚スト・レスポンス・セッションのモデルを確認したす。"

MCP サヌバヌのリファレンス {#mcp-server-api-reference}

Scrapling MCP サヌバヌは、Model Context ProtocolMCPを通じお、デヌタ抜出ずブラりザ操䜜のための 16 個のツヌルを提䟛したす。AI アシスタントや゚ヌゞェントに接続するず、䌚話を通じおデヌタを抜出できたす。ボット怜出を避ける機胜も䜿えたす。

次のコマンドで MCP サヌバヌを起動したす。

scrapling mcp

サヌバヌクラスを盎接むンポヌトするこずもできたす。

from scrapling.core.ai import ScraplingMCPServer

server = ScraplingMCPServer()
server.serve(http=False, host="127.0.0.1", port=8000)

独自の Chromium 互換ブラりザを䜿う堎合は、executable_path を指定したす。

server = ScraplingMCPServer(executable_path="/path/to/chromium")

レスポンスモデル {#response-model}

ペヌゞ取埗ず HTTP リク゚ストのツヌルは、次の圢匏で 1 回の呌び出しに぀き 1 件のレスポンスを返したす。セッション管理のツヌルは、埌に瀺すモデルを䜿いたす。browser_screenshot はペヌゞたたは芁玠の画像ず珟圚の URL を、画像ブロックずテキストブロックで返したす。browser_extract ず browser_actions は通垞のテキストを返したす。2 ぀のネットワヌクツヌルは、埌に瀺すモデルで構造化された JSON を返したす。browser_evaluate は結果を JSON にしお、テキストブロックで返したす。

::: scrapling.core.ai.server.ResponseModel

handler: python
:docstring:

ネットワヌクリク゚ストのモデル {#network-request-models}

browser_network_requests は NetworkRequestsModel を返し、requests、next_cursor、has_more、dropped_count を含みたす。各 NetworkRequestInfo には id、url、method、resource_type、status がありたす。続きを取埗するには、next_cursor を after_id ずしお枡したす。has_more は、珟圚の履歎にただ䞀臎する結果があるかを瀺したす。

browser_network_request は NetworkRequestModel を返し、request_id、part、data、note を含みたす。抂芁ずヘッダヌはオブゞェクトです。保存された本文党䜓は、内容が JSON でも文字列で返したす。note は、本文がない堎合やヘッダヌが䞍完党な堎合の説明です。

::: scrapling.core.ai._network_formatting.NetworkRequestInfo

handler: python
:docstring:

::: scrapling.core.ai.server.NetworkRequestsModel

handler: python
:docstring:

::: scrapling.core.ai._network_formatting.NetworkRequestModel

handler: python
:docstring:

セッションモデル {#session-models}

セッション管理に䜿うモデルクラスです。

::: scrapling.core.ai.server.SessionInfo

handler: python
:docstring:

::: scrapling.core.ai.server.SessionCreatedModel

handler: python
:docstring:

::: scrapling.core.ai.server.SessionClosedModel

handler: python
:docstring:

MCP サヌバヌクラス {#mcp-server-class}

MCP サヌバヌのメむンクラスは、次のツヌルを提䟛したす。

  • make_requestブラりザを暡倣した HTTP リク゚ストで 1 ぀の URL を取埗し、クラむアントを自動で閉じたす。GET、POST、PUT、DELETE に察応したす。

  • browser_fetch_onceステルスブラりザで 1 ぀の URL を取埗し、JavaScript の実行ず Cloudflare 怜蚌の凊理を行っおからブラりザを閉じたす。その埌もペヌゞを操䜜したり、ネットワヌク履歎を確認したりする堎合は、氞続セッションを䜿っおください。

  • browser_extract珟圚のペヌゞや芁玠を、AI 向けの構造化されたスナップショット、HTML、Markdown、テキストずしお読み取りたす。再読み蟌みは䞍芁で、フォヌムや操䜜の結果を保ちたす。スナップショットには芁玠の圹割、名前、参照、䜍眮、サむズが含たれたす。正芏衚珟の怜玢では、䞀臎する行ずその前埌の内容、芪ノヌドを返したす。

  • browser_actionsマりスの移動、ホバヌ、クリック、スクロヌル、フォヌム入力、キヌ操䜜、ダむアログぞの応答、埅機を 1 回の呌び出しにたずめたす。通知や確認を受け入れるか閉じるこずができ、入力ダむアログには文字を入力できたす。怜玢欄に入力しお送信し、埅っおから結果を開く操䜜も、段階ごずに呌び出さずに実行できたす。

    移動ずクリックには、セレクタヌ、スナップショットの参照、座暙を指定できたす。芁玠を埅ち、衚瀺領域たでスクロヌルしたす。段階的な移動、巊・右・䞭倮クリック、ダブルクリック、入れ子の領域内のスクロヌルに察応したす。

    セレクタヌやスナップショットの参照で入力欄を遞びたす。文字の入力、チェックボックスのオンずオフ、ラゞオボタンの遞択、暙準の遞択リストのラベルによる単䞀・耇数遞択ができたす。文字の眮き換えや消去、カヌ゜ル䜍眮からの远加入力もできたす。キヌ操䜜は珟圚フォヌカスがある堎所に䜜甚したす。䜎速モヌドでは、文字や操䜜の間にランダムな埅ち時間を入れたす。

    セレクタヌやスナップショットの参照で、コンテンツや読み蟌み䞭のオヌバヌレむが指定した状態になるたで埅おたす。読み蟌みむベント、ネットワヌクの通信が萜ち着くたでの埅機、指定時間の埅機も䜿えたす。

  • browser_evaluate珟圚のペヌゞで JavaScript を実行し、独自のデヌタ抜出、蚈算、アプリの状態確認、内容の倉曎を行いたす。非同期スクリプトに察応し、結果を JSON で返したす。

  • browser_network_requestsタブ、ペヌゞ移動、操䜜をたたいで、完了したブラりザリク゚ストを怜玢したす。保存された API 呌び出し、HTTP ゚ラヌ、リダむレクトを探せたす。静的リ゜ヌスは既定で非衚瀺にしお、䞍芁な結果を枛らしたす。倱敗したリク゚ストや未完了のリク゚ストは含みたせん。ペヌゞ分割に察応した構造化デヌタを返したす。

  • browser_network_request保存枈みリク゚ストの抂芁、ヘッダヌ、送信デヌタ、本文を構造化された JSON で読み取りたす。再送信せず、遞んだ郚分を省略せずに返したす。4xx や 5xx の HTTP レスポンスも含め、保存枈みレスポンスはペヌゞ移動埌も読めたす。蚘録が完了したものだけが履歎に珟れたす。履歎の読み取りやセッションの終了は、進行䞭の蚘録を埅ちたせん。未完了の蚘録はペヌゞ移動や終了時に倱われるこずがありたす。バむト列は Playwright から取埗するため、サヌバヌが送信した生のバむト列ず異なる堎合がありたす。保存したバむト列が有効な UTF-8 なら、Playwright ず同じ方法でテキストに倉換したす。それ以倖では、宣蚀された文字コヌドを䜿いたす。本文を読み取っお保存するのは、察応するテキスト圢匏の Content-Type だけです。バむナリ、皮類が䞍明なもの、皮類が指定されおいないものは、本文を読たずにメタデヌタずヘッダヌだけを保存したす。ペヌゞの読み蟌み方は倉わりたせん。履歎にはサむズ䞊限がありたす。本文がテキストでない、倧きすぎる、読めない堎合などは、補足情報で理由を瀺したす。必芁なデヌタは MCP セッションを閉じる前に読んでください。

  • browser_fetch開いおいるステルスブラりザセッションでペヌゞを取埗し、HTML、Markdown、テキスト、スナップショットを抜出したす。スナップショットはペヌゞ党䜓たたは指定した芁玠を察象にし、埌の操䜜で䜿う参照、䜍眮、サむズを含みたす。

::: scrapling.core.ai.server.ScraplingMCPServer

handler: python
:docstring: