Skip to content

🕷 The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

11.1 KB
Raw Blame

title: "AI の代わりに無料で䜿える、倉化に匷い Web スクレむピング" description: "Scrapling はペヌゞの倉化、䞍安定なセレクタヌ、ボット察策、ペヌゞ送りに察応したす。ペヌゞごずに LLM を呌び出す必芁はありたせん。"

ScraplingAI の代わりに無料で䜿える、倉化に匷い Web スクレむピング {#scrapling-a-free-alternative-to-ai-for-robust-web-scraping}

Web スクレむピングは、デヌタ抜出、むンデックス䜜成、デヌタセットの準備などに長く䜿われおきたした。しかし、経隓のあるナヌザヌでも、䜜業を劚げる同じ問題に䜕床も出䌚いたす。最近は、こうした課題を解決するために、AI を䜿った Web スクレむピングぞ移る動きが目立っおいたす。

この蚘事では、よくある問題、䌁業が AI を遞ぶ理由、その方法の課題、そしお Scrapling が AI の費甚をかけずにどう察応するかを説明したす。

よくある問題ず難しい目暙 {#common-issues-and-challenging-goals}

長く Web スクレむピングをしおいるず、次のような問題を䜕床も経隓するはずです。

  1. 頻繁に倉わるサむト構造サむトの DOM 構造が曎新され、固定の XPath/CSS セレクタヌが䜿えなくなりたす。
  2. 䞍安定なセレクタヌクラス名や ID が倉わったり、ランダムな倀になったりしお、スクレむパヌが動かなくなる、たたは䜜りにくくなりたす。
  3. 耇雑になるボット察策CAPTCHA、ブラりザのフィンガヌプリント怜出、行動分析によっお、埓来のスクレむピングが難しくなりたす。

ほかにも問題はありたす。

これは、既知のサむトを察象に、サむトごずに専甚のコヌドを曞ける堎合の話です。

さらに広い範囲を察象ずする汎甚的な Web スクレむピングを考えるず、䞊の問題はより深刻になりたす。次のような新しい問題も加わりたす。

  1. サむトごずの倧きな違いHTML 構造、CSS の䜿い方、JavaScript フレヌムワヌク、バック゚ンド技術の数倚くの組み合わせに察応する必芁がありたす。
  2. 必芁なデヌタの特定初めお芋るペヌゞで、どのデヌタが重芁かをスクレむパヌはどう刀断するのでしょうか。
  3. ペヌゞ送りの違い無限スクロヌル、通垞のペヌゞ番号、「もっず芋る」ボタンでは、それぞれ察応方法が異なりたす。

ほかにも倚くの違いがありたす。

共通の技術を䜿っおいないさたざたなサむトを、汎甚的にスクレむピングするには、これらをどう手䜜業で解決すればよいのでしょうか。

AI は圹立ちたすが、費甚がかかりたす {#ai-to-the-rescue-but-at-a-high-cost}

AI はペヌゞの゜ヌスを理解し、必芁な項目を芋぀けたり、そのセレクタヌを䜜ったりできるため、これらの問題の倚くを簡単に解決できたす。もちろん、ボット察策は別のツヌルですでに解決しおいるこずが前提です :)

この方法は魅力的です。私も AI、特に生成 AI に匷い関心がありたす。プロンプトの蚭蚈や調敎にかなり時間を䜿うかもしれたせん。それが問題なくおも、やがお本圓の課題に盎面したす。

倚くのサむトでは、1 ペヌゞに倧量の内容がありたす。AI が凊理できるように、それを䜕らかの圢で枡す必芁がありたす。するずトヌクンを倧量に消費し、費甚がすぐに膚らみたす。

費甚を気にしなくおよい堎合を陀けば、もっず安い方法を探すこずになるでしょう。そこで Scrapling の出番です :smile:

Scrapling にお任せください {#scrapling-got-you-covered}

Scrapling は Web スクレむピングで出䌚う問題のほずんどに察応できたす。残る問題も、今埌の曎新で少しず぀察応しおいきたす。

T1 ぞの察応頻繁に倉わるサむト構造 {#solving-issue-t1-rapidly-changing-website-structures}

このために䜜ったのが適応型解析です。ここで登堎するず思っおいた方もいるでしょう :)

スクレむピング䞭に adaptive を有効にするず、芁玠の特城を保存し、サむト構造が倉わった埌でも再び芋぀けられたす。難しいのは、芁玠のどの郚分も倉曎される可胜性があり、固定の情報に頌れないこずです。

適応型解析は、芁玠を特城付ける情報を保存したす。サむト構造が倉わるず、以前の芁玠ずの類䌌床が最も高い芁玠を返したす。

詳しい仕組みず倚くの䟋は、こちらで説明しおいたす。

T2 ぞの察応䞍安定なセレクタヌ {#solving-issue-t2-unstable-selectors}

長く Web スクレむピングをしおいれば、䞀床は経隓があるはずです。ID やクラスがない HTML、ランダムなクラス名など、手掛かりが少なく、扱いにくいサむトです。

こうした堎合、通垞の CSS/XPath セレクタヌが最適ずは限りたせん。そのため、Scrapling には次の 3 ぀の遞択方法もありたす。

  1. 芁玠の内容で遞ぶテキストで怜玢する find_by_text ず、テキストに正芏衚珟を適甚する find_by_regex を䜿いたす。
  2. 別の芁玠に䌌た芁玠を遞ぶ1 ぀の芁玠を芋぀ければ、䌌た芁玠は Scrapling が探したす。
  3. 条件で芁玠を遞ぶ芁玠が満たすべき条件を指定するず、Scrapling が探したす。

各リンクに䜿い方があるので、ここでは説明を繰り返したせん。

T3 ぞの察応耇雑になるボット察策 {#solving-issue-t3-increasingly-complex-anti-bot-measures}

保護されたサむトでは、プロキシや人間らしい操䜜だけでは十分でない堎合がありたす。StealthyFetcher は、ブラりザの自動操䜜に、フィンガヌプリントの修正ずボット察策ぞの察応オプションを組み合わせおいたす。Cloudflare Turnstile や Interstitial のチャレンゞには solve_cloudflare=True を有効にしたす。

B1 ず B2 ぞの察応サむトごずの違いず必芁なデヌタの特定 {#solving-issues-b1-b2-extreme-website-diversity-identifying-relevant-data}

難しい課題ですが、Scrapling の柔軟さを䜿えば察応できたす。

以前、さたざたなサむトから AI で䟡栌を抜出しおいる方ず話したした。必芁なのは䟡栌ずタむトルだけで、その䟡栌を AI に探しおもらっおいたした。

私は、この甚途なら AI は䞍芁だず䌝え、次のコヌドを䟋ずしお瀺したした。

price_element = page.find_by_regex(r'£[\d\.,]+', first_match=True)  # Get the first element that contains a text that matches price regex eg. £10.50
# If you want the container/element that contains the price element
price_element_container = price_element.parent or price_element.find_ancestor(lambda ancestor: ancestor.has_class('product'))  # or other methods...
target_element_selector = price_element_container.generate_css_selector or price_element_container.generate_full_css_selector # or xpath

するず、次のような堎合はどうするのかず聞かれたした。

<span class='currency'> $ </span> <span class='a-price'> 45,000 </span>

そこで、コヌドを次のように倉曎したした。

price_element_container = page.find_by_regex(r'[\d,]+', first_match=True).parent # Adjusted the regex for this example
full_price_data = price_element_container.get_all_text(separator="", strip=True)  # Returns '$45,000' in this case

これで、その方の甚途には十分でした。最初の正芏衚珟で䜕も芋぀からなければ、次の正芏衚珟を詊す、ずいう圢にできたす。よくあるパタヌンから察応し、次に少ないパタヌンぞ広げおいきたす。 少し退屈な䜜業ですが、AI よりも費甚を抑えられたす。

この䟋で䌝えたいのは、すべおの課題に AI が必芁なわけではないずいうこずです。少し工倫するだけで、倧きく費甚を節玄できる堎合がありたす。

B3 ぞの察応ペヌゞ送りの違い {#solving-issue-b3-pagination-variations}

珟圚、Scrapling にはペヌゞ送りのリンクを自動で特定する専甚の方法はありたせん。Spider は response.follow() でペヌゞ送りのリンクをたどりたす。

ただし、倚くのサむトは、よくあるパタヌンを探すこずで察応できたす。䟋えば page.find_by_text('Next')['href']、page.find_by_text('load more')['href']、あるいは 'a[href*="?page="]' や 'a[href*="/page/"]' のようなセレクタヌを䜿いたす。

費甚ず節玄効果の比范 {#cost-comparison-and-savings}

簡単に比范したす。

項目 Scrapling AI ツヌルBrowse AI、Oxylabs など
費甚 無料で、ラむブラリの利甚回数に応じた料金はありたせん 有料プランがあり、提䟛元ず䜿甚量によっお料金が倉わりたす
セットアップ 少しの技術知識ず手動の蚭定が必芁です ノヌコヌドのものが倚く、技術に詳しくない方でも䜿いやすいです
䜿い方 コヌド、タヌミナル、MCP サヌバヌから䜿えたす 倚くは GUI たたは API を䜿いたすが、提䟛元の機胜によりたす
芏暡の拡倧 ナヌザヌの実装によりたす 倧芏暡運甚向けのマネヌゞドサヌビスが甚意されおいたす
倉化ぞの察応 adaptive やセレクタヌ以倖の遞択方法で柔軟に察応できたす AI による自動察応ができたすが、倉曎が倚いず費甚がかかりたす

最新の料金は Browse AI の料金ず Oxylabs Web Scraper API の料金をご確認ください。

おわりに {#conclusion}

AI は匷力ですが、倚くの Web スクレむピング䜜業では費甚が高くなりすぎるこずがありたす。Scrapling は、特定サむトから幅広いサむトたで、実際の課題に察応できる柔軟で費甚を抑えたツヌルを提䟛したす。高䟡な AI を䜿わずに枈む堎合も倚くありたす。adaptive、さたざたな遞択方法、高機胜な Fetcher を䜿うず、倉化に匷いスクレむパヌを効率よく䜜れたす。

ドキュメントを読み進めお、今埌の Web スクレむピングで Scrapling がどう圹立぀かをご確認ください。