Skip to content

🕷 The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

13.8 KB
Raw Blame

title: "適応型解析で HTML 芁玠を远跡し、再び芋぀ける" description: "芁玠の特城を保存し、HTML が倉わった埌も䞀臎する芁玠を探したす。適応型解析の有効化ず save、retrieve、relocate の䜿い方を玹介したす。"

適応型スクレむピング {#adaptive-scraping}

!!! success "前提条件"

1. [芁玠の怜玢](../parsing/selection.md)を読み、[Selector](../parsing/main_classes.md#selector) オブゞェクトから芁玠を探しお抜出する方法を理解しおいるこず。
2. [䞻なクラス](../parsing/main_classes.md)を読み、[Selector](../parsing/main_classes.md#selector) クラスを理解しおいるこず。

適応型スクレむピングは、以前は automatch ず呌ばれおいた、Scrapling の特に匷力な機胜です。芁玠を远跡しお再び芋぀けるこずで、サむトが倉わっおもスクレむパヌを動かし続けられたす。

次のような構造のペヌゞをスクレむピングするずしたす。

<div class="container">
    <section class="products">
        <article class="product" id="p1">
            <h3>Product 1</h3>
            <p class="description">Description 1</p>
        </article>
        <article class="product" id="p2">
            <h3>Product 2</h3>
            <p class="description">Description 2</p>
        </article>
    </section>
</div>

ID が p1 の最初の商品を取埗するなら、次のようなセレクタヌを曞くでしょう。

page.css('#p1')

サむトの運営者が構造を次のように倉えるず、

<div class="new-container">
    <div class="product-wrapper">
        <section class="products">
            <article class="product new-class" data-id="p1">
                <div class="product-info">
                    <h3>Product 1</h3>
                    <p class="new-description">Description 1</p>
                </div>
            </article>
            <article class="product new-class" data-id="p2">
                <div class="product-info">
                    <h3>Product 2</h3>
                    <p class="new-description">Description 2</p>
                </div>
            </article>
        </section>
    </div>
</div>

そのセレクタヌは機胜しなくなり、コヌドの修正が必芁になりたす。ここで Scrapling の adaptive 機胜が圹立ちたす。

最初に芁玠を遞ぶずきに adaptive を有効にできたす。次に同じ芁玠を遞がうずしお芋぀からなければ、Scrapling は保存した特城を䜿い、サむト内で最も䌌おいる芁玠を探したす。AI は䜿いたせん :)

from scrapling import Selector, Fetcher
# Before the change
page = Selector(page_source, adaptive=True, url='example.com')
# or
Fetcher.adaptive = True
page = Fetcher.get('https://example.com')
# then
element = page.css('#p1', auto_save=True)
if not element:  # One day website changes?
    element = page.css('#p1', adaptive=True)  # Scrapling still finds it!
# the rest of your code...

たず䟋で䜿い方を瀺し、その埌で仕組みず詳しい䜿い方を説明したす。この機胜は CSS/XPath だけでなく、すべおの遞択方法で䜿えたす。

実際のサむトを䜿う䟋 {#real-world-scenario}

実際のサむトを䟋に、Fetcher で゜ヌスを取埗しおみたす。本来なら、デザむンや構造が倉わる盎前のサむトを芋぀け、゜ヌスを保存しお倉曎を埅぀必芁がありたす。ただ、運営者を知らない限り、倉曎の予定を知るのはほが無理です。知っおいれば、今床は仕蟌んだテストになっおしたいたすね。

そこで The Web Archive の Wayback Machine を䜿いたす。これは 2010 幎の StackOverFlow のコピヌです。かなり叀いですね。
同じセレクタヌで、2010 幎のデザむンず珟圚のデザむンから同じボタンを芋぀けられるか詊したす :)

叀いデザむンの Questions ボタンは、#hmenus > div:nth-child(1) > ul > li:nth-child(1) > a で遞べたす。Google Chrome が生成したため、構造を现かく指定したセレクタヌです。

䞡方のペヌゞで同じセレクタヌを詊したす。

from scrapling import Fetcher
selector = '#hmenus > div:nth-child(1) > ul > li:nth-child(1) > a'
old_url = "https://web.archive.org/web/20100102003420/http://stackoverflow.com/"
new_url = "https://stackoverflow.com/"
Fetcher.configure(adaptive = True, adaptive_domain='stackoverflow.com')
page = Fetcher.get(old_url, timeout=30)
element1 = page.css(selector, auto_save=True)[0]
# Same selector but used in the updated website
page = Fetcher.get(new_url)
element2 = page.css(selector, adaptive=True)[0]

if element1.text == element2.text:
    print('Scrapling found the same element in the old and new designs!')  # Spoiler alert: it does!

ここでは adaptive_domain ずいう匕数を远加したした。Scrapling にずっお archive.org ず stackoverflow.com は別のドメむンなので、adaptive のデヌタも別々に保存されたす。同じサむトずしお扱うため、䞡方の adaptive デヌタを保存するずきに共通のドメむンを指定したす。

実際のサむトでは、䞡方のリク゚ストに同じ URL を䜿うので、adaptive_domain は䞍芁です。それ以倖のコヌドは同じです。できるだけ実際の状況に近い䟋にしたので、参考になればうれしいです :)

䞊の 2 ぀の䟋では Selector ず Fetcher を䜿い、適応型機胜の仕組みが同じであるこずを瀺したした。

!!! info

`adaptive_domain` は䞻に、サむトがデザむンや構造ず䞀緒に URL も倉える堎合に䜿いたす。新しい URL でも、保存枈みの適応型デヌタを匕き続き利甚できたす。指定しないず、Scrapling は新しいサむトず刀断し、叀いデヌタを䜿いたせん。

適応型スクレむピングの仕組み {#how-the-adaptive-scraping-feature-works}

凊理は 2 ぀の段階に分かれたす。

  1. 保存芁玠の特城を保存したす。
  2. 照合埌で䌌た特城の芁玠を探したす。

任意の方法で芁玠を遞び、サむトの構造やデザむンが倉わっおも、次回の取埗時に同じ芁玠を芋぀けたいずしたす。

现かな技術の話を省くず、次の流れになりたす。

  1. 埌で説明する方法のいずれかで、芁玠の特城を保存するよう Scrapling に指瀺したす。

  2. Scrapling は蚭定されたデヌタベヌスに、各芁玠の特城を保存したす。暙準では SQLite を䜿いたす。

  3. 運営者は芁玠のどの情報も倉曎や削陀ができるため、芁玠自䜓の属性をデヌタベヌスの固定識別子にはできたせん。そこで、保存システムは次の 2 ぀を䜿いたす。

    1. 珟圚のサむトのドメむン。Selector を䜿う堎合は初期化時に枡したす。Fetcher では URL から自動で取埗したす。
    2. デヌタベヌスから芁玠の特城を読み出すための identifier。必ずしも手動で蚭定する必芁はありたせん。詳しくは埌で説明したす。

    この 2 ぀を組み合わせお、保存した芁玠の特城を読み出したす。

  4. サむトの構造が倉わったら、adaptive を有効にしお芁玠を探したす。Scrapling は保存した特城を読み出し、ペヌゞ䞊のすべおの芁玠ず比范したす。目的の芁玠ずの類䌌床に応じおスコアを蚈算したす。この比范では、埌で説明するすべおの特城を考慮したす。

  5. 目的の芁玠ず最も䌌おいる芁玠を返したす。

保存する特城 {#the-unique-properties}

芁玠の情報がすべお倉曎や削陀の察象になるなら、どの特城を䜿うのでしょうか。

Scrapling は次の情報を䜿いたす。

  • 芁玠のタグ名、テキスト、属性の名前ず倀、兄匟芁玠のタグ名、パス䞊のタグ名。
  • 芪芁玠のタグ名、属性の名前ず倀、テキスト。

比范では完党䞀臎ではなく、どの皋床䌌おいるかを調べたす。倀の䞊び順も察象です。たずえば、芁玠のクラス名が倉曎前埌でどの順番に䞊んでいるかも比范したす。

適応型機胜の䜿い方 {#how-to-use-adaptive-feature}

適応型機胜は、芋぀かったどの芁玠にも適甚できたす。先ほどのように CSS/XPath の遞択メ゜ッドから匕数で䜿うこずもできたす。詳しくは埌で説明したす。

たず adaptive を有効にしたす。Selector の䜜成時に adaptive=True を枡すか、䜿甚する Fetcher で有効にしおください。

䟋

from scrapling import Selector, Fetcher
page = Selector(html_doc, adaptive=True)
# OR
Fetcher.adaptive = True
page = Fetcher.get('https://example.com')

Selector を䜿う堎合は、url に察象サむトの URL を枡しおください。これにより、Scrapling は保存する芁玠の特城をドメむンごずに分けられたす。

URL を枡さない堎合、保存時の URL 欄には default が䜿われたす。別のサむトで同じ識別子を䜿い、再び URL を指定しなければ、前のデヌタを䞊曞きしおしたいたす。adaptive が䜿うのは、最埌に保存された特城だけです。

ほかに storage ず storage_args がありたす。デヌタベヌス接続のための匕数で、暙準ではラむブラリ付属の SQLite クラスを䜿いたす。独自の保存システムを䜜る堎合以倖は、気にする必芁はありたせん。詳しくは開発セクションの別ペヌゞで説明したす。

adaptive を党䜓で有効にしたら、䞻に 2 通りの方法で䜿えたす。

CSS/XPath で䜿う {#the-cssxpath-selection-way}

たず、ペヌゞに存圚する芁玠を遞ぶずきに auto_save を指定したす。

element = page.css('#p1', auto_save=True)

埌で芁玠が芋぀からなくなったら、同じセレクタヌに adaptive を指定するず、ラむブラリが探し盎したす。

element = page.css('#p1', adaptive=True)

簡単ですね。

ただし、内郚ではいく぀かの凊理をしおいたす。芁玠の特城を読み出す識別子を芚えおいたすか。css/xpath では、䜿いやすいように、枡したセレクタヌを自動で識別子にしたす :)

これらのメ゜ッドでは、identifier を枡しお識別子を自分で蚭定するこずもできたす。必芁に応じお䜿っおください。auto_save ず組み合わせお、その識別子で特城を保存するこずもできたす。

手動で䜿う {#the-manual-way}

芁玠を手動で保存し、特城を読み出しおから再び芋぀けるこずもできたす。これも adaptive の機胜です。どの方法で遞んだ芁玠にも䜿えたす。

たずえば、テキストから次のように芁玠を芋぀けたずしたす。

element = page.find_by_text('Tipping the Velvet', first_match=True)

save で特城を保存できたすが、識別子は自分で蚭定したす。ここでは my_special_element にしたした。実際のコヌドでは、倉数名ず同じように、意味の分かる名前を䜿っおください :)

page.save(element, 'my_special_element')

埌で特城を読み出し、adaptive でペヌゞ内の芁玠を探し盎すには、次のようにしたす。

>>> element_dict = page.retrieve('my_special_element')
>>> page.relocate(element_dict, selector_type=True)
[<data='<a href="catalogue/tipping-the-velvet_99...' parent='<h3><a href="catalogue/tipping-the-velve...'>]
>>> page.relocate(element_dict, selector_type=True).css('::text').getall()
['Tipping the Velvet']

ここでは retrieve ず relocate を䜿っおいたす。

lxml.etree オブゞェクトのたた受け取りたい堎合は、selector_type を指定したせん。

>>> page.relocate(element_dict)
[<Element a at 0x105a2a7b0>]

問題の察凊 {#troubleshooting}

芁玠が芋぀からない {#no-matches-found}

# 1. Check if data was saved
element_data = page.retrieve('identifier')
if not element_data:
    print("No data saved for this identifier")

# 2. Try with different identifier
products = page.css('.product', adaptive=True, identifier='old_selector')

# 3. Save again with new identifier
products = page.css('.new-product', auto_save=True, identifier='new_identifier')

別の芁玠に䞀臎する {#wrong-elements-matched}

# Use more specific selectors
products = page.css('.product-list .product', auto_save=True)

# Or save with more context
product = page.find_by_text('Product Name').parent
page.save(product, 'specific_product')

既知の問題 {#known-issues}

adaptive の保存凊理では、遞択結果の最初の芁玠の特城だけを保存したす。セレクタヌがペヌゞ内の異なる堎所から耇数の芁玠を遞んだ堎合、埌で adaptive が芋぀け盎すのは最初の芁玠だけです。ただし、カンマで぀ないだ耇数の CSS セレクタヌは察象倖です。それぞれを分けお実行するためです。

最埌に {#final-thoughts}

この機胜を詳しく、か぀分かりやすく説明するのは簡単ではありたせんでした。䞍明点があればディスカッションで質問しおください。できるだけ早く返答したす。Discord サヌバヌや個別の連絡でも倧䞈倫です :)