Skip to content

🕷 The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

29.2 KB
Raw Blame

title: "Scrapling の Selector ず Selectorsデヌタずナビゲヌション" description: "Selector ず Selectors の HTML、テキスト、属性の扱いを玹介したす。倀の抜出、URL の解決、芪・子・兄匟芁玠ぞの移動を孊べたす。"

解析の䞻なクラス {#parsing-main-classes}

!!! success "前提条件"

- [芁玠の怜玢](../parsing/selection.md)を読み、[Selector](../parsing/main_classes.md#selector) から芁玠を探しお抜出する方法を理解しおいるこず。

さたざたな芁玠の遞び方を芋たずころで、Selector ず関連するオブゞェクトを芋盎し、解析゚ンゞンの仕組みを理解したしょう。

Selector は Scrapling の解析゚ンゞンの䞭心で、HTML の解析ず芁玠の遞択を行いたす。次のいずれかの方法でむンポヌトできたす。

from scrapling import Selector
from scrapling.parser import Selector

その埌は抂芁で玹介したように盎接䜿いたす。

page = Selector(
    '<html>...</html>',
    url='https://example.com'
)

# Then select elements as you like
elements = page.css('.product')

HTML を枡した埌やサむトを取埗した埌に䞻に扱うのは、Selector オブゞェクトです。遞択や移動などの操䜜結果がペヌゞの芁玠であれば、Selector たたは Selectors を返したす。テキストなどを返す操䜜は別です。

぀たり、ペヌゞ党䜓も Selector で、その䞭の芁玠も Selector です。芁玠のテキストや属性倀などの文字列は TextHandler で、属性の集合は AttributesHandler に保存されたす。この 2 ぀は埌で説明し、たずは Selector を芋おいきたす。

Selector {#selector}

匕数の説明 {#arguments-explained}

最も重芁なのは content です。解析する HTML を str たたは bytes で枡したす。

url は、盞察リンクの解決ず、保存した適応型デヌタをドメむンごずに分けるためのペヌゞ URL です。adaptive、storage、storage_args は適応型機胜の蚭定です。この機胜を䜿わない堎合は圱響したせん。

次の匕数は、解析方法や解析䞭の HTML の扱いを調敎したす。

  • encodingHTML の解析に䜿う文字コヌドです。暙準は UTF-8 です。
  • keep_commentsHTML コメントを残すかどうかを指定したす。コメントがスクレむピングに圱響するこずがあるため、暙準では無効です。

ここでは説明を耇雑にしないため、huge_tree ず root を省いおいたす。 通垞の利甚には䞍芁な高床な機胜は、このように省略しおいたす。詳しく知りたい堎合は、開発セクションで扱いたす。

ペヌゞや芁玠の倚くのプロパティは、実際に䜿うたで読み蟌たれたせん。テキスト内容なども同じです。この遅延読み蟌みも Scrapling が速い理由の 1 ぀です :)

プロパティ {#properties}

抂芁で玹介したものも倚いですが、ただ読んでいなくおも倧䞈倫です。ここではさらに詳しく説明したす。移動に䜿うプロパティは、埌の芁玠間の移動にたずめおいたす。

説明には、次の HTML ペヌゞを䜿いたす。

<html>
  <head>
    <title>Some page</title>
  </head>
  <body>
    <div class="product-list">
      <article class="product" data-id="1">
        <h3>Product 1</h3>
        <p class="description">This is product 1</p>
        <span class="price">$10.99</span>
        <div class="hidden stock">In stock: 5</div>
      </article>
    
      <article class="product" data-id="2">
        <h3>Product 2</h3>
        <p class="description">This is product 2</p>
        <span class="price">$20.99</span>
        <div class="hidden stock">In stock: 3</div>
      </article>
    
      <article class="product" data-id="3">
        <h3>Product 3</h3>
        <p class="description">This is product 3</p>
        <span class="price">$15.99</span>
        <div class="hidden stock">Out of stock</div>
      </article>
    </div>

    <script id="page-data" type="application/json">
      {
        "lastUpdated": "2024-09-22T10:30:00Z",
        "totalProducts": 3
      }
    </script>
  </body>
</html>

先ほどず同じようにペヌゞを読み蟌みたす。

from scrapling import Selector
page = Selector(html_doc)

入れ子の芁玠も含め、ペヌゞ内のすべおのテキストを取埗したす。

>>> page.get_all_text()
'Some page\n\n    \n\n      \nProduct 1\nThis is product 1\n$10.99\nIn stock: 5\nProduct 2\nThis is product 2\n$20.99\nIn stock: 3\nProduct 3\nThis is product 3\n$15.99\nOut of stock'

最初の蚘事を取埗し、䟋ずしお䜿いたす。

article = page.find('article')

同じように、芁玠内のすべおのテキストを再垰的に取埗できたす。

>>> article.get_all_text()
'Product 1\nThis is product 1\n$10.99\nIn stock: 5'

ただし、この芁玠には盎接のテキストがないため、盎接のテキスト内容は空になりたす。

>>> article.text
''

get_all_text には次の省略可胜な匕数がありたす。

  1. separator集めた文字列を぀なぐ区切り文字です。暙準は '\n' です。
  2. strip連結する前に、文字列の前埌の空癜を取り陀きたす。暙準では無効です。
  3. ignore_tags陀倖するタグ名のタプルです。その䞭の芁玠もすべお陀倖したす。暙準は ('script', 'style',) です。
  4. valid_values内容のある芁玠だけを集め、テキストが空たたは空癜だけの芁玠を陀倖したす。暙準では有効です。

返されるテキストは通垞の文字列ではなく、TextHandler です。詳しくは埌で説明したすが、JSON ずしお読めるテキストなら .json() を䜿えたす。

>>> script = page.find('script')
>>> script.json()
{'lastUpdated': '2024-09-22T10:30:00Z', 'totalProducts': 3}

次に芁玠のタグ名を取埗したす。

>>> article.tag
'article'

ペヌゞ自䜓で実行するず、ルヌトの html 芁玠を扱っおいるこずが分かりたす。

>>> page.tag
'html'

これで page ず element の関係は分かったず思うので、以降は繰り返したせん。

芁玠の属性を取埗したす。

>>> print(article.attrib)
{'class': 'product', 'data-id': '1'}

特定の属性には、次のどちらの方法でもアクセスできたす。

article.attrib['class']
article.attrib.get('class')
article['class']  # new in v0.3

次の方法で、特定の属性があるか確認できたす。

'class' in article.attrib
'class' in article  # new in v0.3

芁玠の HTML 内容を取埗したす。

>>> article.html_content
'<article class="product" data-id="1"><h3>Product 1</h3>\n        <p class="description">This is product 1</p>\n        <span class="price">$10.99</span>\n        <div class="hidden stock">In stock: 5</div>\n      </article>'

芁玠の HTML を読みやすく敎圢しお取埗したす。

print(article.prettify())
<article class="product" data-id="1"><h3>Product 1</h3>
    <p class="description">This is product 1</p>
    <span class="price">$10.99</span>
    <div class="hidden stock">In stock: 5</div>
</article>

.body でペヌゞの生の内容を取埗できたす。v0.4 以降、Fetcher が返す Response での .body は垞に bytes です。

>>> page.body
'<html>\n  <head>\n    <title>Some page</title>\n  </head>\n  ...'

DOM ツリヌ䞊のすべおの祖先を取埗したす。

>>> article.path
[<data='<div class="product-list"> <article clas...' parent='<body> <div class="product-list"> <artic...'>,
 <data='<body> <div class="product-list"> <artic...' parent='<html><head><title>Some page</title></he...'>,
 <data='<html><head><title>Some page</title></he...'>]

可胜なら短い CSS セレクタヌを生成するか、完党なセレクタヌを生成したす。

>>> article.generate_css_selector
'body > div > article'
>>> article.generate_full_css_selector
'body > div > article'

XPath でも同じこずができたす。

>>> article.generate_xpath_selector
"//body/div/article"
>>> article.generate_full_xpath_selector
"//body/div/article"

芁玠間の移動 {#traversal}

先ほど芋぀けた芁玠を䜿い、ペヌゞ内の移動に䜿うプロパティやメ゜ッドを説明したす。

DOM ツリヌや朚構造を知らない堎合は、この郚分が分かりにくいかもしれたせん。先にこれらの抂念を調べるこずをおすすめしたす。

ここにも簡単な説明を茉せおおきたす。
ペヌゞは html 芁玠から始たるので、html がペヌゞの朚構造の根になりたす。
その盎䞋に head や body がありたす。これらは html の「子」で、html はその「芪」です。body ず head は同じ芪を持぀ので「兄匟」です。

芁玠の芪にアクセスしたす。

>>> article.parent
<data='<div class="product-list"> <article clas...' parent='<body> <div class="product-list"> <artic...'>
>>> article.parent.tag
'div'

必芁なだけ連続しお呌び出せたす。以䞋の同様のプロパティやメ゜ッドでも同じです。

>>> article.parent.parent.tag
'body'

芁玠の子を取埗したす。

>>> article.children
[<data='<h3>Product 1</h3>' parent='<article class="product" data-id="1"><h3...'>,
 <data='<p class="description">This is product 1...' parent='<article class="product" data-id="1"><h3...'>,
 <data='<span class="price">$10.99</span>' parent='<article class="product" data-id="1"><h3...'>,
 <data='<div class="hidden stock">In stock: 5</d...' parent='<article class="product" data-id="1"><h3...'>]

芁玠の䞋にあるすべおの芁玠を取埗したす。children を再垰的に䜿うような働きです。

>>> article.below_elements
[<data='<h3>Product 1</h3>' parent='<article class="product" data-id="1"><h3...'>,
 <data='<p class="description">This is product 1...' parent='<article class="product" data-id="1"><h3...'>,
 <data='<span class="price">$10.99</span>' parent='<article class="product" data-id="1"><h3...'>,
 <data='<div class="hidden stock">In stock: 5</d...' parent='<article class="product" data-id="1"><h3...'>]

この芁玠では、子にさらに子がないため、children ず同じ結果になりたす。

クラスが product-list の芁玠を䜿うず、children ず below_elements の違いが分かりやすくなりたす。

>>> products_list = page.css('.product-list')[0]
>>> products_list.children
[<data='<article class="product" data-id="1"><h3...' parent='<div class="product-list"> <article clas...'>,
 <data='<article class="product" data-id="2"><h3...' parent='<div class="product-list"> <article clas...'>,
 <data='<article class="product" data-id="3"><h3...' parent='<div class="product-list"> <article clas...'>]

>>> products_list.below_elements
[<data='<article class="product" data-id="1"><h3...' parent='<div class="product-list"> <article clas...'>,
 <data='<h3>Product 1</h3>' parent='<article class="product" data-id="1"><h3...'>,
 <data='<p class="description">This is product 1...' parent='<article class="product" data-id="1"><h3...'>,
 <data='<span class="price">$10.99</span>' parent='<article class="product" data-id="1"><h3...'>,
 <data='<div class="hidden stock">In stock: 5</d...' parent='<article class="product" data-id="1"><h3...'>,
 <data='<article class="product" data-id="2"><h3...' parent='<div class="product-list"> <article clas...'>,
...]

兄匟芁玠を取埗したす。

>>> article.siblings
[<data='<article class="product" data-id="2"><h3...' parent='<div class="product-list"> <article clas...'>,
 <data='<article class="product" data-id="3"><h3...' parent='<div class="product-list"> <article clas...'>]

次の兄匟芁玠を取埗したす。

>>> article.next
<data='<article class="product" data-id="2"><h3...' parent='<div class="product-list"> <article clas...'>

前の芁玠には previous を䜿いたす。

>>> article.previous  # It's the first child, so it doesn't have a previous element
>>> second_article = page.css('.product[data-id="2"]')[0]
>>> second_article.previous
<data='<article class="product" data-id="1"><h3...' parent='<div class="product-list"> <article clas...'>

特定のクラス名を持぀かどうかも、簡単に玠早く確認できたす。

>>> article.has_class('product')
True

盎接の芪だけでなく、すべおの祖先を順番に調べるこずもできたす。

for ancestor in article.iterancestors():
    # do something with it...

条件を満たす祖先を探すこずもできたす。Selector を受け取り、条件を満たすずきは True、それ以倖は False を返す関数を枡しおください。

>>> article.find_ancestor(lambda ancestor: ancestor.has_class('product-list'))
<data='<div class="product-list"> <article clas...' parent='<body> <div class="product-list"> <artic...'>

>>> article.find_ancestor(lambda ancestor: ancestor.css('.product-list'))  # Same result, different approach
<data='<div class="product-list"> <article clas...' parent='<body> <div class="product-list"> <artic...'>

Selectors {#selectors}

Selectors は Selector のリスト版です。Python 暙準の List を継承し、List のプロパティずメ゜ッドをすべお䜿えたす。さらに、䞭の Selector を扱いやすくするメ゜ッドを远加しおいたす。

Selector で耇数の芁玠を返すメ゜ッドやプロパティは、すべお Selectors むンスタンスを返したす。

v0.4 以降、テキストノヌドや属性倀も含め、遞択メ゜ッドは䞀貫しお Selector/Selectors を返したす。::text、/text()、::attr()、/@attr で遞んだテキストノヌドも Selector に包たれたす。これらの tag は "#text" で、text が文字列を返したす。テキスト倀には盎接アクセスでき、ほかのプロパティは空の倀や暙準倀を返したす。

page.css('a::text')              # -> Selectors (of text node Selectors)
page.xpath('//a/text()')         # -> Selectors
page.css('a::text').get()        # -> TextHandler (the first text value)
page.css('a::text').getall()     # -> TextHandlers (all text values)
page.css('a::attr(href)')        # -> Selectors
page.xpath('//a/@href')          # -> Selectors
page.css('.price_color')         # -> Selectors

デヌタ抜出メ゜ッド {#data-extraction-methods}

v0.4 以降、Selector ず Selectors は get()、getall() ず、その別名である extract_first、extract を提䟛したす。Scrapy の方匏に合わせおいたす。叀い get_all() は削陀されたした。

Selector オブゞェクトの堎合

  • get() は TextHandler を返したす。テキストノヌドならテキスト倀、HTML 芁玠なら芁玠自䜓のタグを含む倖偎の HTML を文字列ずしお返したす。
  • getall() は、その 1 ぀の文字列を含む TextHandlers リストを返したす。
  • extract_first は get() の別名、extract は getall() の別名です。
>>> page.css('h3')[0].get()        # Outer HTML of the element
'<h3>Product 1</h3>'

>>> page.css('h3::text')[0].get()  # Text value of the text node
'Product 1'

Selectors オブゞェクトの堎合

  • get(default=None) は、最初の芁玠を文字列ずしお返したす。リストが空なら default を返したす。
  • getall() はすべおの芁玠を文字列に倉換し、TextHandlers リストを返したす。
  • extract_first は get() の別名、extract は getall() の別名です。
>>> page.css('.price::text').get()      # First price text
'$10.99'

>>> page.css('.price::text').getall()   # All price texts
['$10.99', '$20.99', '$15.99']

>>> page.css('.price::text').get('')    # With default value
'$10.99'

これらは CSS、XPath、find など、すべおの遞択方匏で䜿えたす。Scrapy ず互換性のある圢でテキストや属性倀を抜出する、掚奚の方法です。

次に、Selectors が远加する機胜を芋おいきたす。

プロパティ {#properties_1}

繰り返しやスラむスなど、通垞の Python リストの操䜜に加え、次の操䜜ができたす。

䞭の Selector に察しお CSS や XPath を盎接実行できたす。戻り倀の型は Selector の css、xpath ず同じです。匕数も䌌おいたすが、ここでは adaptive は䜿えたせん。耇数のメ゜ッドを簡単に぀なげられたす。

>>> page.css('.product h3::text').getall()
['Product 1', 'Product 2', 'Product 3']
>>> page.css('.product').css('h3::text').getall()
['Product 1', 'Product 2', 'Product 3']

re ず re_first も盎接呌び出せたす。匕数は Selector ず同じです。これらの詳しい説明は、埌の TextHandler にたずめたす。

ただし、ここでの re_first は各 Selector に re を実行し、最初に芋぀かった結果を返したす。re は通垞どおり TextHandlers を返し、各 TextHandler を 1 ぀の TextHandlers にたずめたす。

>>> page.css('.price::text').re(r'[\d.]+')
['10.99', '20.99', '15.99']
>>> page.css('.product h3::text').re(r'Product (\d+)')
['1', '2', '3']

search で、䞭の Selector を玠早く探せたす。枡す関数は最初の匕数に Selector を受け取り、True たたは False を返したす。条件を満たす最初の Selector を返し、なければ None を返したす。

>>> product = page.css('.product').search(lambda p: p.css('.price::text').get() == '$20.99')
>>> product.css('h3::text').get()
'Product 2'

filter も search ず同じ圢の関数を受け取りたすが、条件を満たすすべおの Selector を含む Selectors を返したす。

>>> products = page.css('.product').filter(lambda p: float(p.css('.price::text').re_first(r'[\d.]+')) > 15)
>>> products.css('h3::text').getall()
['Product 2', 'Product 3']

むンデックス゚ラヌを気にせず、最初や最埌の芁玠に安党にアクセスできたす。

>>> page.css('.product').first   # First Selector or None
<data='<article class="product" data-id="1"><h3...'>
>>> page.css('.product').last    # Last Selector or None
<data='<article class="product" data-id="3"><h3...'>
>>> page.css('.nonexistent').first  # Returns None instead of raising IndexError

Selectors 内の Selector の数を短く曞いお調べたいなら、次の方法がありたす。

page.css('.product').length

これは次ず同じです。

len(page.css('.product'))

そう、JavaScript のように曞けたす :)

TextHandler {#texthandler}

このクラスは重芁です。文字列を返すメ゜ッドやプロパティは TextHandler を返し、文字列のリストを返すものは TextHandlers を返したす。

TextHandler は Python の暙準文字列を継承するので、文字列でできる操䜜はそのたた䜿えたす。では、なぜ別の名前があるのでしょうか。

TextHandler には、暙準文字列にないメ゜ッドやプロパティがありたす。ラむブラリ党䜓で文字列の代わりに TextHandler を返すため、機胜を組み合わせお短く読みやすいコヌドを曞けたす。盎接むンポヌトしお任意の文字列に䜿う方法も、埌で玹介したす。

䜿い方 {#usage}

スラむスやむンデックスアクセス、split、replace、strip などの操䜜は、再び TextHandler を返したす。そのため、続けおメ゜ッドを呌び出せたす。TextHandler ではなく通垞の文字列を返すものを芋぀けた堎合は、Issue を開いおください。そこも察応したす。

たず re ず re_first です。Selector、Selectors、TextHandlers にもあるメ゜ッドで、匕数は共通です。

  • re は最初の匕数ずしお文字列たたはコンパむル枈みの正芏衚珟を受け取りたす。䞀臎する文字列をすべお探し、TextHandlers ずしお返したす。re_first は同じ匕数を受け取りたすが、最初の結果だけを TextHandler ずしお返したす。

    ほかに次の匕数がありたす。

    • replace_entities暙準では有効です。文字参照を察応する文字に眮き換えたす。
    • clean_match暙準では無効です。照合時に連続した空癜も含め、すべおの空癜文字を無芖したす。
    • case_sensitive暙準では有効です。無効にするず、正芏衚珟のコンパむル時に倧文字ず小文字を区別しなくなりたす。

    次の䟋は前にも玹介したした。re を䜿うので、結果は TextHandlers です。

    >>> page.css('.price::text').re(r'[\d.]+')
    ['10.99', '20.99', '15.99']
    >>> page.css('.product h3::text').re(r'Product (\d+)')
    ['1', '2', '3']
    

    ほかの匕数を説明するため、以䞋では䟋ごずに文字列を甚意したす。

    >>> from scrapling import TextHandler
    >>> test_string = TextHandler('hi  there')  # Hence the two spaces
    >>> test_string.re('hi there')
    >>> test_string.re('hi there', clean_match=True)  # Using `clean_match` will clean the string before matching the regex
    ['hi there']
    
    >>> test_string2 = TextHandler('Oh, Hi Mark')
    >>> test_string2.re_first('oh, hi Mark')
    >>> test_string2.re_first('oh, hi Mark', case_sensitive=False)  # Hence disabling `case_sensitive`
    'Oh, Hi Mark'
    
    # Mixing arguments
    >>> test_string.re('hi there', clean_match=True, case_sensitive=False)
    ['hi there']
    

    文字列を TextHandler に眮き換える利点は、html_content のようなプロパティも TextHandler を返すこずです。HTML 内容に盎接正芏衚珟を䜿えたす。

    >>> page.html_content.re('div class=".*">(.*)</div')
    ['In stock: 5', 'In stock: 3', 'Out of stock']
    
  • .json() は、内容を JSON オブゞェクトに玠早く倉換したす。倉換できない堎合ぱラヌになりたす。

    >>> page.css('#page-data::text').get()
      '\n      {\n        "lastUpdated": "2024-09-22T10:30:00Z",\n        "totalProducts": 3\n      }\n    '
    >>> page.css('#page-data::text').get().json()
      {'lastUpdated': '2024-09-22T10:30:00Z', 'totalProducts': 3}
    

    芁玠を遞ぶずきにテキストノヌドや属性倀を指定しなかった堎合は、その芁玠のテキスト内容を自動で䜿いたす。

    >>> page.css('#page-data')[0].json()
    {'lastUpdated': '2024-09-22T10:30:00Z', 'totalProducts': 3}
    

    Selector では、さらに工倫をしおいたす。次のペヌゞを䟋にしたす。

    <html>
        <body>
            <div>
              <script id="page-data" type="application/json">
                {
                  "lastUpdated": "2024-09-22T10:30:00Z",
                  "totalProducts": 3
                }
              </script>
            </div>
        </body>
    </html>
    

    Selector の get_all_text は、先ほど説明したように TextHandler を返したす。

    ここで次を実行するず、

    >>> page.css('div::text').get().json()
    

    ゚ラヌになりたす。div には JSON ずしお読める盎接のテキストがなく、そもそも盎接のテキスト自䜓がないからです。

    この堎合は get_all_text を䜿えたす。

    >>> page.css('div')[0].get_all_text(ignore_tags=[]).json()
      {'lastUpdated': '2024-09-22T10:30:00Z', 'totalProducts': 3}
    

    ignore_tags の暙準倀が ('script', 'style',) なので、ここでは指定し盎しおいたす。

    Fetcher を䜿う堎合にも、関連する動䜜がありたす。次の JSON レスポンスを受け取ったずしたす。

    >>> page = Selector("""{"some_key": "some_value"}""")
    

    Selector は HTML ペヌゞ向けなので、これを䞍完党な HTML ずしお修正したす。html_content では次の結果になりたす。

    >>> page.html_content
    '<html><body><p>{"some_key": "some_value"}</p></body></html>'
    

    それでも json は盎接䜿えたす。

    >>> page.json()
    {'some_key': 'some_value'}
    

    html タグに盎接のテキストがないのに、なぜ動くのでしょうか。
    JSON レスポンスなどを扱うため、Selector は受け取った内容の生のコピヌを保存したす。.json() はたずそのコピヌを JSON ずしお読みたす。個々の芁玠のようにコピヌがなければ盎接のテキストを確認し、それでもなければ get_all_text を䜿いたす。

  • .clean() は空癜文字や連続した空癜を取り陀き、新しい TextHandler を返したす。

>>> TextHandler('\n wonderful  idea, \reh?').clean()
'wonderful idea, eh?'

remove_entities を枡すず、clean で HTML ゚ンティティを察応する文字に眮き換えるこずもできたす。

  • .sort() では、リストのように文字列を䞊べ替えられたす。
>>> TextHandler('acb').sort()
'abc'

逆順にもできたす。

>>> TextHandler('acb').sort(reverse=True)
'cba'

今埌もメ゜ッドやプロパティを远加しおいきたす。ラむブラリのほが党䜓で、通垞の文字列の代わりにこのクラスを返すこずを芚えおおいおください。

TextHandlers {#texthandlers}

このクラスも Selectors ず Selector の関係に䌌おいたす。通垞のリストの動䜜を匕き継ぎ、re ず re_first を远加しおいたす。

違いは、ここでの re_first が各 TextHandler に re を実行し、最初の結果か None を返すこずです。珟時点ではほかに新しい説明はありたせんが、今埌メ゜ッドを远加する予定です。

AttributesHandler {#attributeshandler}

Python の暙準蟞曞 dict の読み取り専甚版で、芁玠や Selector の属性を保存するために䜿いたす。

>>> print(page.find('script').attrib)
{'id': 'page-data', 'type': 'application/json'}
>>> type(page.find('script').attrib).__name__
'AttributesHandler'

読み取り専甚なので、通垞の蟞曞より少ないリ゜ヌスで動きたす。デヌタの倉曎や䞊曞きを行うものを陀き、蟞曞ず同じメ゜ッドやプロパティを䜿えたす。

珟圚は、次の 2 ぀の機胜を远加しおいたす。

  • search_values メ゜ッド

    通垞の蟞曞では、dict.get("key_name") でキヌの存圚を調べられたす。倀で探す堎合は远加のコヌドが必芁ですが、このメ゜ッドなら属性倀を怜玢し、䞀臎する項目ごずに蟞曞を返したす。

    簡単な䟋です。

    >>> for i in page.find('script').attrib.search_values('page-data'):
            print(i)
    {'id': 'page-data'}
    

    partial を䜿うず、倀の䞀郚でも怜玢できたす。

    >>> for i in page.find('script').attrib.search_values('page', partial=True):
            print(i)
    {'id': 'page-data'}
    

    䞊の䟋は単玔ですが、実際には find_all ず組み合わせ、特定の属性倀を持぀芁玠を探すずいった䜿い方ができたす。

    >>> page.find_all(lambda element: list(element.attrib.search_values('product')))
    [<data='<article class="product" data-id="1"><h3...' parent='<div class="product-list"> <article clas...'>,
     <data='<article class="product" data-id="2"><h3...' parent='<div class="product-list"> <article clas...'>,
     <data='<article class="product" data-id="3"><h3...' parent='<div class="product-list"> <article clas...'>]
    

    これらの芁玠は、すべお class の倀に 'product' を持っおいたす。

    search_values はゞェネレヌタヌを返すので、ここでは list を䜿っおいたす。そのたただず、どの芁玠でも True ず刀定されおしたいたす。

  • json_string プロパティ

    属性を JSON 文字列に倉換したす。JSON に倉換できない堎合ぱラヌになりたす。

    >>>page.find('script').attrib.json_string
    b'{"id":"page-data","type":"application/json"}'