๐ท๏ธ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev
title: "Scrapling์ Selector์ Selectors: ๋ฐ์ดํฐ์ ํ์" description: "Selector์ Selectors๊ฐ HTML, ํ ์คํธ, ์์ฑ์ ์ ์ฅํ๋ ๋ฐฉ์์ ์์๋ด ๋๋ค. ๊ฐ์ ์ถ์ถํ๊ณ URL์ ์์ฑํ๋ฉฐ ๋ถ๋ชจ, ์์, ํ์ ์์๋ฅผ ํ์ํ์ธ์."
ํ์ฑ์ ์ฃผ์ ํด๋์ค {#parsing-main-classes}
!!! success "์ฌ์ ์ค๋น"
- [์์ ์ฐพ๊ธฐ](../parsing/selection.md)๋ฅผ ์ฝ๊ณ [Selector](../parsing/main_classes.md#selector) ๊ฐ์ฒด์์ ์์๋ฅผ ์ฐพ๊ณ ์ถ์ถํ๋ ๋ฐฉ๋ฒ์ ์์๋์ธ์.
Scrapling์์ ์์๋ฅผ ์ ํํ๋ ์ฌ๋ฌ ๋ฐฉ๋ฒ์ ์ดํด๋ดค์ต๋๋ค. ์ด์ Selector ํด๋์ค์ ๊ด๋ จ ๊ฐ์ฒด๋ฅผ ์ดํด๋ณด๋ฉฐ ํ์๊ฐ ์ด๋ป๊ฒ ์๋ํ๋์ง ์์๋ณด๊ฒ ์ต๋๋ค.
Selector๋ HTML ํ์ฑ๊ณผ ์์ ์ ํ์ ๋ด๋นํ๋ Scrapling์ ํต์ฌ ํด๋์ค์ ๋๋ค. ๋ค์ ์ค ์ด๋ ๋ฐฉ์์ผ๋ก๋ ๊ฐ์ ธ์ฌ ์ ์์ต๋๋ค.
from scrapling import Selector
from scrapling.parser import Selector
๊ทธ๋ฐ ๋ค์ ๊ฐ์์์ ๋ฐฐ์ด ๊ฒ์ฒ๋ผ ๋ฐ๋ก ์ฌ์ฉํฉ๋๋ค.
page = Selector(
'<html>...</html>',
url='https://example.com'
)
# Then select elements as you like
elements = page.css('.product')
HTML์ ์ ๋ฌํ๊ฑฐ๋ ์ฌ์ดํธ๋ฅผ ๊ฐ์ ธ์จ ๋ค ์ฃผ๋ก ๋ค๋ฃจ๋ ๊ฐ์ฒด๋ Selector์ ๋๋ค. ์ ํ์ด๋ ํ์ ๋ฑ์ ์์ ๊ฒฐ๊ณผ๊ฐ ํ ์คํธ๊ฐ ์๋๋ผ ํ์ด์ง์ ์์๋ผ๋ฉด, Selector ๋๋ Selectors ๊ฐ์ฒด๋ฅผ ๋ฐํํฉ๋๋ค.
ํ์ด์ง ์์ฒด๋ Selector ๊ฐ์ฒด์ด๊ณ , ๊ทธ ์์ ์์๋ค๋ Selector ๊ฐ์ฒด์ ๋๋ค. ์์์ ๋ด์ฉ์ด๋ ์์ฑ๊ฐ ๊ฐ์ ํ ์คํธ๋ TextHandler ๊ฐ์ฒด์ด๋ฉฐ, ๊ฐ ์์์ ์์ฑ์ AttributesHandler์ ์ ์ฅ๋ฉ๋๋ค. ์ด ๋ ๊ฐ์ฒด๋ ๋ค์์ ์ค๋ช ํ๊ณ , ๋จผ์ Selector๋ฅผ ์ดํด๋ณด๊ฒ ์ต๋๋ค.
Selector {#selector}
์ธ์ ์ค๋ช {#arguments-explained}
๊ฐ์ฅ ์ค์ํ ์ธ์๋ content์
๋๋ค. ํ์ฑํ HTML์ str ๋๋ bytes๋ก ์ ๋ฌํฉ๋๋ค.
url์ ์๋ ๋งํฌ๋ฅผ ์์ฑํ๊ณ ์ ์ฅ๋ ์ ์ํ ๋ฐ์ดํฐ๋ฅผ ๋๋ฉ์ธ๋ณ๋ก ๋๋ ๋ ์ฌ์ฉํ๋ ํ์ด์ง URL์
๋๋ค. adaptive, storage, storage_args๋ ์ ์ํ ๊ธฐ๋ฅ์ ์ค์ ์ด๋ฉฐ, ์ด ๊ธฐ๋ฅ์ ์ฌ์ฉํ์ง ์์ผ๋ฉด ์ํฅ์ ์ฃผ์ง ์์ต๋๋ค.
HTML ํ์ฑ๊ณผ ์ฒ๋ฆฌ ๋ฐฉ์์ ๋ฐ๊พธ๋ ์ธ์๋ ์์ต๋๋ค.
- encoding: HTML์ ํ์ฑํ ๋ ์ฌ์ฉํ ์ธ์ฝ๋ฉ์
๋๋ค. ๊ธฐ๋ณธ๊ฐ์
UTF-8์ ๋๋ค. - keep_comments: ํ์ฑํ ๋ HTML ์ฃผ์์ ์ ์งํ ์ง ์ ํฉ๋๋ค. ์ฃผ์์ด ์คํฌ๋ํ์ ๋ฌธ์ ๋ฅผ ์ผ์ผํฌ ์ ์์ด ๊ธฐ๋ณธ์ ์ผ๋ก ๊บผ์ ธ ์์ต๋๋ค.
์ค๋ช
์ ๋๋ฌด ๋ณต์กํ๊ฒ ๋ง๋ค์ง ์๊ธฐ ์ํด huge_tree์ root๋ ์ฌ๊ธฐ์ ๋ค๋ฃจ์ง ์์ต๋๋ค.
๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ์ฉํ๊ธฐ ์ํด ๊ผญ ์ ํ์๋ ์๋ ๊ณ ๊ธ ๊ธฐ๋ฅ์ ์ข
์ข
์ด๋ ๊ฒ ์๋ตํฉ๋๋ค. ์์ธํ ์๊ณ ์ถ๋ค๋ฉด ๊ฐ๋ฐ ์น์
์ ์ฐธ๊ณ ํ์ธ์.
ํ์ด์ง์ ์์์ ์์ฑ์ ๋๋ถ๋ถ ํ์ํ ๋๋ง ๊ณ์ฐํฉ๋๋ค. ์๋ฅผ ๋ค์ด ํ ์คํธ ๋ด์ฉ์ ์ค์ ๋ก ์ ๊ทผํ ๋ ์ด๊ธฐํํฉ๋๋ค. ์ด๊ฒ๋ Scrapling์ด ๋น ๋ฅธ ์ด์ ์ค ํ๋์ ๋๋ค :)
์์ฑ {#properties}
๊ฐ์์์ ์ด๋ฏธ ๋ณธ ๋ด์ฉ๋ ์์ง๋ง, ์ฌ๊ธฐ์๋ ๋ ์์ธํ ์ฌ์ฉ๋ฒ์ ์ดํด๋ด ๋๋ค. ์์ ์ฌ์ด๋ฅผ ์ด๋ํ๋ ์์ฑ์ ์๋ ํ์ ์น์ ์ ๋ฐ๋ก ์ ๋ฆฌํ์ต๋๋ค.
๋ค์ HTML ํ์ด์ง๋ฅผ ์๋ก ์ฌ์ฉํ๊ฒ ์ต๋๋ค.
<html>
<head>
<title>Some page</title>
</head>
<body>
<div class="product-list">
<article class="product" data-id="1">
<h3>Product 1</h3>
<p class="description">This is product 1</p>
<span class="price">$10.99</span>
<div class="hidden stock">In stock: 5</div>
</article>
<article class="product" data-id="2">
<h3>Product 2</h3>
<p class="description">This is product 2</p>
<span class="price">$20.99</span>
<div class="hidden stock">In stock: 3</div>
</article>
<article class="product" data-id="3">
<h3>Product 3</h3>
<p class="description">This is product 3</p>
<span class="price">$15.99</span>
<div class="hidden stock">Out of stock</div>
</article>
</div>
<script id="page-data" type="application/json">
{
"lastUpdated": "2024-09-22T10:30:00Z",
"totalProducts": 3
}
</script>
</body>
</html>
์์ ๋ณธ ๋ฐฉ๋ฒ์ผ๋ก ํ์ด์ง๋ฅผ ๋ถ๋ฌ์ต๋๋ค.
from scrapling import Selector
page = Selector(html_doc)
์ค์ฒฉ๋ ์์๊น์ง ํฌํจํด ํ์ด์ง์ ๋ชจ๋ ํ ์คํธ๋ฅผ ๊ฐ์ ธ์ต๋๋ค.
>>> page.get_all_text()
'Some page\n\n \n\n \nProduct 1\nThis is product 1\n$10.99\nIn stock: 5\nProduct 2\nThis is product 2\n$20.99\nIn stock: 3\nProduct 3\nThis is product 3\n$15.99\nOut of stock'
์ฒซ ๋ฒ์งธ article ์์๋ฅผ ๊ฐ์ ธ์ ์๋ก ์ฌ์ฉํ๊ฒ ์ต๋๋ค.
article = page.find('article')
๊ฐ์ ๋ฐฉ๋ฒ์ผ๋ก ์์ ์์ ๋ชจ๋ ํ ์คํธ๋ฅผ ๊ฐ์ ธ์ต๋๋ค.
>>> article.get_all_text()
'Product 1\nThis is product 1\n$10.99\nIn stock: 5'
ํ์ง๋ง ์์์ ์ง์ ๋ค์ด ์๋ ํ ์คํธ๋ง ์์ฒญํ๋ฉด ๋น ๊ฐ์ด ๋์ต๋๋ค. ์ HTML์์ ์ด ์์์๋ ์ง์ ์์ฑ๋ ํ ์คํธ๊ฐ ์๊ธฐ ๋๋ฌธ์ ๋๋ค.
>>> article.text
''
get_all_text์๋ ๋ค์๊ณผ ๊ฐ์ ์ ํ์ ์ธ์๊ฐ ์์ต๋๋ค.
- separator: ์ฐพ์ ๋ฌธ์์ด์ ํฉ์น ๋ ์ฌ์ฉํ๋ ๊ตฌ๋ถ์์ ๋๋ค. ๊ธฐ๋ณธ๊ฐ์ '\n'์ ๋๋ค.
- strip: ํฉ์น๊ธฐ ์ ์ ๊ฐ ๋ฌธ์์ด์ ์ ๋ ๊ณต๋ฐฑ์ ์ ๊ฑฐํฉ๋๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก ๊บผ์ ธ ์์ต๋๋ค.
- ignore_tags: ๊ฒฐ๊ณผ์์ ์ ์ธํ ํ๊ทธ ์ด๋ฆ์ ํํ์
๋๋ค. ํด๋น ํ๊ทธ ์์ ์ค์ฒฉ ์์๋ ์ ์ธํฉ๋๋ค. ๊ธฐ๋ณธ๊ฐ์
('script', 'style',)์ ๋๋ค. - valid_values: ๊ฐ์ด ์๋ ์์๋ง ์์งํฉ๋๋ค. ํ ์คํธ๊ฐ ๋น์ด ์๊ฑฐ๋ ๊ณต๋ฐฑ๋ง ์๋ ์์๋ ์ ์ธํฉ๋๋ค. ๊ธฐ๋ณธ์ ์ผ๋ก ์ผ์ ธ ์์ต๋๋ค.
์ฌ๊ธฐ์ ๋ฐํํ๋ ํ
์คํธ๋ ์ผ๋ฐ ๋ฌธ์์ด์ด ์๋๋ผ TextHandler์
๋๋ค. ๋ค์์ ์์ธํ ์ค๋ช
ํ๊ฒ ์ต๋๋ค. ๋ด์ฉ์ด JSON์ด๋ผ๋ฉด .json()์ผ๋ก ๋ณํํ ์ ์์ต๋๋ค.
>>> script = page.find('script')
>>> script.json()
{'lastUpdated': '2024-09-22T10:30:00Z', 'totalProducts': 3}
์ด์ ์์์ ํ๊ทธ๋ฅผ ๊ฐ์ ธ์ต๋๋ค.
>>> article.tag
'article'
ํ์ด์ง์ ์ง์ ์ฌ์ฉํ๋ฉด ๋ฃจํธ html ์์๋ฅผ ๋ค๋ฃจ๊ณ ์๋ค๋ ๊ฒ์ ํ์ธํ ์ ์์ต๋๋ค.
>>> page.tag
'html'
์ด์ page์ element์ ๊ด๊ณ๋ ์ถฉ๋ถํ ์ค๋ช
ํ์ผ๋ ๋ค์ ๋ค๋ฃจ์ง ์๊ฒ ์ต๋๋ค.
์์์ ์์ฑ์ ๊ฐ์ ธ์ต๋๋ค.
>>> print(article.attrib)
{'class': 'product', 'data-id': '1'}
ํน์ ์์ฑ์ ๋ค์ ์ค ์ด๋ ๋ฐฉ๋ฒ์ผ๋ก๋ ์ฝ์ ์ ์์ต๋๋ค.
article.attrib['class']
article.attrib.get('class')
article['class'] # new in v0.3
ํน์ ์์ฑ์ด ์๋์ง๋ ๋ค์์ฒ๋ผ ํ์ธํฉ๋๋ค.
'class' in article.attrib
'class' in article # new in v0.3
์์์ HTML ๋ด์ฉ์ ๊ฐ์ ธ์ต๋๋ค.
>>> article.html_content
'<article class="product" data-id="1"><h3>Product 1</h3>\n <p class="description">This is product 1</p>\n <span class="price">$10.99</span>\n <div class="hidden stock">In stock: 5</div>\n </article>'
๋ณด๊ธฐ ์ข๊ฒ ์ ๋ฆฌํ HTML์ ๊ฐ์ ธ์ต๋๋ค.
print(article.prettify())
<article class="product" data-id="1"><h3>Product 1</h3>
<p class="description">This is product 1</p>
<span class="price">$10.99</span>
<div class="hidden stock">In stock: 5</div>
</article>
.body ์์ฑ์ ํ์ด์ง์ ์๋ณธ ๋ด์ฉ์ ๋ฐํํฉ๋๋ค. v0.4๋ถํฐ Fetcher๊ฐ ๋ฐํํ๋ Response ๊ฐ์ฒด์ .body๋ ํญ์ bytes์
๋๋ค.
>>> page.body
'<html>\n <head>\n <title>Some page</title>\n </head>\n ...'
DOM ํธ๋ฆฌ์์ ์ด ์์์ ๋ชจ๋ ์กฐ์์ ๊ฐ์ ธ์ต๋๋ค.
>>> article.path
[<data='<div class="product-list"> <article clas...' parent='<body> <div class="product-list"> <artic...'>,
<data='<body> <div class="product-list"> <artic...' parent='<html><head><title>Some page</title></he...'>,
<data='<html><head><title>Some page</title></he...'>]
๊ฐ๋ฅํ๋ฉด ์งง์ CSS ์ ํ์๋ฅผ ๋ง๋ค๊ณ , ๊ทธ๋ ์ง ์์ผ๋ฉด ์ ์ฒด ์ ํ์๋ฅผ ๋ง๋ญ๋๋ค.
>>> article.generate_css_selector
'body > div > article'
>>> article.generate_full_css_selector
'body > div > article'
XPath๋ ๊ฐ์ ๋ฐฉ์์ ๋๋ค.
>>> article.generate_xpath_selector
"//body/div/article"
>>> article.generate_full_xpath_selector
"//body/div/article"
ํ์ {#traversal}
์์์ ์ฐพ์ ์์๋ฅผ ์ฌ์ฉํด ํ์ด์ง ์์์ ์ด๋ํ๋ ์์ฑ๊ณผ ๋ฉ์๋๋ฅผ ์์ธํ ์ดํด๋ณด๊ฒ ์ต๋๋ค.
DOM ํธ๋ฆฌ๋ ํธ๋ฆฌ ์๋ฃ๊ตฌ์กฐ๊ฐ ์ต์ํ์ง ์์ผ๋ฉด ์ด ๋ถ๋ถ์ด ์ด๋ ค์ธ ์ ์์ต๋๋ค. ๋จผ์ ํด๋น ๊ฐ๋ ์ ์ฐพ์๋ณด๋ฉด ๋์์ด ๋ฉ๋๋ค.
๋ฐ๋ก ์ด์ด์ ์ฝ๊ณ ์ถ๋ค๋ฉด ๋ค์์ ์งง์ ์ค๋ช
์ ์ฐธ๊ณ ํ์ธ์.
html ์์๋ ์ฌ์ดํธ ํธ๋ฆฌ์ ๋ฃจํธ์
๋๋ค. ๋ชจ๋ ํ์ด์ง๊ฐ html ์์๋ก ์์ํ๊ธฐ ๋๋ฌธ์
๋๋ค.
๊ทธ ๋ฐ๋ก ์๋์๋ head์ body ๊ฐ์ ์์๊ฐ ์์ต๋๋ค. ์ด๋ค์ html์ ์์์ด๋ฉฐ, html์ ์ด๋ค์ ๋ถ๋ชจ์
๋๋ค. body์ head๋ ๋ถ๋ชจ๊ฐ ๊ฐ์ผ๋ฏ๋ก ์๋ก ํ์ ์์์
๋๋ค.
์์์ ๋ถ๋ชจ๋ฅผ ๊ฐ์ ธ์ต๋๋ค.
>>> article.parent
<data='<div class="product-list"> <article clas...' parent='<body> <div class="product-list"> <artic...'>
>>> article.parent.tag
'div'
์ด๋ฐ ์ ๊ทผ์ ์ํ๋ ๋งํผ ์ด์ด์ ์ฌ์ฉํ ์ ์์ต๋๋ค. ์๋์์ ๋ค๋ฃฐ ๋น์ทํ ์์ฑ๊ณผ ๋ฉ์๋์๋ ์ ์ฉ๋ฉ๋๋ค.
>>> article.parent.parent.tag
'body'
์์์ ์์์ ๊ฐ์ ธ์ต๋๋ค.
>>> article.children
[<data='<h3>Product 1</h3>' parent='<article class="product" data-id="1"><h3...'>,
<data='<p class="description">This is product 1...' parent='<article class="product" data-id="1"><h3...'>,
<data='<span class="price">$10.99</span>' parent='<article class="product" data-id="1"><h3...'>,
<data='<div class="hidden stock">In stock: 5</d...' parent='<article class="product" data-id="1"><h3...'>]
์์ ์๋์ ๋ชจ๋ ์ค์ฒฉ ์์๋ฅผ ๊ฐ์ ธ์ต๋๋ค. children์ ๋ชจ๋ ๊น์ด์ ์ ์ฉํ๋ ๊ฒ๊ณผ ๋น์ทํฉ๋๋ค.
>>> article.below_elements
[<data='<h3>Product 1</h3>' parent='<article class="product" data-id="1"><h3...'>,
<data='<p class="description">This is product 1...' parent='<article class="product" data-id="1"><h3...'>,
<data='<span class="price">$10.99</span>' parent='<article class="product" data-id="1"><h3...'>,
<data='<div class="hidden stock">In stock: 5</d...' parent='<article class="product" data-id="1"><h3...'>]
์ด ์์์๋ ์์์๊ฒ ๋ค๋ฅธ ์์์ด ์์ผ๋ฏ๋ก children๊ณผ ๊ฒฐ๊ณผ๊ฐ ๊ฐ์ต๋๋ค.
product-list ํด๋์ค๊ฐ ์๋ ์์๋ฅผ ๋ณด๋ฉด children๊ณผ below_elements์ ์ฐจ์ด๊ฐ ๋ ๋ถ๋ช
ํด์ง๋๋ค.
>>> products_list = page.css('.product-list')[0]
>>> products_list.children
[<data='<article class="product" data-id="1"><h3...' parent='<div class="product-list"> <article clas...'>,
<data='<article class="product" data-id="2"><h3...' parent='<div class="product-list"> <article clas...'>,
<data='<article class="product" data-id="3"><h3...' parent='<div class="product-list"> <article clas...'>]
>>> products_list.below_elements
[<data='<article class="product" data-id="1"><h3...' parent='<div class="product-list"> <article clas...'>,
<data='<h3>Product 1</h3>' parent='<article class="product" data-id="1"><h3...'>,
<data='<p class="description">This is product 1...' parent='<article class="product" data-id="1"><h3...'>,
<data='<span class="price">$10.99</span>' parent='<article class="product" data-id="1"><h3...'>,
<data='<div class="hidden stock">In stock: 5</d...' parent='<article class="product" data-id="1"><h3...'>,
<data='<article class="product" data-id="2"><h3...' parent='<div class="product-list"> <article clas...'>,
...]
์์์ ํ์ ๋ฅผ ๊ฐ์ ธ์ต๋๋ค.
>>> article.siblings
[<data='<article class="product" data-id="2"><h3...' parent='<div class="product-list"> <article clas...'>,
<data='<article class="product" data-id="3"><h3...' parent='<div class="product-list"> <article clas...'>]
ํ์ฌ ์์์ ๋ค์ ํ์ ์์๋ฅผ ๊ฐ์ ธ์ต๋๋ค.
>>> article.next
<data='<article class="product" data-id="2"><h3...' parent='<div class="product-list"> <article clas...'>
previous๋ ๊ฐ์ ๋ฐฉ์์ผ๋ก ๋์ํฉ๋๋ค.
>>> article.previous # It's the first child, so it doesn't have a previous element
>>> second_article = page.css('.product[data-id="2"]')[0]
>>> second_article.previous
<data='<article class="product" data-id="1"><h3...' parent='<div class="product-list"> <article clas...'>
์์์ ํน์ ํด๋์ค๊ฐ ์๋์ง ๋น ๋ฅด๊ณ ์ฝ๊ฒ ํ์ธํ ์ ์์ต๋๋ค.
>>> article.has_class('product')
True
๋ถ๋ชจ ํ๋๋ก ์ถฉ๋ถํ์ง ์๋ค๋ฉด ๋ชจ๋ ์กฐ์์ ์์๋๋ก ์ดํด๋ณผ ์ ์์ต๋๋ค.
for ancestor in article.iterancestors():
# do something with it...
์กฐ๊ฑด์ ๋ง๋ ํน์ ์กฐ์์ ์ฐพ์ ์๋ ์์ต๋๋ค. Selector ๊ฐ์ฒด๋ฅผ ๋ฐ๊ณ ์กฐ๊ฑด์ด ๋ง์ผ๋ฉด True, ์๋๋ฉด False๋ฅผ ๋ฐํํ๋ ํจ์๋ฅผ ์ ๋ฌํ์ธ์.
>>> article.find_ancestor(lambda ancestor: ancestor.has_class('product-list'))
<data='<div class="product-list"> <article clas...' parent='<body> <div class="product-list"> <artic...'>
>>> article.find_ancestor(lambda ancestor: ancestor.css('.product-list')) # Same result, different approach
<data='<div class="product-list"> <article clas...' parent='<body> <div class="product-list"> <artic...'>
Selectors {#selectors}
Selectors๋ Selector ๊ฐ์ฒด๋ฅผ ๋ด๋ ๋ฆฌ์คํธ์
๋๋ค. Python์ ํ์ค List๋ฅผ ์์ํ๋ฏ๋ก ๋ชจ๋ List ์์ฑ๊ณผ ๋ฉ์๋๋ฅผ ์ง์ํฉ๋๋ค. ์ฌ๊ธฐ์ ๋ด๋ถ์ Selector ๊ฐ์ฒด๋ฅผ ๋ ์ฝ๊ฒ ๋ค๋ฃฐ ์ ์๋ ๋ฉ์๋๋ฅผ ์ถ๊ฐํ์ต๋๋ค.
Selector์ ๋ฉ์๋์ ์์ฑ์ด ์ฌ๋ฌ ์์๋ฅผ ๋ฐํํ ๋๋ Selectors ๊ฐ์ฒด๋ฅผ ์ฌ์ฉํฉ๋๋ค.
v0.4๋ถํฐ ๋ชจ๋ ์ ํ ๋ฉ์๋๋ ํ
์คํธ ๋
ธ๋์ ์์ฑ๊ฐ์๋ Selector/Selectors ๊ฐ์ฒด๋ฅผ ๋ฐํํฉ๋๋ค. ::text, /text(), ::attr(), /@attr๋ก ์ ํํ ํ
์คํธ ๋
ธ๋๋ Selector๋ก ๊ฐ์๋๋ค. ์ด ๊ฐ์ฒด์ tag๋ "#text"์ด๋ฉฐ, text ์์ฑ์ ํ
์คํธ๊ฐ์ ๋ฐํํฉ๋๋ค. ํ
์คํธ๋ ์ง์ ์ฝ์ ์ ์๊ณ , ๋ค๋ฅธ ์์ฑ์ ๋น ๊ฐ์ด๋ ๊ธฐ๋ณธ๊ฐ์ ๋ฐํํฉ๋๋ค.
page.css('a::text') # -> Selectors (of text node Selectors)
page.xpath('//a/text()') # -> Selectors
page.css('a::text').get() # -> TextHandler (the first text value)
page.css('a::text').getall() # -> TextHandlers (all text values)
page.css('a::attr(href)') # -> Selectors
page.xpath('//a/@href') # -> Selectors
page.css('.price_color') # -> Selectors
๋ฐ์ดํฐ ์ถ์ถ ๋ฉ์๋ {#data-extraction-methods}
v0.4๋ถํฐ Selector์ Selectors๋ ๋ชจ๋ get(), getall()๊ณผ ๋ณ์นญ์ธ extract_first, extract๋ฅผ ์ ๊ณตํฉ๋๋ค. Scrapy์ ๋ฐฉ์์ ๋ฐ๋ฆ
๋๋ค. ์ด์ ์ get_all()์ ์ ๊ฑฐ๋์์ต๋๋ค.
Selector ๊ฐ์ฒด์์๋ ๋ค์๊ณผ ๊ฐ์ด ๋์ํฉ๋๋ค.
get()์TextHandler๋ฅผ ๋ฐํํฉ๋๋ค. ํ ์คํธ ๋ ธ๋๋ผ๋ฉด ํ ์คํธ๊ฐ์, HTML ์์๋ผ๋ฉด ๋ฐ๊นฅ ํ๊ทธ๋ฅผ ํฌํจํ HTML ๋ฌธ์์ด์ ๋ฐํํฉ๋๋ค.getall()์ ํด๋น ๋ฌธ์์ด ํ๋๋ฅผ ๋ด์TextHandlers๋ฆฌ์คํธ๋ฅผ ๋ฐํํฉ๋๋ค.extract_first๋get()์ ๋ณ์นญ์ด๊ณ ,extract๋getall()์ ๋ณ์นญ์ ๋๋ค.
>>> page.css('h3')[0].get() # Outer HTML of the element
'<h3>Product 1</h3>'
>>> page.css('h3::text')[0].get() # Text value of the text node
'Product 1'
Selectors ๊ฐ์ฒด์์๋ ๋ค์๊ณผ ๊ฐ์ด ๋์ํฉ๋๋ค.
get(default=None)์ ์ฒซ ๋ฒ์งธ ์์์ ๋ฌธ์์ด์ ๋ฐํํฉ๋๋ค. ๋ฆฌ์คํธ๊ฐ ๋น์ด ์์ผ๋ฉดdefault๋ฅผ ๋ฐํํฉ๋๋ค.getall()์ ๋ชจ๋ ์์๋ฅผ ๋ฌธ์์ด๋ก ๋ณํํดTextHandlers๋ฆฌ์คํธ๋ก ๋ฐํํฉ๋๋ค.extract_first๋get()์ ๋ณ์นญ์ด๊ณ ,extract๋getall()์ ๋ณ์นญ์ ๋๋ค.
>>> page.css('.price::text').get() # First price text
'$10.99'
>>> page.css('.price::text').getall() # All price texts
['$10.99', '$20.99', '$15.99']
>>> page.css('.price::text').get('') # With default value
'$10.99'
์ด ๋ฉ์๋๋ CSS, XPath, find ๋ฑ ๋ชจ๋ ์ ํ ๋ฐฉ๋ฒ์์ ์ฌ์ฉํ ์ ์์ต๋๋ค. Scrapy์ ํธํ๋๋ ๋ฐฉ์์ผ๋ก ํ
์คํธ์ ์์ฑ๊ฐ์ ์ถ์ถํ ๋ ๊ถ์ฅํฉ๋๋ค.
์ด์ Selectors๊ฐ ์ ๊ณตํ๋ ๋ค๋ฅธ ๊ธฐ๋ฅ์ ์ดํด๋ณด๊ฒ ์ต๋๋ค.
์์ฑ {#properties_1}
๋ฐ๋ณต๊ณผ ์ฌ๋ผ์ด์ฑ ๊ฐ์ Python ๋ฆฌ์คํธ์ ๊ธฐ๋ณธ ์ฐ์ฐ ์ธ์๋ ๋ค์ ์์ ์ ํ ์ ์์ต๋๋ค.
๋ฆฌ์คํธ ์์ Selector ๊ฐ์ฒด์ CSS์ XPath ์ ํ์๋ฅผ ๋ฐ๋ก ์คํํ ์ ์์ต๋๋ค. ๋ฐํ ํ์
์ Selector์ css, xpath ๋ฉ์๋์ ๊ฐ์ต๋๋ค. ์ธ์๋ ๊ฐ์ง๋ง ์ฌ๊ธฐ์๋ adaptive๋ฅผ ์ฌ์ฉํ ์ ์์ต๋๋ค. ๋ฐ๋ผ์ ๋ฉ์๋๋ฅผ ์ฝ๊ฒ ์ด์ด์ ์ฌ์ฉํ ์ ์์ต๋๋ค.
>>> page.css('.product h3::text').getall()
['Product 1', 'Product 2', 'Product 3']
>>> page.css('.product').css('h3::text').getall()
['Product 1', 'Product 2', 'Product 3']
re์ re_first๋ ๋ฐ๋ก ์คํํ ์ ์์ต๋๋ค. Selector์ ๊ฐ์ ์ธ์๋ฅผ ๋ฐ์ต๋๋ค. ์ด ๋ฉ์๋๋ค์ ์๋ TextHandler ์น์
์์ ์ค๋ช
ํฉ๋๋ค.
๋ค๋ง ์ฌ๊ธฐ์ re_first๋ ๊ฐ Selector์ re๋ฅผ ์คํํ๊ณ , ๊ฒฐ๊ณผ๊ฐ ์๋ ์ฒซ ๋ฒ์งธ ํญ๋ชฉ์ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํํฉ๋๋ค. re๋ ์ฌ๋ฌ TextHandler๋ฅผ ํ๋์ TextHandlers๋ก ํฉ์น TextHandlers ๊ฐ์ฒด๋ฅผ ๋ฐํํฉ๋๋ค.
>>> page.css('.price::text').re(r'[\d.]+')
['10.99', '20.99', '15.99']
>>> page.css('.product h3::text').re(r'Product (\d+)')
['1', '2', '3']
search๋ก ๋ฆฌ์คํธ ์์ Selector๋ฅผ ๋น ๋ฅด๊ฒ ๊ฒ์ํ ์ ์์ต๋๋ค. ์ ๋ฌํ ํจ์๋ ์ฒซ ๋ฒ์งธ ์ธ์๋ก Selector๋ฅผ ๋ฐ๊ณ True/False๋ฅผ ๋ฐํํด์ผ ํฉ๋๋ค. ๋ฉ์๋๋ ์กฐ๊ฑด์ ๋ง๋ ์ฒซ ๋ฒ์งธ Selector๋ฅผ ๋ฐํํ๋ฉฐ, ์์ผ๋ฉด None์ ๋ฐํํฉ๋๋ค.
>>> product = page.css('.product').search(lambda p: p.css('.price::text').get() == '$20.99')
>>> product.css('h3::text').get()
'Product 2'
filter๋ search์ฒ๋ผ ํจ์๋ฅผ ๋ฐ์ง๋ง, ์กฐ๊ฑด์ ๋ง๋ ๋ชจ๋ Selector๋ฅผ ๋ด์ Selectors๋ฅผ ๋ฐํํฉ๋๋ค.
>>> products = page.css('.product').filter(lambda p: float(p.css('.price::text').re_first(r'[\d.]+')) > 15)
>>> products.css('h3::text').getall()
['Product 2', 'Product 3']
์ธ๋ฑ์ค ์ค๋ฅ ๊ฑฑ์ ์์ด ์ฒซ ๋ฒ์งธ๋ ๋ง์ง๋ง ์์์ ์์ ํ๊ฒ ์ ๊ทผํ ์ ์์ต๋๋ค.
>>> page.css('.product').first # First Selector or None
<data='<article class="product" data-id="1"><h3...'>
>>> page.css('.product').last # Last Selector or None
<data='<article class="product" data-id="3"><h3...'>
>>> page.css('.nonexistent').first # Returns None instead of raising IndexError
Selectors ์์ ์๋ Selector์ ๊ฐ์๋ฅผ ์งง๊ฒ ์ฐ๊ณ ์ถ๋ค๋ฉด ๋ค์์ฒ๋ผ ํ ์ ์์ต๋๋ค.
page.css('.product').length
๋ค์ ์ฝ๋์ ๊ฐ์ต๋๋ค.
len(page.css('.product'))
๋ค, JavaScript์ ๋น์ทํ์ฃ :)
TextHandler {#texthandler}
์ด ํด๋์ค๋ ๊ผญ ์์๋์ธ์. ๋ฌธ์์ด์ ๋ฐํํ๋ ๋ชจ๋ ๋ฉ์๋์ ์์ฑ์ TextHandler๋ฅผ ๋ฐํํ๋ฉฐ, ๋ฌธ์์ด ๋ฆฌ์คํธ๋ฅผ ๋ฐํํ๋ ๊ฒฝ์ฐ์๋ TextHandlers๋ฅผ ์ฌ์ฉํฉ๋๋ค.
TextHandler๋ Python์ ํ์ค ๋ฌธ์์ด์ ์์ํ๋ฏ๋ก ์ผ๋ฐ ๋ฌธ์์ด๋ก ํ ์ ์๋ ์์ ์ ๋ชจ๋ ์ง์ํฉ๋๋ค. ๊ทธ๋ ๋ค๋ฉด ์ ๋ค๋ฅธ ์ด๋ฆ์ ์ธ๊น์?
TextHandler๋ ์ผ๋ฐ ๋ฌธ์์ด์ ์๋ ๋ฉ์๋์ ์์ฑ์ ์ถ๊ฐํฉ๋๋ค. ๋ชจ๋ ํด๋์ค์์ ๋ฌธ์์ด์ ๋ฐํํ ๋ TextHandler๋ฅผ ์ฌ์ฉํ๋ฏ๋ก, ์ด๋ฅผ ํ์ฉํ๋ฉด ์ฝ๋๋ฅผ ๋ ์งง๊ณ ๊ฐ๋จํ๊ฒ ์์ฑํ ์ ์์ต๋๋ค. ์ง์ ๊ฐ์ ธ์์ ์ด๋ค ๋ฌธ์์ด์๋ ์ฌ์ฉํ ์๋ ์์ต๋๋ค. ์ด ๋ฐฉ๋ฒ์ ๋ค์์ ์ค๋ช ํฉ๋๋ค.
์ฌ์ฉ๋ฒ {#usage}
์ฌ๋ผ์ด์ฑ, ์ธ๋ฑ์ค ์ ๊ทผ๊ณผ split, replace, strip ๊ฐ์ ๋ฉ์๋๋ ๋ค์ TextHandler๋ฅผ ๋ฐํํฉ๋๋ค. ๊ทธ๋์ ์ํ๋ ๋๋ก ์ด์ด์ ์ฌ์ฉํ ์ ์์ต๋๋ค. TextHandler ๋์ ์ผ๋ฐ ๋ฌธ์์ด์ ๋ฐํํ๋ ๋ฉ์๋๋ ์์ฑ์ ๋ฐ๊ฒฌํ๋ฉด issue๋ก ์๋ ค์ฃผ์ธ์. ๊ทธ ๋ถ๋ถ๋ ์์ ํ๊ฒ ์ต๋๋ค.
๋จผ์ re์ re_first๋ฅผ ์ดํด๋ณด๊ฒ ์ต๋๋ค. Selector, Selectors, TextHandlers์๋ ์๋ ๋ฉ์๋์ด๋ฉฐ ๊ฐ์ ์ธ์๋ฅผ ๋ฐ์ต๋๋ค.
re๋ ์ฒซ ๋ฒ์งธ ์ธ์๋ก ๋ฌธ์์ด์ด๋ ์ปดํ์ผ๋ ์ ๊ท์์ ๋ฐ์ต๋๋ค. ์ผ์นํ๋ ๋ชจ๋ ๋ฌธ์์ด์ ์ฐพ์ TextHandlers๋ก ๋ฐํํฉ๋๋ค.re_first๋ ๊ฐ์ ์ธ์๋ฅผ ๋ฐ๊ณ ๋น์ทํ๊ฒ ๋์ํ์ง๋ง, ์ฒซ ๋ฒ์งธ ๊ฒฐ๊ณผ๋งTextHandler๋ก ๋ฐํํฉ๋๋ค.๋ค์๊ณผ ๊ฐ์ ์ถ๊ฐ ์ธ์๋ ์์ต๋๋ค.
- replace_entities: ๊ธฐ๋ณธ์ ์ผ๋ก ์ผ์ ธ ์์ต๋๋ค. HTML ์ํฐํฐ๋ฅผ ํด๋น ๋ฌธ์๋ก ๋ฐ๊ฟ๋๋ค.
- clean_match: ๊ธฐ๋ณธ์ ์ผ๋ก ๊บผ์ ธ ์์ต๋๋ค. ์ผ์น ์ฌ๋ถ๋ฅผ ํ์ธํ ๋ ์ฐ์ ๊ณต๋ฐฑ์ ํฌํจํ ๊ณต๋ฐฑ ๋ฌธ์๋ฅผ ๋ฌด์ํฉ๋๋ค.
- case_sensitive: ๊ธฐ๋ณธ์ ์ผ๋ก ์ผ์ ธ ์์ต๋๋ค. ๋๋ฉด ์ ๊ท์์ ์ปดํ์ผํ ๋ ๋์๋ฌธ์๋ฅผ ๊ตฌ๋ถํ์ง ์์ต๋๋ค.
์์ ๋ณธ ์์ ๋๋ค.
re๋ฅผ ์ฌ์ฉํ์ผ๋ฏ๋ก ๊ฒฐ๊ณผ๋ TextHandlers์ ๋๋ค.>>> page.css('.price::text').re(r'[\d.]+') ['10.99', '20.99', '15.99'] >>> page.css('.product h3::text').re(r'Product (\d+)') ['1', '2', '3']๋ค๋ฅธ ์ธ์๋ฅผ ์ค๋ช ํ๊ธฐ ์ํด ๊ฐ ์์์ ๋ณ๋์ ๋ฌธ์์ด์ ์ฌ์ฉํ๊ฒ ์ต๋๋ค.
>>> from scrapling import TextHandler >>> test_string = TextHandler('hi there') # Hence the two spaces >>> test_string.re('hi there') >>> test_string.re('hi there', clean_match=True) # Using `clean_match` will clean the string before matching the regex ['hi there'] >>> test_string2 = TextHandler('Oh, Hi Mark') >>> test_string2.re_first('oh, hi Mark') >>> test_string2.re_first('oh, hi Mark', case_sensitive=False) # Hence disabling `case_sensitive` 'Oh, Hi Mark' # Mixing arguments >>> test_string.re('hi there', clean_match=True, case_sensitive=False) ['hi there']TextHandler๋ฅผ ์ฌ์ฉํ๋ ๋ ๋ค๋ฅธ ์ฅ์ ์ ๋๋ค.html_content๋TextHandler๋ฅผ ๋ฐํํ๋ฏ๋ก HTML์ ๋ฐ๋ก ์ ๊ท์์ ์ ์ฉํ ์ ์์ต๋๋ค.>>> page.html_content.re('div class=".*">(.*)</div') ['In stock: 5', 'In stock: 3', 'Out of stock'].json()์ ๋ด์ฉ์ ๋น ๋ฅด๊ฒ JSON ๊ฐ์ฒด๋ก ๋ณํํฉ๋๋ค. ๋ณํํ ์ ์์ผ๋ฉด ์ค๋ฅ๋ฅผ ๋ฐ์์ํต๋๋ค.>>> page.css('#page-data::text').get() '\n {\n "lastUpdated": "2024-09-22T10:30:00Z",\n "totalProducts": 3\n }\n ' >>> page.css('#page-data::text').get().json() {'lastUpdated': '2024-09-22T10:30:00Z', 'totalProducts': 3}์์๋ฅผ ์ ํํ ๋ ํ ์คํธ๋ ์์ฑ๊ฐ ๊ฐ์ ํ ์คํธ ๋ ธ๋๋ฅผ ์ง์ ํ์ง ์์๋ค๋ฉด, ์์์ ํ ์คํธ ๋ด์ฉ์ ์๋์ผ๋ก ์ฌ์ฉํฉ๋๋ค.
>>> page.css('#page-data')[0].json() {'lastUpdated': '2024-09-22T10:30:00Z', 'totalProducts': 3}Selector๋ ์ฌ๊ธฐ์ ํ ๊ฐ์ง ๊ธฐ๋ฅ์ ๋ ์ ๊ณตํฉ๋๋ค. ๋ค์ ํ์ด์ง๋ฅผ ์๋ก ๋ค์ด ๋ณด๊ฒ ์ต๋๋ค.
<html> <body> <div> <script id="page-data" type="application/json"> { "lastUpdated": "2024-09-22T10:30:00Z", "totalProducts": 3 } </script> </div> </body> </html>Selector์
get_all_text๋ ์์ ์ค๋ช ํ๋ฏTextHandler๋ฅผ ๋ฐํํฉ๋๋ค.
๋ค์์ฒ๋ผ ์คํํ๋ฉด,>>> page.css('div::text').get().json()divํ๊ทธ์ JSON์ผ๋ก ๋ณํํ ์ง์ ์ ์ธ ํ ์คํธ๊ฐ ์์ด ์ค๋ฅ๊ฐ ๋ฐ์ํฉ๋๋ค. ์ด ํ๊ทธ์๋ ์ง์ ๋ค์ด ์๋ ํ ์คํธ๊ฐ ์ ํ ์์ต๋๋ค.
์ด๋get_all_text๋ฅผ ์ฌ์ฉํ๋ฉด ๋ฉ๋๋ค.>>> page.css('div')[0].get_all_text(ignore_tags=[]).json() {'lastUpdated': '2024-09-22T10:30:00Z', 'totalProducts': 3}ignore_tags์ ๊ธฐ๋ณธ๊ฐ์ด('script', 'style',)์ด๋ฏ๋ก ์ฌ๊ธฐ์๋ ๊ฐ์ ๋ฐ๋ก ์ง์ ํ์ต๋๋ค.
๋์ค์ ์ค๋ช ํ Fetcher์์๋ ๊ด๋ จ๋ ๋์์ด ์์ต๋๋ค. ๋ค์๊ณผ ๊ฐ์ JSON ์๋ต์ ๋ฐ์๋ค๊ณ ๊ฐ์ ํด ๋ณด๊ฒ ์ต๋๋ค.>>> page = Selector("""{"some_key": "some_value"}""")Selector๋ HTML ํ์ด์ง์ ๋ง์ถฐ์ ธ ์์ผ๋ฏ๋ก, ์ด ์๋ต์ ์๋ชป๋ HTML๋ก ๋ณด๊ณ ์์ ํฉ๋๋ค. ๋ฐ๋ผ์
html_content๋ฅผ ์ฌ์ฉํ๋ฉด ๋ค์ ๊ฒฐ๊ณผ๊ฐ ๋์ต๋๋ค.>>> page.html_content '<html><body><p>{"some_key": "some_value"}</p></body></html>'ํ์ง๋ง
json๋ฉ์๋๋ฅผ ๋ฐ๋ก ํธ์ถํ๋ฉด ์ ์์ ์ผ๋ก ๋์ํฉ๋๋ค.>>> page.json() {'some_key': 'some_value'}htmlํ๊ทธ์ ์ง์ ์ ์ธ ํ ์คํธ๊ฐ ์๋๋ฐ ์ด๋ป๊ฒ ๊ฐ๋ฅํ ๊ฑธ๊น์?
JSON ์๋ต ๊ฐ์ ๊ฒฝ์ฐ๋ฅผ ์ํด Selector๋ ๋ฐ์ ๋ด์ฉ์ ์๋ณธ ์ฌ๋ณธ์ ๋ณด๊ดํฉ๋๋ค..json()์ ๋จผ์ ์๋ณธ์ ํ์ธํ๊ณ JSON์ผ๋ก ๋ณํํฉ๋๋ค. ๊ฐ๋ณ ์์์ฒ๋ผ ์๋ณธ์ด ์์ผ๋ฉด ํ์ฌ ์์์ ํ ์คํธ๋ฅผ ํ์ธํ๊ณ , ํ์ํ๋ฉดget_all_text๋ฅผ ์ฌ์ฉํฉ๋๋ค..clean()์ ๊ณต๋ฐฑ ๋ฌธ์์ ์ฐ์ ๊ณต๋ฐฑ์ ์ ๊ฑฐํ๊ณ ์TextHandler๋ฅผ ๋ฐํํฉ๋๋ค.
>>> TextHandler('\n wonderful idea, \reh?').clean()
'wonderful idea, eh?'
remove_entities๋ฅผ ์ ๋ฌํ๋ฉด clean์ด HTML ์ํฐํฐ๋ฅผ ํด๋น ๋ฌธ์๋ก ๋ฐ๊ฟ๋๋ค.
.sort()๋ ๋ฆฌ์คํธ์ฒ๋ผ ๋ฌธ์์ด์ ๋ฌธ์๋ฅผ ์ ๋ ฌํฉ๋๋ค.
>>> TextHandler('acb').sort()
'abc'
์ญ์์ผ๋ก ์ ๋ ฌํ ์๋ ์์ต๋๋ค.
>>> TextHandler('acb').sort(reverse=True)
'cba'
์์ผ๋ก ๋ ๋ง์ ๋ฉ์๋์ ์์ฑ์ด ์ถ๊ฐ๋ ๊ฒ์ ๋๋ค. ์ด ํด๋์ค๋ ๋ผ์ด๋ธ๋ฌ๋ฆฌ ๊ฑฐ์ ๋ชจ๋ ๊ณณ์์ ์ผ๋ฐ ๋ฌธ์์ด ๋์ ๋ฐํ๋๋ค๋ ์ ์ ๊ธฐ์ตํ์ธ์.
TextHandlers {#texthandlers}
์ด ํด๋์ค๋ Selectors์ Selector์ ๊ด๊ณ์ ๋น์ทํฉ๋๋ค. ์ผ๋ฐ ๋ฆฌ์คํธ์ ๋์์ ์์ํ๊ณ re, re_first ๋ฉ์๋๋ฅผ ์ถ๊ฐํฉ๋๋ค.
์ฌ๊ธฐ์ re_first๋ ๊ฐ TextHandler์ re๋ฅผ ์คํํด ์ฒซ ๋ฒ์งธ ๊ฒฐ๊ณผ๋ฅผ ๋ฐํํฉ๋๋ค. ๊ฒฐ๊ณผ๊ฐ ์์ผ๋ฉด None์ ๋ฐํํฉ๋๋ค. ๋๋จธ์ง๋ ์์ ์ค๋ช
๊ณผ ๊ฐ์ผ๋ฉฐ, ์์ผ๋ก ๋ค๋ฅธ ๋ฉ์๋๋ ์ถ๊ฐ๋ ๊ฒ์
๋๋ค.
AttributesHandler {#attributeshandler}
Python์ ํ์ค ๋์
๋๋ฆฌ์ธ dict๋ฅผ ์ฝ๊ธฐ ์ ์ฉ์ผ๋ก ๋ง๋ ํํ์
๋๋ค. ๊ฐ ์์, ์ฆ Selector ๊ฐ์ฒด์ ์์ฑ์ ์ ์ฅํฉ๋๋ค.
>>> print(page.find('script').attrib)
{'id': 'page-data', 'type': 'application/json'}
>>> type(page.find('script').attrib).__name__
'AttributesHandler'
์ฝ๊ธฐ ์ ์ฉ์ด๋ฏ๋ก ์ผ๋ฐ ๋์ ๋๋ฆฌ๋ณด๋ค ๋ฆฌ์์ค๋ฅผ ์ ๊ฒ ์ฌ์ฉํฉ๋๋ค. ๋ฐ์ดํฐ๋ฅผ ๋ณ๊ฒฝํ๊ฑฐ๋ ๋ฎ์ด์ฐ๋ ๊ธฐ๋ฅ์ ์ ์ธํ๋ฉด ๋์ ๋๋ฆฌ์ ๊ฐ์ ๋ฉ์๋์ ์์ฑ์ ์ ๊ณตํฉ๋๋ค.
ํ์ฌ ๋ค์ ๋ ๊ฐ์ง ๊ธฐ๋ฅ์ ์ถ๊ฐ๋ก ์ ๊ณตํฉ๋๋ค.
search_values๋ฉ์๋.์ผ๋ฐ ๋์ ๋๋ฆฌ์์๋
dict.get("key_name")์ผ๋ก ํค๋ฅผ ํ์ธํ ์ ์์ง๋ง, ๊ฐ์ผ๋ก ๊ฒ์ํ๋ ค๋ฉด ์ฝ๋๊ฐ ๋ ํ์ํฉ๋๋ค. ์ด ๋ฉ์๋๋ ์์ฑ๊ฐ์ ๊ฒ์ํ๊ณ ์ผ์นํ๋ ํญ๋ชฉ๋ง๋ค ๋์ ๋๋ฆฌ๋ฅผ ๋ฐํํฉ๋๋ค.๊ฐ๋จํ ์์ ๋๋ค.
>>> for i in page.find('script').attrib.search_values('page-data'): print(i) {'id': 'page-data'}partial์ธ์๋ฅผ ์ฌ์ฉํ๋ฉด ๊ฐ์ ์ผ๋ถ๋ก ๊ฒ์ํ ์๋ ์์ต๋๋ค.>>> for i in page.find('script').attrib.search_values('page', partial=True): print(i) {'id': 'page-data'}์ ์๋ ์ค๋ช ์ ์ํ ๊ฒ์ ๋๋ค. ์ค์ ๋ก๋
find_all๊ณผ ํจ๊ป ์ฌ์ฉํด ์์ฑ์ ํน์ ๊ฐ์ด ์๋ ์์๋ฅผ ๋ชจ๋ ์ฐพ์ ์ ์์ต๋๋ค.>>> page.find_all(lambda element: list(element.attrib.search_values('product'))) [<data='<article class="product" data-id="1"><h3...' parent='<div class="product-list"> <article clas...'>, <data='<article class="product" data-id="2"><h3...' parent='<div class="product-list"> <article clas...'>, <data='<article class="product" data-id="3"><h3...' parent='<div class="product-list"> <article clas...'>]์ด ์์๋ค์
class์์ฑ๊ฐ์ ๋ชจ๋ 'product'์ ๋๋ค.search_values๋ ์ ๋๋ ์ดํฐ๋ฅผ ๋ฐํํ๋ฏ๋ก ์ฌ๊ธฐ์๋list๋ฅผ ์ฌ์ฉํ์ต๋๋ค. ์ ๋๋ ์ดํฐ ์์ฒด๋ฅผ ์กฐ๊ฑด์ผ๋ก ์ฐ๋ฉด ๋ชจ๋ ์์์์True๊ฐ ๋๊ธฐ ๋๋ฌธ์ ๋๋ค.json_string์์ฑ.ํ์ฌ ์์ฑ์ JSON ๋ฌธ์์ด๋ก ๋ณํํฉ๋๋ค. JSON์ผ๋ก ๋ณํํ ์ ์์ผ๋ฉด ์ค๋ฅ๋ฅผ ๋ฐ์์ํต๋๋ค.
>>>page.find('script').attrib.json_string b'{"id":"page-data","type":"application/json"}'