Skip to content

๐Ÿ•ท๏ธ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

10.4 KB
Raw Blame

title: "์•ˆ์ •์ ์ธ ์›น ์Šคํฌ๋ž˜ํ•‘์„ ์œ„ํ•œ ๋ฌด๋ฃŒ AI ๋Œ€์•ˆ" description: "Scrapling์€ ํŽ˜์ด์ง€ ๋ณ€๊ฒฝ, ๋ถˆ์•ˆ์ •ํ•œ ์„ ํƒ์ž, ๋ด‡ ์ฐจ๋‹จ, ํŽ˜์ด์ง€ ์ด๋™์— ๋Œ€์‘ํ•ฉ๋‹ˆ๋‹ค. ํŽ˜์ด์ง€๋งˆ๋‹ค LLM์„ ํ˜ธ์ถœํ•  ํ•„์š”๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค."

Scrapling: ์•ˆ์ •์ ์ธ ์›น ์Šคํฌ๋ž˜ํ•‘์„ ์œ„ํ•œ ๋ฌด๋ฃŒ AI ๋Œ€์•ˆ {#scrapling-a-free-alternative-to-ai-for-robust-web-scraping}

์›น ์Šคํฌ๋ž˜ํ•‘์€ ๋ฐ์ดํ„ฐ ์ถ”์ถœ, ์ธ๋ฑ์‹ฑ, ๋ฐ์ดํ„ฐ์…‹ ์ค€๋น„ ๋“ฑ ๋‹ค์–‘ํ•œ ์šฉ๋„๋กœ ์˜ค๋žซ๋™์•ˆ ์“ฐ์˜€์Šต๋‹ˆ๋‹ค. ํ•˜์ง€๋งŒ ์ˆ™๋ จ๋œ ์‚ฌ์šฉ์ž๋„ ์ž‘์—…์„ ๋ฐฉํ•ดํ•˜๋Š” ๋ฌธ์ œ๋ฅผ ๋ฐ˜๋ณตํ•ด์„œ ๊ฒช์Šต๋‹ˆ๋‹ค. ์ตœ๊ทผ์—๋Š” ์ด๋Ÿฐ ๋ฌธ์ œ๋ฅผ ํ•ด๊ฒฐํ•˜๋ ค๊ณ  AI ๊ธฐ๋ฐ˜ ์›น ์Šคํฌ๋ž˜ํ•‘์œผ๋กœ ์˜ฎ๊ฒจ ๊ฐ€๋Š” ์›€์ง์ž„์ด ๋Š˜๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค.

์ด ๊ธ€์—์„œ๋Š” ์ž์ฃผ ๊ฒช๋Š” ๋ฌธ์ œ, ๊ธฐ์—…์ด AI๋ฅผ ์„ ํƒํ•˜๋Š” ์ด์œ , ๊ทธ ๋ฐฉ์‹์˜ ๋‹จ์ , ๊ทธ๋ฆฌ๊ณ  Scrapling์ด AI ๋น„์šฉ ์—†์ด ์ด๋ฅผ ํ•ด๊ฒฐํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ์‚ดํŽด๋ด…๋‹ˆ๋‹ค.

ํ”ํ•œ ๋ฌธ์ œ์™€ ์–ด๋ ค์šด ๋ชฉํ‘œ {#common-issues-and-challenging-goals}

์›น ์Šคํฌ๋ž˜ํ•‘์„ ์˜ค๋ž˜ ํ–ˆ๋‹ค๋ฉด ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๋ฌธ์ œ๋ฅผ ๋ฐ˜๋ณตํ•ด์„œ ๊ฒช์—ˆ์„ ๊ฒƒ์ž…๋‹ˆ๋‹ค.

  1. ์ž์ฃผ ๋ฐ”๋€Œ๋Š” ์‚ฌ์ดํŠธ ๊ตฌ์กฐ: DOM ๊ตฌ์กฐ๊ฐ€ ๋ฐ”๋€Œ๋ฉด ๊ณ ์ •๋œ XPath/CSS ์„ ํƒ์ž๊ฐ€ ๋” ์ด์ƒ ์ž‘๋™ํ•˜์ง€ ์•Š์Šต๋‹ˆ๋‹ค.
  2. ๋ถˆ์•ˆ์ •ํ•œ ์„ ํƒ์ž: ํด๋ž˜์Šค ์ด๋ฆ„๊ณผ ID๊ฐ€ ๋ฐ”๋€Œ๊ฑฐ๋‚˜ ๋ฌด์ž‘์œ„๋กœ ์ƒ์„ฑ๋˜์–ด ์Šคํฌ๋ž˜ํผ๊ฐ€ ๊ณ ์žฅ ๋‚˜๊ฑฐ๋‚˜ ์ž‘์„ฑํ•˜๊ธฐ ์–ด๋ ค์›Œ์ง‘๋‹ˆ๋‹ค.
  3. ๋ณต์žกํ•ด์ง€๋Š” ๋ด‡ ์ฐจ๋‹จ: CAPTCHA, ๋ธŒ๋ผ์šฐ์ € ์ง€๋ฌธ ๊ฒ€์‚ฌ, ํ–‰๋™ ๋ถ„์„์œผ๋กœ ๊ธฐ์กด ๋ฐฉ์‹์˜ ์Šคํฌ๋ž˜ํ•‘์ด ์–ด๋ ค์›Œ์ง‘๋‹ˆ๋‹ค.

์ด ๋ฐ–์—๋„ ์—ฌ๋Ÿฌ ๋ฌธ์ œ๊ฐ€ ์žˆ์Šต๋‹ˆ๋‹ค.

์ด๊ฒƒ์€ ์‚ฌ์ดํŠธ๋งˆ๋‹ค ์ „์šฉ ์ฝ”๋“œ๋ฅผ ์ž‘์„ฑํ•  ์ˆ˜ ์žˆ๋Š”, ์ด๋ฏธ ์•Œ๊ณ  ์žˆ๋Š” ์‚ฌ์ดํŠธ๋ฅผ ๋Œ€์ƒ์œผ๋กœ ํ•  ๋•Œ์˜ ์ด์•ผ๊ธฐ์ž…๋‹ˆ๋‹ค.

์„œ๋กœ ๋‹ค๋ฅธ ๋งŽ์€ ์‚ฌ์ดํŠธ๋ฅผ ๋ฒ”์šฉ์ ์œผ๋กœ ์ˆ˜์ง‘ํ•˜๋ ค๊ณ  ํ•˜๋ฉด ์œ„ ๋ฌธ์ œ๋Š” ๋” ์ปค์ง‘๋‹ˆ๋‹ค. ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๋ฌธ์ œ๋„ ์ถ”๊ฐ€๋ฉ๋‹ˆ๋‹ค.

  1. ์‚ฌ์ดํŠธ ๊ฐ„์˜ ํฐ ์ฐจ์ด: ์ˆ˜๋งŽ์€ HTML ๊ตฌ์กฐ, CSS ์‚ฌ์šฉ ๋ฐฉ์‹, JavaScript ํ”„๋ ˆ์ž„์›Œํฌ, ๋ฐฑ์—”๋“œ ๊ธฐ์ˆ ์— ๋Œ€์‘ํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค.
  2. ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ ์ฐพ๊ธฐ: ์ฒ˜์Œ ๋ณด๋Š” ํŽ˜์ด์ง€์—์„œ ์–ด๋–ค ๋ฐ์ดํ„ฐ๊ฐ€ ์ค‘์š”ํ•œ์ง€ ์Šคํฌ๋ž˜ํผ๊ฐ€ ์–ด๋–ป๊ฒŒ ์•Œ ์ˆ˜ ์žˆ์„๊นŒ์š”?
  3. ๋‹ค์–‘ํ•œ ํŽ˜์ด์ง€ ์ด๋™ ๋ฐฉ์‹: ๋ฌดํ•œ ์Šคํฌ๋กค, ํŽ˜์ด์ง€ ๋ฒˆํ˜ธ, โ€˜๋” ๋ณด๊ธฐโ€™ ๋ฒ„ํŠผ์€ ๊ฐ๊ฐ ๋‹ค๋ฅธ ์ ‘๊ทผ์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค.

์—ฌ๊ธฐ์— ๋‹ค๋ฅธ ๋ฌธ์ œ๋„ ๋”ํ•ด์ง‘๋‹ˆ๋‹ค.

๊ณตํ†ต ๊ธฐ์ˆ ์„ ์“ฐ์ง€ ์•Š๋Š” ๋‹ค์–‘ํ•œ ์‚ฌ์ดํŠธ๋ฅผ ๋ฒ”์šฉ์ ์œผ๋กœ ์Šคํฌ๋ž˜ํ•‘ํ•˜๋ ค๋ฉด, ์ด ๋ชจ๋“  ๋ฌธ์ œ๋ฅผ ์–ด๋–ป๊ฒŒ ์ˆ˜์ž‘์—…์œผ๋กœ ํ•ด๊ฒฐํ•ด์•ผ ํ• ๊นŒ์š”?

AI๊ฐ€ ๋„์™€์ฃผ์ง€๋งŒ ๋น„์šฉ์ด ํฝ๋‹ˆ๋‹ค {#ai-to-the-rescue-but-at-a-high-cost}

AI๋Š” ํŽ˜์ด์ง€ ์†Œ์Šค๋ฅผ ์ดํ•ดํ•˜๊ณ  ํ•„์š”ํ•œ ํ•ญ๋ชฉ์„ ์ฐพ๊ฑฐ๋‚˜ ์„ ํƒ์ž๋ฅผ ๋งŒ๋“ค ์ˆ˜ ์žˆ์–ด ์ด๋Ÿฐ ๋ฌธ์ œ ๋Œ€๋ถ€๋ถ„์„ ์‰ฝ๊ฒŒ ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋ฌผ๋ก  ๋ด‡ ์ฐจ๋‹จ์€ ๋‹ค๋ฅธ ๋„๊ตฌ๋กœ ์ด๋ฏธ ํ•ด๊ฒฐํ–ˆ๋‹ค๋Š” ์ „์ œ์ž…๋‹ˆ๋‹ค :)

์ด ๋ฐฉ์‹์€ ๋งค๋ ฅ์ ์ž…๋‹ˆ๋‹ค. ์ €๋„ AI, ํŠนํžˆ ์ƒ์„ฑํ˜• AI์— ํฐ ๊ด€์‹ฌ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ํ”„๋กฌํ”„ํŠธ๋ฅผ ๋งŒ๋“ค๊ณ  ๋‹ค๋“ฌ๋Š” ๋ฐ ์‹œ๊ฐ„์ด ๋งŽ์ด ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ž˜๋„ ๊ดœ์ฐฎ๋‹ค๋ฉด, ๊ณง ์ง„์งœ ๋ฌธ์ œ๋ฅผ ๋งŒ๋‚˜๊ฒŒ ๋ฉ๋‹ˆ๋‹ค.

๋Œ€๋ถ€๋ถ„์˜ ์‚ฌ์ดํŠธ๋Š” ํ•œ ํŽ˜์ด์ง€์— ๋งŽ์€ ๋‚ด์šฉ์„ ๋‹ด๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค. AI๊ฐ€ ์ฒ˜๋ฆฌํ•  ์ˆ˜ ์žˆ๋„๋ก ๊ทธ ๋‚ด์šฉ์„ ์–ด๋–ค ํ˜•ํƒœ๋กœ๋“  ์ „๋‹ฌํ•ด์•ผ ํ•ฉ๋‹ˆ๋‹ค. ๊ทธ๋Ÿฌ๋ฉด ํ† ํฐ์ด ๋น ๋ฅด๊ฒŒ ์†Œ๋ชจ๋˜๊ณ  ๋น„์šฉ์ด ์ปค์ง‘๋‹ˆ๋‹ค.

๋น„์šฉ์„ ์ „ํ˜€ ์‹ ๊ฒฝ ์“ฐ์ง€ ์•Š์•„๋„ ๋˜๋Š” ์ƒํ™ฉ์ด ์•„๋‹ˆ๋ผ๋ฉด ๋” ์ €๋ ดํ•œ ๋ฐฉ๋ฒ•์„ ์ฐพ๊ฒŒ ๋ฉ๋‹ˆ๋‹ค. ์ด๋•Œ Scrapling์ด ๋„์›€์ด ๋ฉ๋‹ˆ๋‹ค :smile:

Scrapling์ด ๋„์™€๋“œ๋ฆฝ๋‹ˆ๋‹ค {#scrapling-got-you-covered}

Scrapling์€ ์›น ์Šคํฌ๋ž˜ํ•‘์—์„œ ๋งŒ๋‚˜๋Š” ๊ฑฐ์˜ ๋ชจ๋“  ๋ฌธ์ œ์— ๋Œ€์‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๋‚˜๋จธ์ง€ ๋ฌธ์ œ๋„ ์•ž์œผ๋กœ์˜ ์—…๋ฐ์ดํŠธ์—์„œ ์ฐจ๊ทผ์ฐจ๊ทผ ํ•ด๊ฒฐํ•ด ๋‚˜๊ฐˆ ์˜ˆ์ •์ž…๋‹ˆ๋‹ค.

T1 ํ•ด๊ฒฐ: ์ž์ฃผ ๋ฐ”๋€Œ๋Š” ์‚ฌ์ดํŠธ ๊ตฌ์กฐ {#solving-issue-t1-rapidly-changing-website-structures}

์ด๋ฅผ ์œ„ํ•ด ๋งŒ๋“  ๊ธฐ๋Šฅ์ด ์ ์‘ํ˜• ํŒŒ์‹ฑ์ž…๋‹ˆ๋‹ค. ์ด ๊ธฐ๋Šฅ์ด ๋‚˜์˜ฌ ์ค„ ์˜ˆ์ƒํ•˜์…จ์„ ์ˆ˜๋„ ์žˆ๊ฒ ๋„ค์š” :)

์Šคํฌ๋ž˜ํ•‘ํ•  ๋•Œ adaptive๋ฅผ ์ผœ๋ฉด ์š”์†Œ์˜ ํŠน์ง•์„ ์ €์žฅํ•ด ๋‘๊ณ , ์‚ฌ์ดํŠธ ๊ตฌ์กฐ๊ฐ€ ๋ฐ”๋€ ํ›„์—๋„ ๋‹ค์‹œ ์ฐพ์„ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์–ด๋ ค์šด ์ ์€ ์š”์†Œ์˜ ์–ด๋–ค ๋ถ€๋ถ„์ด๋“  ๋ฐ”๋€” ์ˆ˜ ์žˆ์–ด ๊ณ ์ •๋œ ์ •๋ณด์— ์˜์กดํ•  ์ˆ˜ ์—†๋‹ค๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค.

์ ์‘ํ˜• ๊ธฐ๋Šฅ์€ ์š”์†Œ๋ฅผ ๊ตฌ๋ณ„ํ•˜๋Š” ์ •๋ณด๋ฅผ ์ €์žฅํ•ฉ๋‹ˆ๋‹ค. ์‚ฌ์ดํŠธ ๊ตฌ์กฐ๊ฐ€ ๋ฐ”๋€Œ๋ฉด ์ด์ „ ์š”์†Œ์™€ ๊ฐ€์žฅ ๋น„์Šทํ•œ ์š”์†Œ๋ฅผ ๋ฐ˜ํ™˜ํ•ฉ๋‹ˆ๋‹ค.

์ž์„ธํ•œ ์„ค๋ช…๊ณผ ์—ฌ๋Ÿฌ ์˜ˆ์ œ๋Š” ์—ฌ๊ธฐ์— ์žˆ์Šต๋‹ˆ๋‹ค.

T2 ํ•ด๊ฒฐ: ๋ถˆ์•ˆ์ •ํ•œ ์„ ํƒ์ž {#solving-issue-t2-unstable-selectors}

์›น ์Šคํฌ๋ž˜ํ•‘์„ ์˜ค๋ž˜ ํ–ˆ๋‹ค๋ฉด ํ•œ ๋ฒˆ์ฏค์€ ๊ฒช์—ˆ์„ ๊ฒƒ์ž…๋‹ˆ๋‹ค. ID๋‚˜ ํด๋ž˜์Šค๊ฐ€ ์—†๋Š” HTML, ๋ฌด์ž‘์œ„ ํด๋ž˜์Šค ์ด๋ฆ„์ฒ˜๋Ÿผ ๋ฏฟ๊ณ  ์“ธ ์ •๋ณด๊ฐ€ ์—†๋Š”, ๋‹ค๋ฃจ๊ธฐ ์–ด๋ ค์šด ์‚ฌ์ดํŠธ์ž…๋‹ˆ๋‹ค.

์ด๋Ÿด ๋•Œ๋Š” ์ผ๋ฐ˜์ ์ธ CSS/XPath ์„ ํƒ์ž๊ฐ€ ์ตœ์„ ์ด ์•„๋‹ ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ทธ๋ž˜์„œ Scrapling์€ ์„ธ ๊ฐ€์ง€ ์„ ํƒ ๋ฐฉ๋ฒ•์„ ๋” ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

  1. ์š”์†Œ ๋‚ด์šฉ์œผ๋กœ ์„ ํƒ: find_by_text๋กœ ํ…์ŠคํŠธ๋ฅผ ์ฐพ๊ฑฐ๋‚˜, find_by_regex๋กœ ํ…์ŠคํŠธ์— ์ •๊ทœ์‹์„ ์ ์šฉํ•ฉ๋‹ˆ๋‹ค.
  2. ๋‹ค๋ฅธ ์š”์†Œ์™€ ๋น„์Šทํ•œ ์š”์†Œ ์„ ํƒ: ์š”์†Œ ํ•˜๋‚˜๋ฅผ ์ฐพ์œผ๋ฉด ๋‚˜๋จธ์ง€๋Š” Scrapling์ด ์ฐพ์Šต๋‹ˆ๋‹ค.
  3. ํ•„ํ„ฐ๋กœ ์š”์†Œ ์„ ํƒ: ์š”์†Œ๊ฐ€ ๋งŒ์กฑํ•ด์•ผ ํ•  ์กฐ๊ฑด์„ ์ง€์ •ํ•˜๋ฉด Scrapling์ด ์ฐพ์Šต๋‹ˆ๋‹ค.

๊ฐ ๋งํฌ์—์„œ ์‚ฌ์šฉ๋ฒ•์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ์œผ๋ฏ€๋กœ ์—ฌ๊ธฐ์„œ๋Š” ์„ค๋ช…์„ ๋ฐ˜๋ณตํ•˜์ง€ ์•Š๊ฒ ์Šต๋‹ˆ๋‹ค.

T3 ํ•ด๊ฒฐ: ๋ณต์žกํ•ด์ง€๋Š” ๋ด‡ ์ฐจ๋‹จ {#solving-issue-t3-increasingly-complex-anti-bot-measures}

๋ณดํ˜ธ๋œ ์‚ฌ์ดํŠธ์—์„œ๋Š” ํ”„๋ก์‹œ์™€ ์‚ฌ๋žŒ์ฒ˜๋Ÿผ ๋ณด์ด๋Š” ๋™์ž‘๋งŒ์œผ๋กœ ๋ถ€์กฑํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. StealthyFetcher๋Š” ๋ธŒ๋ผ์šฐ์ € ์ž๋™ํ™”์— ์ง€๋ฌธ ๋ณด์ •๊ณผ ๋ด‡ ์ฐจ๋‹จ ๋Œ€์‘ ์˜ต์…˜์„ ๊ฒฐํ•ฉํ•ฉ๋‹ˆ๋‹ค. Cloudflare Turnstile๊ณผ Interstitial ๊ฒ€์ฆ์—๋Š” solve_cloudflare=True๋ฅผ ์‚ฌ์šฉํ•˜์„ธ์š”.

B1๊ณผ B2 ํ•ด๊ฒฐ: ๋‹ค์–‘ํ•œ ์‚ฌ์ดํŠธ์™€ ํ•„์š”ํ•œ ๋ฐ์ดํ„ฐ ์ฐพ๊ธฐ {#solving-issues-b1-b2-extreme-website-diversity-identifying-relevant-data}

์–ด๋ ค์šด ๋ฌธ์ œ์ง€๋งŒ Scrapling์˜ ์œ ์—ฐํ•œ ๊ธฐ๋Šฅ์œผ๋กœ ๋Œ€์‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

์—ฌ๋Ÿฌ ์‚ฌ์ดํŠธ์—์„œ AI๋กœ ๊ฐ€๊ฒฉ์„ ์ถ”์ถœํ•˜๋Š” ๋ถ„๊ณผ ์ด์•ผ๊ธฐํ•œ ์ ์ด ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฐ€๊ฒฉ๊ณผ ์ œ๋ชฉ๋งŒ ํ•„์š”ํ•ด์„œ, AI์—๊ฒŒ ๊ฐ€๊ฒฉ์„ ์ฐพ์•„ ๋‹ฌ๋ผ๊ณ  ํ•˜๊ณ  ์žˆ์—ˆ์Šต๋‹ˆ๋‹ค.

์ €๋Š” ์ด ๊ฒฝ์šฐ AI๊ฐ€ ํ•„์š”ํ•˜์ง€ ์•Š๋‹ค๊ณ  ์„ค๋ช…ํ•˜๊ณ  ๋‹ค์Œ ์ฝ”๋“œ๋ฅผ ์˜ˆ๋กœ ๋ณด์—ฌ ๋“œ๋ ธ์Šต๋‹ˆ๋‹ค.

price_element = page.find_by_regex(r'ยฃ[\d\.,]+', first_match=True)  # Get the first element that contains a text that matches price regex eg. ยฃ10.50
# If you want the container/element that contains the price element
price_element_container = price_element.parent or price_element.find_ancestor(lambda ancestor: ancestor.has_class('product'))  # or other methods...
target_element_selector = price_element_container.generate_css_selector or price_element_container.generate_full_css_selector # or xpath

๊ทธ๋ถ„์€ ๋‹ค์Œ๊ณผ ๊ฐ™์€ ๊ฒฝ์šฐ์—๋Š” ์–ด๋–ป๊ฒŒ ํ•˜๋А๋ƒ๊ณ  ๋ฌผ์—ˆ์Šต๋‹ˆ๋‹ค.

<span class='currency'> $ </span> <span class='a-price'> 45,000 </span>

๊ทธ๋ž˜์„œ ์ฝ”๋“œ๋ฅผ ์ด๋ ‡๊ฒŒ ๋ฐ”๊ฟจ์Šต๋‹ˆ๋‹ค.

price_element_container = page.find_by_regex(r'[\d,]+', first_match=True).parent # Adjusted the regex for this example
full_price_data = price_element_container.get_all_text(separator="", strip=True)  # Returns '$45,000' in this case

๊ทธ๋ถ„์˜ ์šฉ๋„์—๋Š” ์ด๊ฒƒ์œผ๋กœ ์ถฉ๋ถ„ํ–ˆ์Šต๋‹ˆ๋‹ค. ์ฒซ ๋ฒˆ์งธ ์ •๊ทœ์‹์—์„œ ์•„๋ฌด๊ฒƒ๋„ ์ฐพ์ง€ ๋ชปํ•˜๋ฉด ๋‹ค์Œ ์ •๊ทœ์‹์„ ์‹œ๋„ํ•˜๋Š” ์‹์œผ๋กœ ๊ตฌ์„ฑํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ๊ฐ€์žฅ ํ”ํ•œ ํŒจํ„ด๋ถ€ํ„ฐ ์ฒ˜๋ฆฌํ•œ ๋’ค ๋œ ํ”ํ•œ ํŒจํ„ด์œผ๋กœ ๋„“ํ˜€ ๊ฐ€์„ธ์š”. ์กฐ๊ธˆ ์ง€๋ฃจํ•  ์ˆ˜ ์žˆ์ง€๋งŒ AI๋ณด๋‹ค ๋น„์šฉ์ด ์ ๊ฒŒ ๋“ญ๋‹ˆ๋‹ค.

์ด ์˜ˆ์ œ์—์„œ ์ „ํ•˜๊ณ  ์‹ถ์€ ์ ์€ ๋ชจ๋“  ๋ฌธ์ œ์— AI๊ฐ€ ํ•„์š”ํ•œ ๊ฒƒ์€ ์•„๋‹ˆ๋ผ๋Š” ๊ฒƒ์ž…๋‹ˆ๋‹ค. ์กฐ๊ธˆ ๋‹ค๋ฅธ ๋ฐฉ๋ฒ•์„ ์ƒ๊ฐํ•˜๋ฉด ๋น„์šฉ์„ ํฌ๊ฒŒ ์ค„์ผ ์ˆ˜๋„ ์žˆ์Šต๋‹ˆ๋‹ค.

B3 ํ•ด๊ฒฐ: ๋‹ค์–‘ํ•œ ํŽ˜์ด์ง€ ์ด๋™ ๋ฐฉ์‹ {#solving-issue-b3-pagination-variations}

ํ˜„์žฌ Scrapling์—๋Š” ํŽ˜์ด์ง€ ์ด๋™ ๋งํฌ๋ฅผ ์ž๋™์œผ๋กœ ์ฐพ๋Š” ์ „์šฉ ๋ฉ”์„œ๋“œ๊ฐ€ ์—†์Šต๋‹ˆ๋‹ค. Spider๋Š” response.follow()๋กœ ํŽ˜์ด์ง€ ์ด๋™ ๋งํฌ๋ฅผ ๋”ฐ๋ผ๊ฐ‘๋‹ˆ๋‹ค.

ํ•˜์ง€๋งŒ ํ”ํ•œ ํŒจํ„ด์„ ์ฐพ์œผ๋ฉด ๋Œ€๋ถ€๋ถ„์˜ ์‚ฌ์ดํŠธ์— ๋Œ€์‘ํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด page.find_by_text('Next')['href'], page.find_by_text('load more')['href'], ๋˜๋Š” 'a[href*="?page="]', 'a[href*="/page/"]' ๊ฐ™์€ ์„ ํƒ์ž๋ฅผ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋น„์šฉ ๋น„๊ต์™€ ์ ˆ์•ฝ ํšจ๊ณผ {#cost-comparison-and-savings}

๊ฐ„๋‹จํžˆ ๋น„๊ตํ•ด ๋ณด๊ฒ ์Šต๋‹ˆ๋‹ค.

ํ•ญ๋ชฉ Scrapling AI ๊ธฐ๋ฐ˜ ๋„๊ตฌ(Browse AI, Oxylabs ๋“ฑ)
๋น„์šฉ ๋ฌด๋ฃŒ์ด๋ฉฐ ๋ผ์ด๋ธŒ๋Ÿฌ๋ฆฌ ์‚ฌ์šฉ ํšŸ์ˆ˜์— ๋”ฐ๋ฅธ ์š”๊ธˆ์ด ์—†์Šต๋‹ˆ๋‹ค ์œ ๋ฃŒ ์š”๊ธˆ์ œ์ด๋ฉฐ ์ œ๊ณต์—…์ฒด์™€ ์‚ฌ์šฉ๋Ÿ‰์— ๋”ฐ๋ผ ๊ฐ€๊ฒฉ์ด ๋‹ฌ๋ผ์ง‘๋‹ˆ๋‹ค
์„ค์ • ์•ฝ๊ฐ„์˜ ๊ธฐ์ˆ  ์ง€์‹๊ณผ ์ˆ˜๋™ ์„ค์ •์ด ํ•„์š”ํ•ฉ๋‹ˆ๋‹ค ๋Œ€๊ฐœ ์ฝ”๋“œ๊ฐ€ ํ•„์š” ์—†์–ด ๋น„์ „๋ฌธ๊ฐ€๋„ ์‚ฌ์šฉํ•˜๊ธฐ ์‰ฝ์Šต๋‹ˆ๋‹ค
์‚ฌ์šฉ ๋ฐฉ์‹ ์ฝ”๋“œ, ํ„ฐ๋ฏธ๋„, MCP ์„œ๋ฒ„๋กœ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค ์—…์ฒด๊ฐ€ ์ œ๊ณตํ•˜๋Š” ๊ธฐ๋Šฅ์— ๋”ฐ๋ผ ์ฃผ๋กœ GUI๋‚˜ API๋ฅผ ์‚ฌ์šฉํ•ฉ๋‹ˆ๋‹ค
๊ทœ๋ชจ ํ™•์žฅ ์‚ฌ์šฉ์ž์˜ ๊ตฌํ˜„์— ๋”ฐ๋ผ ๋‹ฌ๋ผ์ง‘๋‹ˆ๋‹ค ๋Œ€๊ทœ๋ชจ ์ž‘์—…์„ ์œ„ํ•œ ๊ด€๋ฆฌํ˜• ์„œ๋น„์Šค๊ฐ€ ์ œ๊ณต๋ฉ๋‹ˆ๋‹ค
๋ณ€ํ™” ๋Œ€์‘ adaptive์™€ ์„ ํƒ์ž ์™ธ์˜ ์„ ํƒ ๋ฐฉ๋ฒ•์œผ๋กœ ์œ ์—ฐํ•˜๊ฒŒ ๋Œ€์‘ํ•ฉ๋‹ˆ๋‹ค AI๊ฐ€ ์ž๋™์œผ๋กœ ๋Œ€์‘ํ•˜์ง€๋งŒ ๋ณ€๊ฒฝ์ด ์žฆ์œผ๋ฉด ๋น„์šฉ์ด ํฝ๋‹ˆ๋‹ค

ํ˜„์žฌ ์š”๊ธˆ์€ Browse AI ์š”๊ธˆ๊ณผ Oxylabs Web Scraper API ์š”๊ธˆ์„ ํ™•์ธํ•˜์„ธ์š”.

๋งˆ๋ฌด๋ฆฌ {#conclusion}

AI๋Š” ๊ฐ•๋ ฅํ•˜์ง€๋งŒ ๋งŽ์€ ์›น ์Šคํฌ๋ž˜ํ•‘ ์ž‘์—…์—์„œ๋Š” ๋น„์šฉ์ด ๋„ˆ๋ฌด ํด ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. Scrapling์€ ํŠน์ • ์‚ฌ์ดํŠธ์™€ ๋„“์€ ๋ฒ”์œ„์˜ ์‚ฌ์ดํŠธ ๋ชจ๋‘์—์„œ ์‹ค์ œ ๋ฌธ์ œ๋ฅผ ๋‹ค๋ฃฐ ์ˆ˜ ์žˆ๋Š” ์œ ์—ฐํ•˜๊ณ  ๊ฒฝ์ œ์ ์ธ ๋„๊ตฌ๋ฅผ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค. ๋น„์‹ผ AI ์†”๋ฃจ์…˜ ์—†์ด ํ•ด๊ฒฐํ•  ์ˆ˜ ์žˆ๋Š” ๊ฒฝ์šฐ๋„ ๋งŽ์Šต๋‹ˆ๋‹ค. adaptive, ๋‹ค์–‘ํ•œ ์„ ํƒ ๋ฐฉ๋ฒ•, ๊ณ ๊ธ‰ Fetcher๋ฅผ ํ™œ์šฉํ•˜๋ฉด ๋ณ€ํ™”์— ๊ฐ•ํ•œ ์Šคํฌ๋ž˜ํผ๋ฅผ ๋” ํšจ์œจ์ ์œผ๋กœ ๋งŒ๋“ค ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค.

๋ฌธ์„œ๋ฅผ ๋” ์‚ดํŽด๋ณด๊ณ  Scrapling์ด ๋‹ค์Œ ์›น ์Šคํฌ๋ž˜ํ•‘ ํ”„๋กœ์ ํŠธ๋ฅผ ์–ด๋–ป๊ฒŒ ๊ฐ„๋‹จํ•˜๊ฒŒ ๋งŒ๋“ค์–ด ์ค„ ์ˆ˜ ์žˆ๋Š”์ง€ ํ™•์ธํ•˜์„ธ์š”.