π·οΈ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev
title: "μ μν νμ±μ μν μ μ₯μ λ§λ€κΈ°" description: "Scraplingμ μ μν νμ±μ μν saveμ retrieveλ₯Ό ꡬννμΈμ. Redis μ μ₯μλ₯Ό λ§λ€μ΄ μμ μμ±μ μ μ₯νκ³ κ°μ Έμ΅λλ€."
μ μ₯κ³Ό κ²μ μμ€ν λ§λ€κΈ° {#writing-your-retrieval-system}
Scraplingμ κΈ°λ³Έμ μΌλ‘ SQLiteλ₯Ό μ¬μ©ν©λλ€. μ΄ μλ΄μμλ adaptive κΈ°λ₯μ νμν μμ μμ±μ μ§μ λ§λ μ μ₯μμ μ μ₯νλ λ°©λ²μ μ€λͺ
ν©λλ€.
μλ₯Ό λ€μ΄ Firebaseλ₯Ό μ¬μ©ν΄ μ¬λ¬ μ»΄ν¨ν°μμ μ€ννλ μ€νμ΄λκ° λ°μ΄ν°λ² μ΄μ€λ₯Ό 곡μ νλλ‘ λ§λ€ μ μμ΅λλ€. μ΄λ° μ¨λΌμΈ λ°μ΄ν°λ² μ΄μ€λ₯Ό μ°λ©΄ μ€νμ΄λ μ¬μ΄μμ μ μν λ°μ΄ν°λ₯Ό 곡μ ν μ μμ΅λλ€.
μ μ₯μ ν΄λμ€λ λ€μ μΈ κ°μ§ 쑰건μ λ§μ‘±ν΄μΌ ν©λλ€.
- μΆμ ν΄λμ€
scrapling.core.storage.StorageSystemMixinμ μμνκ³ λ¬Έμμ΄ μΈμλ₯Ό λ°μ΅λλ€. λΌμ΄λΈλ¬λ¦¬μ λμμ μ μ§νκΈ° μνurlμΈμμ λλ€. - ν΄λμ€ μμ
functools.lru_cacheλ°μ½λ μ΄ν°λ₯Ό μ¬μ©ν΄ λ€λ₯Έ ν΄λμ€μ²λΌ Singleton ν¨ν΄μ λ°λ¦ λλ€. - νμ
ννΈμ λ§κ²
saveμretrieveλ₯Ό ꡬνν©λλ€.saveλ μ무κ²λ λ°ννμ§ μμΌλ©° λΌμ΄λΈλ¬λ¦¬μμ μΈμ λ κ°λ₯Ό λ°μ΅λλ€.- 첫 λ²μ§Έλ μμ μ체μΈ
lxml.html.HtmlElementμ λλ€. κ°μ νμμ μ μ§νλ €λ©΄scrapling.core.utils._StorageToolsνμ λͺ¨λμelement_to_dictλ‘ λμ λλ¦¬λ‘ λ°κΎΌ λ€ μνλ λ°©μμΌλ‘ λ°μ΄ν°λ² μ΄μ€μ μ μ₯νμΈμ. - λ λ²μ§Έλ κ²μμ μ¬μ©ν λ¬Έμμ΄ μλ³μμ
λλ€. μ΄κΈ°νν λ λ°μ
urlκ³Ό μ΄ μλ³μλ₯Ό μ‘°ν©ν κ°μ κ° νλ§λ€ κ³ μ ν΄μΌ ν©λλ€. κ·Έλ μ§ μμΌλ©΄adaptiveλ°μ΄ν°κ° μμ λλ€.
- 첫 λ²μ§Έλ μμ μ체μΈ
retrieveλ λ¬Έμμ΄ μλ³μλ₯Ό λ°μ΅λλ€. μ΄κΈ°νν λ λ°μurlκ³Ό ν¨κ» μ¬μ©ν΄ λ°μ΄ν°λ² μ΄μ€μμ μμμ λμ λ리λ₯Ό μ°Ύκ³ λ°νν©λλ€. μμΌλ©΄Noneμ λ°νν©λλ€.
λ μμΈν μκ° νμνλ©΄ storage_adaptors νμΌμ SQLite3 ꡬνμ μ΄ν΄λ³΄μΈμ.
μ΄ μ‘°κ±΄μ λ§μ‘±νλ©΄ λλ¨Έμ§λ κ°λ¨ν©λλ€. μ¬λ¬ μ€λ λλ₯Ό μ¬μ©νλ μ±μ΄λΌλ©΄ ν΄λμ€κ° μμ νκ² λμνλμ§ νμΈνμΈμ. κΈ°λ³Έ μ μ₯μ ν΄λμ€λ μ€λ λ μμ μ±μ μ 곡ν©λλ€.
μΆμ ν΄λμ€μλ μ¬μ©ν μ μλ 보쑰 ν¨μλ μμ΅λλ€. μ€λͺ μ΄ μμΈν μλ μ½λλ₯Ό μ΄ν΄λ³΄μΈμ :)
μ€μ μ: Redis μ μ₯μ {#real-world-example-redis-storage}
λ€μμ AIλ‘ λ§λ Redis μ μ₯μ μμ λλ€.
import redis
import orjson
from functools import lru_cache
from scrapling.core.storage import StorageSystemMixin
from scrapling.core.utils import _StorageTools
@lru_cache(None)
class RedisStorage(StorageSystemMixin):
def __init__(self, host='localhost', port=6379, db=0, url=None):
super().__init__(url)
self.redis = redis.Redis(
host=host,
port=port,
db=db,
decode_responses=False
)
def save(self, element, identifier: str) -> None:
# Convert element to dictionary
element_dict = _StorageTools.element_to_dict(element)
# Create key
key = f"scrapling:{self._get_base_url()}:{identifier}"
# Store as JSON
self.redis.set(
key,
orjson.dumps(element_dict)
)
def retrieve(self, identifier: str) -> dict | None:
# Get data
key = f"scrapling:{self._get_base_url()}:{identifier}"
data = self.redis.get(key)
# Parse JSON if exists
if data:
return orjson.loads(data)
return None