Skip to content

πŸ•·οΈ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

5.0 KB
Raw Blame

title: "Π‘Π²ΠΎΡ‘ Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π΅ для Π°Π΄Π°ΠΏΡ‚ΠΈΠ²Π½ΠΎΠ³ΠΎ парсинга" description: "Π Π΅Π°Π»ΠΈΠ·ΡƒΠΉΡ‚Π΅ save ΠΈ retrieve для Π°Π΄Π°ΠΏΡ‚ΠΈΠ²Π½ΠΎΠ³ΠΎ парсинга Scrapling. Π‘ΠΎΠ·Π΄Π°ΠΉΡ‚Π΅ Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π΅ Redis для сохранСния ΠΈ получСния свойств элСмСнтов."

Бвоя систСма хранСния ΠΈ поиска {#writing-your-retrieval-system}

По ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ Scrapling ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ SQLite. Π­Ρ‚ΠΎ руководство ΠΏΠΎΠΊΠ°ΠΆΠ΅Ρ‚, ΠΊΠ°ΠΊ ΡΠΎΠ·Π΄Π°Ρ‚ΡŒ свою систСму хранСния свойств элСмСнтов для Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ adaptive.

НапримСр, ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Firebase ΠΈ ΠΎΠ±Ρ‰ΡƒΡŽ Π±Π°Π·Ρƒ Π΄Π°Π½Π½Ρ‹Ρ… для Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… ΠΏΠ°ΡƒΠΊΠΎΠ² Π½Π° Ρ€Π°Π·Π½Ρ‹Ρ… ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Π°Ρ…. Вакая удалённая Π±Π°Π·Π° позволяСт ΠΏΠ°ΡƒΠΊΠ°ΠΌ ΠΎΠ±ΠΌΠ΅Π½ΠΈΠ²Π°Ρ‚ΡŒΡΡ Π΄Π°Π½Π½Ρ‹ΠΌΠΈ Π°Π΄Π°ΠΏΡ‚ΠΈΠ²Π½ΠΎΠ³ΠΎ парсинга.

Π§Ρ‚ΠΎΠ±Ρ‹ класс Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π° Ρ€Π°Π±ΠΎΡ‚Π°Π», Π²Ρ‹ΠΏΠΎΠ»Π½ΠΈΡ‚Π΅ Ρ‚Ρ€ΠΈ условия:

  1. УнаслСдуйтС Π΅Π³ΠΎ ΠΎΡ‚ абстрактного класса scrapling.core.storage.StorageSystemMixin. ΠŸΡ€ΠΈΠ½ΠΈΠΌΠ°ΠΉΡ‚Π΅ строковый Π°Ρ€Π³ΡƒΠΌΠ΅Π½Ρ‚ url, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ Π»ΠΎΠ³ΠΈΠΊΡƒ Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΈ.
  2. Π”ΠΎΠ±Π°Π²ΡŒΡ‚Π΅ Π½Π°Π΄ классом Π΄Π΅ΠΊΠΎΡ€Π°Ρ‚ΠΎΡ€ functools.lru_cache, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ шаблон Singleton, ΠΊΠ°ΠΊ Π² Π΄Ρ€ΡƒΠ³ΠΈΡ… классах.
  3. Π Π΅Π°Π»ΠΈΠ·ΡƒΠΉΡ‚Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ save ΠΈ retrieve с ΡƒΠΊΠ°Π·Π°Π½Π½Ρ‹ΠΌΠΈ Ρ‚ΠΈΠΏΠ°ΠΌΠΈ:
    • ΠœΠ΅Ρ‚ΠΎΠ΄ save Π½ΠΈΡ‡Π΅Π³ΠΎ Π½Π΅ Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π°Π΅Ρ‚ ΠΈ ΠΏΠΎΠ»ΡƒΡ‡Π°Π΅Ρ‚ Π΄Π²Π° Π°Ρ€Π³ΡƒΠΌΠ΅Π½Ρ‚Π° ΠΎΡ‚ Π±ΠΈΠ±Π»ΠΈΠΎΡ‚Π΅ΠΊΠΈ.
      • ΠŸΠ΅Ρ€Π²Ρ‹ΠΉ ΠΈΠΌΠ΅Π΅Ρ‚ Ρ‚ΠΈΠΏ lxml.html.HtmlElement ΠΈ содСрТит сам элСмСнт. ΠŸΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΡƒΠΉΡ‚Π΅ Π΅Π³ΠΎ Π² ΡΠ»ΠΎΠ²Π°Ρ€ΡŒ Ρ‡Π΅Ρ€Π΅Π· element_to_dict ΠΈΠ· подмодуля scrapling.core.utils._StorageTools, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ ΠΎΠ±Ρ‰ΠΈΠΉ Ρ„ΠΎΡ€ΠΌΠ°Ρ‚. Π—Π°Ρ‚Π΅ΠΌ сохранитС ΡΠ»ΠΎΠ²Π°Ρ€ΡŒ Π² свою Π±Π°Π·Ρƒ Π΄Π°Π½Π½Ρ‹Ρ….
      • Π’Ρ‚ΠΎΡ€ΠΎΠΉ прСдставляСт собой строковый ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ‚ΠΎΡ€ для поиска. Π‘ΠΎΡ‡Π΅Ρ‚Π°Π½ΠΈΠ΅ этого ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ‚ΠΎΡ€Π° ΠΈ Π°Ρ€Π³ΡƒΠΌΠ΅Π½Ρ‚Π° url ΠΈΠ· конструктора Π΄ΠΎΠ»ΠΆΠ½ΠΎ Π±Ρ‹Ρ‚ΡŒ ΡƒΠ½ΠΈΠΊΠ°Π»ΡŒΠ½Ρ‹ΠΌ для ΠΊΠ°ΠΆΠ΄ΠΎΠΉ записи. Π˜Π½Π°Ρ‡Π΅ Π΄Π°Π½Π½Ρ‹Π΅ adaptive ΡΠΌΠ΅ΡˆΠ°ΡŽΡ‚ΡΡ.
    • ΠœΠ΅Ρ‚ΠΎΠ΄ retrieve ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Π΅Ρ‚ строковый ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ‚ΠΎΡ€. ВмСстС с url, ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½Π½Ρ‹ΠΌ ΠΏΡ€ΠΈ создании ΠΎΠ±ΡŠΠ΅ΠΊΡ‚Π°, ΠΎΠ½ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ для поиска словаря элСмСнта Π² Π±Π°Π·Π΅ Π΄Π°Π½Π½Ρ‹Ρ…. Если запись Π½Π°ΠΉΠ΄Π΅Π½Π°, ΠΌΠ΅Ρ‚ΠΎΠ΄ Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π°Π΅Ρ‚ Π΅Ρ‘, ΠΈΠ½Π°Ρ‡Π΅ None.

Если Π½ΡƒΠΆΠ½Ρ‹ подробности, посмотритС Ρ€Π΅Π°Π»ΠΈΠ·Π°Ρ†ΠΈΡŽ с SQLite3 Π² Ρ„Π°ΠΉΠ»Π΅ storage_adaptors.

Если класс соотвСтствуСт этим условиям, ΠΎΡΡ‚Π°Π»ΡŒΠ½ΠΎΠ΅ нСслоТно. Для ΠΌΠ½ΠΎΠ³ΠΎΠΏΠΎΡ‚ΠΎΡ‡Π½ΠΎΠ³ΠΎ прилоТСния ΡƒΠ±Π΅Π΄ΠΈΡ‚Π΅ΡΡŒ, Ρ‡Ρ‚ΠΎ класс бСзопасно Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ с нСсколькими ΠΏΠΎΡ‚ΠΎΠΊΠ°ΠΌΠΈ. Класс ΠΏΠΎ ΡƒΠΌΠΎΠ»Ρ‡Π°Π½ΠΈΡŽ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°Π΅Ρ‚ Ρ‚Π°ΠΊΡƒΡŽ Ρ€Π°Π±ΠΎΡ‚Ρƒ.

Π’ абстрактном классС Π΅ΡΡ‚ΡŒ Π²ΡΠΏΠΎΠΌΠΎΠ³Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ. ΠŸΠΎΠ΄Ρ€ΠΎΠ±Π½Π΅Π΅ Π² ΠΊΠΎΠ΄Π΅, Π³Π΄Π΅ ΠΌΠ½ΠΎΠ³ΠΎ пояснСний :)

ΠŸΡ€Π°ΠΊΡ‚ΠΈΡ‡Π΅ΡΠΊΠΈΠΉ ΠΏΡ€ΠΈΠΌΠ΅Ρ€: Ρ…Ρ€Π°Π½ΠΈΠ»ΠΈΡ‰Π΅ Redis {#real-world-example-redis-storage}

Π’ΠΎΡ‚ практичСский ΠΏΡ€ΠΈΠΌΠ΅Ρ€ с Redis, созданный с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ИИ:

import redis
import orjson
from functools import lru_cache
from scrapling.core.storage import StorageSystemMixin
from scrapling.core.utils import _StorageTools

@lru_cache(None)
class RedisStorage(StorageSystemMixin):
    def __init__(self, host='localhost', port=6379, db=0, url=None):
        super().__init__(url)
        self.redis = redis.Redis(
            host=host,
            port=port,
            db=db,
            decode_responses=False
        )
        
    def save(self, element, identifier: str) -> None:
        # Convert element to dictionary
        element_dict = _StorageTools.element_to_dict(element)
        
        # Create key
        key = f"scrapling:{self._get_base_url()}:{identifier}"
        
        # Store as JSON
        self.redis.set(
            key,
            orjson.dumps(element_dict)
        )
        
    def retrieve(self, identifier: str) -> dict | None:
        # Get data
        key = f"scrapling:{self._get_base_url()}:{identifier}"
        data = self.redis.get(key)
        
        # Parse JSON if exists
        if data:
            return orjson.loads(data)
        return None