Skip to content

🕷️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev

3.9 KB
Raw Blame

title: "Créez un système de stockage pour l’analyse adaptative" description: "Implémentez save et retrieve pour l’analyse adaptative de Scrapling. Créez un système Redis pour enregistrer et retrouver les propriétés des éléments."

Créer votre propre système de stockage {#writing-your-retrieval-system}

Scrapling utilise SQLite par défaut. Ce guide montre comment créer votre propre système pour enregistrer les propriétés des éléments utilisées par la fonction adaptive.

Vous pouvez par exemple utiliser Firebase pour partager une base de données entre plusieurs spiders sur différentes machines. Une base de données en ligne leur permet de partager les données adaptatives.

Pour fonctionner, votre classe de stockage doit respecter trois conditions :

  1. Hériter de la classe abstraite scrapling.core.storage.StorageSystemMixin et accepter un argument de type chaîne, url, pour conserver la logique de la bibliothèque.
  2. Utiliser le décorateur functools.lru_cache sur la classe pour suivre le modèle Singleton, comme les autres classes.
  3. ImplĂ©menter les mĂ©thodes save et retrieve selon leurs annotations de type :
    • La mĂ©thode save ne renvoie rien et reçoit deux arguments de la bibliothèque :
      • Le premier est l’élĂ©ment lui-mĂŞme, de type lxml.html.HtmlElement. Convertissez-le en dictionnaire avec la fonction element_to_dict du sous-module scrapling.core.utils._StorageTools pour garder le mĂŞme format, puis enregistrez-le dans votre base de donnĂ©es.
      • Le second est une chaĂ®ne contenant l’identifiant utilisĂ© pour retrouver l’élĂ©ment. La combinaison de cet identifiant et de l’argument url reçu Ă  la crĂ©ation de l’instance doit ĂŞtre unique pour chaque ligne. Sinon, les donnĂ©es de adaptive seront mĂ©langĂ©es.
    • La mĂ©thode retrieve reçoit une chaĂ®ne contenant l’identifiant. Utilisez-le avec l’url reçue Ă  la crĂ©ation de l’instance pour retrouver le dictionnaire de l’élĂ©ment. Renvoyez ce dictionnaire s’il existe, ou None sinon.

Vous pouvez consulter un exemple avec SQLite3 dans le fichier storage_adaptors.

Si votre classe respecte ces conditions, la suite est simple. Si vous prévoyez d’utiliser la bibliothèque dans une application avec plusieurs threads, assurez-vous que votre classe le permet sans conflit. La classe par défaut le permet déjà.

La classe abstraite contient aussi des fonctions utilitaires que vous pouvez utiliser. Consultez le code, qui contient de nombreux commentaires :)

Exemple pratique : stockage avec Redis {#real-world-example-redis-storage}

Voici un exemple pratique avec Redis, gĂ©nĂ©rĂ© par IA :

import redis
import orjson
from functools import lru_cache
from scrapling.core.storage import StorageSystemMixin
from scrapling.core.utils import _StorageTools

@lru_cache(None)
class RedisStorage(StorageSystemMixin):
    def __init__(self, host='localhost', port=6379, db=0, url=None):
        super().__init__(url)
        self.redis = redis.Redis(
            host=host,
            port=port,
            db=db,
            decode_responses=False
        )
        
    def save(self, element, identifier: str) -> None:
        # Convert element to dictionary
        element_dict = _StorageTools.element_to_dict(element)
        
        # Create key
        key = f"scrapling:{self._get_base_url()}:{identifier}"
        
        # Store as JSON
        self.redis.set(
            key,
            orjson.dumps(element_dict)
        )
        
    def retrieve(self, identifier: str) -> dict | None:
        # Get data
        key = f"scrapling:{self._get_base_url()}:{identifier}"
        data = self.redis.get(key)
        
        # Parse JSON if exists
        if data:
            return orjson.loads(data)
        return None