🕷️ The BEST Web Scraping framework that handles everything from a single request to a full-scale crawl! Don't be shy, join here: https://discord.gg/EMgGbDceNQ and follow here for daily tips and tricks: https://x.com/Scrapling_dev
title: "Créez un système de stockage pour l’analyse adaptative" description: "Implémentez save et retrieve pour l’analyse adaptative de Scrapling. Créez un système Redis pour enregistrer et retrouver les propriétés des éléments."
Créer votre propre système de stockage {#writing-your-retrieval-system}
Scrapling utilise SQLite par défaut. Ce guide montre comment créer votre propre système pour enregistrer les propriétés des éléments utilisées par la fonction adaptive.
Vous pouvez par exemple utiliser Firebase pour partager une base de données entre plusieurs spiders sur différentes machines. Une base de données en ligne leur permet de partager les données adaptatives.
Pour fonctionner, votre classe de stockage doit respecter trois conditions :
- Hériter de la classe abstraite
scrapling.core.storage.StorageSystemMixinet accepter un argument de type chaîne,url, pour conserver la logique de la bibliothèque. - Utiliser le décorateur
functools.lru_cachesur la classe pour suivre le modèle Singleton, comme les autres classes. - Implémenter les méthodes
saveetretrieveselon leurs annotations de type :- La méthode
savene renvoie rien et reçoit deux arguments de la bibliothèque :- Le premier est l’élément lui-même, de type
lxml.html.HtmlElement. Convertissez-le en dictionnaire avec la fonctionelement_to_dictdu sous-modulescrapling.core.utils._StorageToolspour garder le même format, puis enregistrez-le dans votre base de données. - Le second est une chaîne contenant l’identifiant utilisé pour retrouver l’élément. La combinaison de cet identifiant et de l’argument
urlreçu à la création de l’instance doit être unique pour chaque ligne. Sinon, les données deadaptiveseront mélangées.
- Le premier est l’élément lui-même, de type
- La méthode
retrievereçoit une chaîne contenant l’identifiant. Utilisez-le avec l’urlreçue à la création de l’instance pour retrouver le dictionnaire de l’élément. Renvoyez ce dictionnaire s’il existe, ouNonesinon.
- La méthode
Vous pouvez consulter un exemple avec SQLite3 dans le fichier storage_adaptors.
Si votre classe respecte ces conditions, la suite est simple. Si vous prévoyez d’utiliser la bibliothèque dans une application avec plusieurs threads, assurez-vous que votre classe le permet sans conflit. La classe par défaut le permet déjà .
La classe abstraite contient aussi des fonctions utilitaires que vous pouvez utiliser. Consultez le code, qui contient de nombreux commentaires :)
Exemple pratique : stockage avec Redis {#real-world-example-redis-storage}
Voici un exemple pratique avec Redis, généré par IA :
import redis
import orjson
from functools import lru_cache
from scrapling.core.storage import StorageSystemMixin
from scrapling.core.utils import _StorageTools
@lru_cache(None)
class RedisStorage(StorageSystemMixin):
def __init__(self, host='localhost', port=6379, db=0, url=None):
super().__init__(url)
self.redis = redis.Redis(
host=host,
port=port,
db=db,
decode_responses=False
)
def save(self, element, identifier: str) -> None:
# Convert element to dictionary
element_dict = _StorageTools.element_to_dict(element)
# Create key
key = f"scrapling:{self._get_base_url()}:{identifier}"
# Store as JSON
self.redis.set(
key,
orjson.dumps(element_dict)
)
def retrieve(self, identifier: str) -> dict | None:
# Get data
key = f"scrapling:{self._get_base_url()}:{identifier}"
data = self.redis.get(key)
# Parse JSON if exists
if data:
return orjson.loads(data)
return None