ajout(main.py): ajout commentaires

This commit is contained in:
2026-02-04 22:19:29 +01:00
parent 469a351f2a
commit 1c59297241

39
main.py
View File

@@ -1,5 +1,5 @@
import requests import requests
from typing import Any from typing import Any, Dict
from bs4 import BeautifulSoup from bs4 import BeautifulSoup
import json import json
@@ -13,11 +13,7 @@ class Scraper:
def __init__(self): def __init__(self):
""" """
Docstring for __init__ Initialise la session de scraping et récupère la page d'accueil.
:param self: Description
:param subdir: Description
:type subdir: str
""" """
# Très utile pour éviter de renvoyer toujours les mêmes handshake # Très utile pour éviter de renvoyer toujours les mêmes handshake
# TCP et d'avoir toujours une connexion constante avec le server # TCP et d'avoir toujours une connexion constante avec le server
@@ -27,15 +23,11 @@ class Scraper:
def _request(self, subdir: str, use_cache: bool = True) -> requests.Response | requests.HTTPError: def _request(self, subdir: str, use_cache: bool = True) -> requests.Response | requests.HTTPError:
""" """
Docstring for _request Effectue une requête GET sur le serveur Millesima.
:param subdir: Le sous-répertoire ou chemin de l'URL (ex: "/vins").
:param self: Description :param use_cache: Si True, retourne la réponse précédente si l'URL est identique.
:param subdir: Description :return: requests.Response: L'objet réponse de la requête.
:type subdir: str :rtype: requests.HTTPError: Si le serveur renvoie un code d'erreur (4xx, 5xx).
:param use_cache: Description
:type use_cache: bool
:return: Description
:rtype: Response | AttributeError
""" """
target_url: str = f"{self._url}{subdir.lstrip("/")}" target_url: str = f"{self._url}{subdir.lstrip("/")}"
@@ -55,10 +47,10 @@ class Scraper:
def getsoup(self, subdir: str = "/") -> BeautifulSoup: def getsoup(self, subdir: str = "/") -> BeautifulSoup:
""" """
Docstring for getsoup Récupère le contenu HTML d'une page et le transforme en objet BeautifulSoup.
:param self: Description :param subdir: Le chemin de la page. Si None, retourne la soupe actuelle.
:return: Description :return: BeautifulSoup: L'objet parsé pour extraction de données.
:rtype: BeautifulSoup :rtype: BeautifulSoup
""" """
if subdir != None: if subdir != None:
@@ -66,7 +58,16 @@ class Scraper:
self._soup = BeautifulSoup(self._response.text, "html.parser") self._soup = BeautifulSoup(self._response.text, "html.parser")
return self._soup return self._soup
def get_json_data(self): def get_json_data(self) -> Dict[str, Any]:
"""
Extrait les données JSON contenues dans la balise __NEXT_DATA__ du site.
Beaucoup de sites modernes (Next.js) stockent leur état initial dans
une balise <script> pour l'hydratation côté client.
:return Dict[str, Any]: Un dictionnaire contenant les props de la page,
ou un dictionnaire vide en cas d'erreur ou d'absence.
"""
script = self._soup.find("script", id="__NEXT_DATA__") script = self._soup.find("script", id="__NEXT_DATA__")
if script and script.string: if script and script.string:
try: try: