mirror of
https://github.com/guezoloic/millesima_projetS6.git
synced 2026-03-29 03:23:47 +00:00
ajout(main.py): ajout commentaires
This commit is contained in:
39
main.py
39
main.py
@@ -1,5 +1,5 @@
|
|||||||
import requests
|
import requests
|
||||||
from typing import Any
|
from typing import Any, Dict
|
||||||
from bs4 import BeautifulSoup
|
from bs4 import BeautifulSoup
|
||||||
import json
|
import json
|
||||||
|
|
||||||
@@ -13,11 +13,7 @@ class Scraper:
|
|||||||
|
|
||||||
def __init__(self):
|
def __init__(self):
|
||||||
"""
|
"""
|
||||||
Docstring for __init__
|
Initialise la session de scraping et récupère la page d'accueil.
|
||||||
|
|
||||||
:param self: Description
|
|
||||||
:param subdir: Description
|
|
||||||
:type subdir: str
|
|
||||||
"""
|
"""
|
||||||
# Très utile pour éviter de renvoyer toujours les mêmes handshake
|
# Très utile pour éviter de renvoyer toujours les mêmes handshake
|
||||||
# TCP et d'avoir toujours une connexion constante avec le server
|
# TCP et d'avoir toujours une connexion constante avec le server
|
||||||
@@ -27,15 +23,11 @@ class Scraper:
|
|||||||
|
|
||||||
def _request(self, subdir: str, use_cache: bool = True) -> requests.Response | requests.HTTPError:
|
def _request(self, subdir: str, use_cache: bool = True) -> requests.Response | requests.HTTPError:
|
||||||
"""
|
"""
|
||||||
Docstring for _request
|
Effectue une requête GET sur le serveur Millesima.
|
||||||
|
:param subdir: Le sous-répertoire ou chemin de l'URL (ex: "/vins").
|
||||||
:param self: Description
|
:param use_cache: Si True, retourne la réponse précédente si l'URL est identique.
|
||||||
:param subdir: Description
|
:return: requests.Response: L'objet réponse de la requête.
|
||||||
:type subdir: str
|
:rtype: requests.HTTPError: Si le serveur renvoie un code d'erreur (4xx, 5xx).
|
||||||
:param use_cache: Description
|
|
||||||
:type use_cache: bool
|
|
||||||
:return: Description
|
|
||||||
:rtype: Response | AttributeError
|
|
||||||
"""
|
"""
|
||||||
|
|
||||||
target_url: str = f"{self._url}{subdir.lstrip("/")}"
|
target_url: str = f"{self._url}{subdir.lstrip("/")}"
|
||||||
@@ -55,10 +47,10 @@ class Scraper:
|
|||||||
|
|
||||||
def getsoup(self, subdir: str = "/") -> BeautifulSoup:
|
def getsoup(self, subdir: str = "/") -> BeautifulSoup:
|
||||||
"""
|
"""
|
||||||
Docstring for getsoup
|
Récupère le contenu HTML d'une page et le transforme en objet BeautifulSoup.
|
||||||
|
|
||||||
:param self: Description
|
:param subdir: Le chemin de la page. Si None, retourne la soupe actuelle.
|
||||||
:return: Description
|
:return: BeautifulSoup: L'objet parsé pour extraction de données.
|
||||||
:rtype: BeautifulSoup
|
:rtype: BeautifulSoup
|
||||||
"""
|
"""
|
||||||
if subdir != None:
|
if subdir != None:
|
||||||
@@ -66,7 +58,16 @@ class Scraper:
|
|||||||
self._soup = BeautifulSoup(self._response.text, "html.parser")
|
self._soup = BeautifulSoup(self._response.text, "html.parser")
|
||||||
return self._soup
|
return self._soup
|
||||||
|
|
||||||
def get_json_data(self):
|
def get_json_data(self) -> Dict[str, Any]:
|
||||||
|
"""
|
||||||
|
Extrait les données JSON contenues dans la balise __NEXT_DATA__ du site.
|
||||||
|
|
||||||
|
Beaucoup de sites modernes (Next.js) stockent leur état initial dans
|
||||||
|
une balise <script> pour l'hydratation côté client.
|
||||||
|
|
||||||
|
:return Dict[str, Any]: Un dictionnaire contenant les props de la page,
|
||||||
|
ou un dictionnaire vide en cas d'erreur ou d'absence.
|
||||||
|
"""
|
||||||
script = self._soup.find("script", id="__NEXT_DATA__")
|
script = self._soup.find("script", id="__NEXT_DATA__")
|
||||||
if script and script.string:
|
if script and script.string:
|
||||||
try:
|
try:
|
||||||
|
|||||||
Reference in New Issue
Block a user