guezoloic/millesima-ai-engine
1
0
Fork 0
mirror of https://github.com/guezoloic/millesima-ai-engine.git synced 2026-03-28 18:03:47 +00:00
Code Issues Packages Projects Releases Wiki Activity

correction: ajout bon formattage pour flake8

Browse Source
This commit is contained in:
Loïc GUEZO
2026-02-04 23:15:25 +01:00
parent a1033b240f
commit ef62022f8d
1 changed files with 25 additions and 17 deletions
Download Patch File Download Diff File Expand all files Collapse all files

34
main.py
View File

@@ -21,21 +21,25 @@ class Scraper:
self._url: str = "https://www.millesima.fr/"
self._soup = self.getsoup()
def _request(self, subdir: str, use_cache: bool = True) -> requests.Response | requests.HTTPError:
def _request(
self, subdir: str, use_cache: bool = True
) -> requests.Response | requests.HTTPError:
"""
Effectue une requête GET sur le serveur Millesima.
:param subdir: Le sous-répertoire ou chemin de l'URL (ex: "/vins").
:param use_cache: Si True, retourne la réponse précédente si l'URL est identique.
:param use_cache: Si True, retourne la réponse précédente si l'URL est
identique.
:return: requests.Response: L'objet réponse de la requête.
:rtype: requests.HTTPError: Si le serveur renvoie un code d'erreur (4xx, 5xx).
:rtype: requests.HTTPError: Si le serveur renvoie un code d'erreur
(4xx, 5xx).
"""
target_url: str = f"{self._url}{subdir.lstrip("/")}"
target_url: str = f"{self._url}{subdir.lstrip('/')}"
# Éviter un max possible de faire des requetes au servers même
# en ayant un tunnel tcp avec le paramètre `use_cache` que si
# activer, va comparer l'url avec l'url précédant
if use_cache and hasattr(self, "_response") and self._response is not None:
if use_cache and hasattr(self, "_response") \
and self._response is not None:
if self._response.url == target_url:
return self._response
@@ -47,32 +51,36 @@ class Scraper:
def getsoup(self, subdir: str = "/") -> BeautifulSoup:
"""
Récupère le contenu HTML d'une page et le transforme en objet BeautifulSoup.
Récupère le contenu HTML d'une page et le transforme en objet
BeautifulSoup.
:param subdir: Le chemin de la page. Si None, retourne la soupe actuelle.
:param subdir: Le chemin de la page. Si None, retourne la soupe
actuelle.
:return: BeautifulSoup: L'objet parsé pour extraction de données.
:rtype: BeautifulSoup
"""
if subdir != None:
if subdir is not None:
self._request(subdir)
self._soup = BeautifulSoup(self._response.text, "html.parser")
return self._soup
def get_json_data(self) -> Dict[str, Any]:
"""
Extrait les données JSON contenues dans la balise __NEXT_DATA__ du site.
Extrait les données JSON contenues dans la balise __NEXT_DATA__ du
site.
Beaucoup de sites modernes (Next.js) stockent leur état initial dans
une balise <script> pour l'hydratation côté client.
:return Dict[str, Any]: Un dictionnaire contenant les props de la page,
ou un dictionnaire vide en cas d'erreur ou d'absence.
ou un dictionnaire vide en cas d'erreur ou
d'absence.
"""
script = self._soup.find("script", id="__NEXT_DATA__")
if script and script.string:
try:
data: dict[str, Any] = json.loads(script.string)
for element in ['props', 'pageProps', 'initialReduxState', 'product', 'content']:
for element in ['props', 'pageProps', 'initialReduxState',
'product', 'content']:
data.get(element)
return data
except json.decoder.JSONDecodeError: