diff --git a/.github/workflows/python-app.yml b/.github/workflows/python-app.yml index 1168bd9..89ac80e 100644 --- a/.github/workflows/python-app.yml +++ b/.github/workflows/python-app.yml @@ -5,35 +5,41 @@ name: Python application on: push: - branches: [ "main" ] + branches: ["main"] pull_request: - branches: [ "main" ] + branches: ["main"] permissions: - contents: read + contents: write jobs: build: - runs-on: ubuntu-latest steps: - - uses: actions/checkout@v4 - - name: Set up Python 3.10 - uses: actions/setup-python@v3 - with: - python-version: "3.10" - - name: Install dependencies - run: | - python -m pip install --upgrade pip - pip install flake8 pytest - if [ -f requirements.txt ]; then pip install -r requirements.txt; fi - - name: Lint with flake8 - run: | - # stop the build if there are Python syntax errors or undefined names - flake8 . --count --select=E9,F63,F7,F82 --show-source --statistics - # exit-zero treats all errors as warnings. The GitHub editor is 127 chars wide - flake8 . --count --exit-zero --max-complexity=10 --max-line-length=127 --statistics - - name: Test with pytest - run: | - pytest + - uses: actions/checkout@v4 + + - name: Set up Python 3.10 + uses: actions/setup-python@v4 + with: + python-version: "3.10" + + - name: install dependencies + run: | + python -m pip install --upgrade pip + pip install ".[test,doc]" + + - name: Lint with flake8 + run: | + flake8 . --count --select=E9,F63,F7,F82 --show-source --statistics + flake8 . --count --exit-zero --max-complexity=10 --max-line-length=127 --statistics + + - name: Test with pytest + run: pytest + + - name: Deploy Doc + if: github.event_name == 'push' && github.ref == 'refs/heads/main' + run: | + git config user.name github-actions + git config user.email github-actions@github.com + mkdocs gh-deploy --force diff --git a/docs/index.md b/docs/index.md new file mode 100644 index 0000000..8e44418 --- /dev/null +++ b/docs/index.md @@ -0,0 +1 @@ +# Millesima \ No newline at end of file diff --git a/docs/scraper.md b/docs/scraper.md new file mode 100644 index 0000000..1141949 --- /dev/null +++ b/docs/scraper.md @@ -0,0 +1,3 @@ +# Scraper + +::: scraper.Scraper \ No newline at end of file diff --git a/docs/scraperdata.md b/docs/scraperdata.md new file mode 100644 index 0000000..9197c05 --- /dev/null +++ b/docs/scraperdata.md @@ -0,0 +1,4 @@ + +# _ScraperData + +::: scraper._ScraperData \ No newline at end of file diff --git a/main.py b/main.py deleted file mode 100755 index 59d1b2c..0000000 --- a/main.py +++ /dev/null @@ -1,20 +0,0 @@ -#!/usr/bin/env python3 - -from os import getcwd -from os.path import normpath, join -from sys import argv -from pandas import read_csv, DataFrame - -def main() -> None: - if len(argv) != 2: - raise ValueError(f"{argv[0]} ") - - path: str = normpath(join(getcwd(), argv[1])) - db: DataFrame = read_csv(path) - print(db.all()) - -if __name__ == "__main__": - try: - main() - except Exception as e: - print(f"ERREUR: {e}") \ No newline at end of file diff --git a/mkdocs.yml b/mkdocs.yml new file mode 100644 index 0000000..4d999dc --- /dev/null +++ b/mkdocs.yml @@ -0,0 +1,14 @@ +site_name: "Projet Millesima S6" + +theme: + name: "material" + +plugins: + - search + - mkdocstrings + +markdown_extensions: + - admonition + - pymdownx.details + - pymdownx.superfences + - pymdownx.tabbed diff --git a/pyproject.toml b/pyproject.toml new file mode 100644 index 0000000..6d14d59 --- /dev/null +++ b/pyproject.toml @@ -0,0 +1,12 @@ +[project] +name = "projet-millesima-s6" +version = "0.1.0" +dependencies = ["requests==2.32.5", "beautifulsoup4==4.14.3", "pandas==2.3.3", "tqdm==4.67.3"] + +[project.optional-dependencies] +test = ["pytest==8.4.2", "requests-mock==1.12.1", "flake8==7.3.0"] +doc = ["mkdocs<2.0.0", "mkdocs-material==9.6.23", "mkdocstrings[python]"] + +[build-system] +requires = ["setuptools", "wheel"] +build-backend = "setuptools.build_meta" diff --git a/requirements.txt b/requirements.txt deleted file mode 100644 index d119ea1..0000000 --- a/requirements.txt +++ /dev/null @@ -1,6 +0,0 @@ -requests==2.32.5 -requests-mock==1.12.1 -beautifulsoup4==4.14.3 -pytest==8.4.2 -requests-mock==1.12.1 -pandas==2.3.3 \ No newline at end of file diff --git a/scraper.py b/src/scraper.py similarity index 50% rename from scraper.py rename to src/scraper.py index 736da5f..2a11571 100755 --- a/scraper.py +++ b/src/scraper.py @@ -1,29 +1,78 @@ #!/usr/bin/env python3 -from sys import argv -from typing import cast -from requests import HTTPError, Response, Session -from bs4 import BeautifulSoup, Tag from collections import OrderedDict +from io import SEEK_END, SEEK_SET, BufferedWriter from json import JSONDecodeError, loads +from os import makedirs +from os.path import dirname, exists, join, normpath, realpath +from pickle import UnpicklingError, dump, load +from sys import argv +from tqdm.std import tqdm +from typing import Any, Callable, Literal, TypeVar, cast +from bs4 import BeautifulSoup, Tag +from requests import HTTPError, Response, Session + +_dir: str = dirname(realpath(__name__)) + +T = TypeVar("T") + + +def _getcache(mode: Literal["rb", "wb"], fn: Callable[[Any], T]) -> T | None: + """_summary_ + + Returns: + _type_: _description_ + """ + cache_dirname = normpath(join(_dir, ".cache")) + save_path = normpath(join(cache_dirname, "save")) + + if not exists(cache_dirname): + makedirs(cache_dirname) + + try: + with open(save_path, mode) as f: + return fn(f) + except (FileNotFoundError, EOFError, UnpicklingError): + return None + + +def savestate(data: tuple[int, set[str]]) -> None: + def save(f: BufferedWriter) -> None: + _ = f.seek(0) + _ = f.truncate() + dump(data, f) + f.flush() + + _getcache("wb", save) + + +def loadstate() -> tuple[int, set[str]] | None: + return _getcache("rb", lambda f: load(f)) class _ScraperData: - """_summary_""" + """ + Conteneur de données spécialisé pour extraire les informations des dictionnaires JSON. + + Cette classe agit comme une interface simplifiée au-dessus du dictionnaire brut + renvoyé par la balise __NEXT_DATA__ du site Millesima. + """ def __init__(self, data: dict[str, object]) -> None: - """_summary_ + """ + Initialise le conteneur avec un dictionnaire de données. Args: - data (dict[str, object]): _description_ + data (dict[str, object]): Le dictionnaire JSON brut extrait de la page. """ self._data: dict[str, object] = data def _getcontent(self) -> dict[str, object] | None: - """_summary_ + """ + Navigue dans l'arborescence Redux pour atteindre le contenu du produit. Returns: - dict[str, object]: _description_ + dict[str, object] | None: Le dictionnaire du produit ou None si la structure diffère. """ current_data: dict[str, object] = self._data for key in ["initialReduxState", "product", "content"]: @@ -35,10 +84,11 @@ class _ScraperData: return current_data def _getattributes(self) -> dict[str, object] | None: - """_summary_ + """ + Extrait les attributs techniques (notes, appellations, etc.) du produit. Returns: - dict[str, object]: _description_ + dict[str, object] | None: Les attributs du vin ou None. """ current_data: object = self._getcontent() if current_data is None: @@ -47,9 +97,13 @@ class _ScraperData: def prix(self) -> float | None: """ - Retourne le prix unitaire d'une bouteille (75cl). + Calcule le prix unitaire d'une bouteille (standardisée à 75cl). - Si aucun prix n'est disponible, retourne None. + Le site vend souvent par caisses (6, 12 bouteilles) ou formats (Magnum). + Cette méthode normalise le prix pour obtenir celui d'une seule unité. + + Returns: + float | None: Le prix calculé arrondi à 2 décimales, ou None. """ content = self._getcontent() @@ -91,13 +145,13 @@ class _ScraperData: return prix_calcule def appellation(self) -> str | None: - """_summary_ + """ + Extrait le nom de l'appellation du vin. Returns: - str: _description_ + str | None: Le nom (ex: 'Pauillac') ou None. """ attrs: dict[str, object] | None = self._getattributes() - if attrs is not None: app_dict: object | None = attrs.get("appellation") if isinstance(app_dict, dict): @@ -105,13 +159,16 @@ class _ScraperData: return None def _getcritiques(self, name: str) -> str | None: - """_summary_ + """ + Méthode générique pour parser les notes des critiques (Parker, Suckling, etc.). + + Gère les notes simples ("95") et les plages de notes ("95-97") en faisant la moyenne. Args: - name (str): _description_ + name (str): La clé de l'attribut dans le JSON (ex: 'note_rp'). Returns: - str | None: _description_ + str | None: La note formatée en chaîne de caractères ou None. """ current_value: dict[str, object] | None = self._getattributes() @@ -130,52 +187,72 @@ class _ScraperData: return None def parker(self) -> str | None: + """Note Robert Parker.""" return self._getcritiques("note_rp") def robinson(self) -> str | None: + """Note Jancis Robinson.""" return self._getcritiques("note_jr") def suckling(self) -> str | None: + """Note James Suckling.""" return self._getcritiques("note_js") def getdata(self) -> dict[str, object]: + """Retourne le dictionnaire de données complet.""" return self._data def informations(self) -> str: """ - Retourne toutes les informations sous la forme : - "Appelation,Parker,J.Robinson,J.Suckling,Prix" + Agrège les données clés pour l'export CSV. + + Returns: + str: Ligne formatée : "Appellation,Parker,Robinson,Suckling,Prix". """ appellation = self.appellation() parker = self.parker() robinson = self.robinson() suckling = self.suckling() - try: - prix = self.prix() - except ValueError: - prix = None + prix = self.prix() return f"{appellation},{parker},{robinson},{suckling},{prix}" class Scraper: """ - Scraper est une classe qui permet de gerer - de façon dynamique des requetes uniquement - sur le serveur https de Millesima + Client HTTP optimisé pour le scraping de millesima.fr. + + Gère la session persistante, les headers de navigation et un cache double + pour optimiser les performances et la discrétion. """ def __init__(self) -> None: """ - Initialise la session de scraping. + Initialise l'infrastructure de navigation: + + - créer une session pour éviter de faire un handshake pour chaque requête + - ajout d'un header pour éviter le blocage de l'accès au site + - ajout d'un système de cache """ self._url: str = "https://www.millesima.fr/" # Très utile pour éviter de renvoyer toujours les mêmes handshake # TCP et d'avoir toujours une connexion constante avec le server self._session: Session = Session() + # Crée une "fausse carte d'identité" pour éviter que le site nous + # bloque car on serait des robots + self._session.headers.update( + { + "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) \ + AppleWebKit/537.36 (KHTML, like Gecko) \ + Chrome/122.0.0.0 Safari/537.36", + "Accept-Language": "fr-FR,fr;q=0.9,en;q=0.8", + } + ) # Système de cache pour éviter de solliciter le serveur inutilement + # utilise pour _request self._latest_request: tuple[(str, Response)] | None = None + # utilise pour getsoup self._latest_soups: OrderedDict[str, BeautifulSoup] = OrderedDict[ str, BeautifulSoup ]() @@ -190,11 +267,12 @@ class Scraper: Returns: Response: L'objet réponse de la requête. - Raise: + Raises: HTTPError: Si le serveur renvoie un code d'erreur (4xx, 5xx). """ target_url: str = self._url + subdir.lstrip("/") - response: Response = self._session.get(url=target_url, timeout=10) + # envoyer une requête GET sur la page si erreur, renvoie un raise + response: Response = self._session.get(url=target_url, timeout=30) response.raise_for_status() return response @@ -210,7 +288,7 @@ class Scraper: Returns: Response: L'objet réponse (cache ou nouvelle requête). - Raise: + Raises: HTTPError: Si le serveur renvoie un code d'erreur (4xx, 5xx). """ @@ -240,7 +318,7 @@ class Scraper: Returns: BeautifulSoup: L'objet parsé pour extraction de données. - Raise: + Raises: HTTPError: Si le serveur renvoie un code d'erreur (4xx, 5xx). """ @@ -261,23 +339,20 @@ class Scraper: def getjsondata(self, subdir: str, id: str = "__NEXT_DATA__") -> _ScraperData: """ Extrait les données JSON contenues dans la balise __NEXT_DATA__ du site. - Beaucoup de sites modernes (Next.js) stockent leur état initial dans - une balise