From 0f6eb856c618f9c8801e0e65ebab05fba9258ea5 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Lo=C3=AFc=20GUEZO?= Date: Sun, 1 Mar 2026 19:39:57 +0100 Subject: [PATCH 1/8] ajout: restructuration des fichiers et modifications scraper --- pyproject.toml | 15 +++++++++++++++ requirements.txt | 6 ------ main.py => src/main.py | 0 scraper.py => src/scraper.py | 24 +++++++++++++++++++----- test_main.py => tests/test_main.py | 0 test_scraper.py => tests/test_scraper.py | 0 6 files changed, 34 insertions(+), 11 deletions(-) create mode 100644 pyproject.toml delete mode 100644 requirements.txt rename main.py => src/main.py (100%) rename scraper.py => src/scraper.py (93%) rename test_main.py => tests/test_main.py (100%) rename test_scraper.py => tests/test_scraper.py (100%) diff --git a/pyproject.toml b/pyproject.toml new file mode 100644 index 0000000..19a13ef --- /dev/null +++ b/pyproject.toml @@ -0,0 +1,15 @@ +[project] +name = "projet-millesima-s6" +version = "0.1.0" +dependencies = [ + "requests==2.32.5", + "beautifulsoup4==4.14.3", + "pandas==2.3.3", +] + +[project.optional-dependencies] +test = ["pytest==8.4.2", "requests-mock==1.12.1"] + +[build-system] +requires = ["setuptools"] +build-backend = "setuptools.build_meta" \ No newline at end of file diff --git a/requirements.txt b/requirements.txt deleted file mode 100644 index d119ea1..0000000 --- a/requirements.txt +++ /dev/null @@ -1,6 +0,0 @@ -requests==2.32.5 -requests-mock==1.12.1 -beautifulsoup4==4.14.3 -pytest==8.4.2 -requests-mock==1.12.1 -pandas==2.3.3 \ No newline at end of file diff --git a/main.py b/src/main.py similarity index 100% rename from main.py rename to src/main.py diff --git a/scraper.py b/src/scraper.py similarity index 93% rename from scraper.py rename to src/scraper.py index 736da5f..94873d0 100755 --- a/scraper.py +++ b/src/scraper.py @@ -174,6 +174,18 @@ class Scraper: # Très utile pour éviter de renvoyer toujours les mêmes handshake # TCP et d'avoir toujours une connexion constante avec le server self._session: Session = Session() + # Crée une "fausse carte d'identité" pour éviter que le site nous + # bloque car on serait des robots + self._session.headers.update( + { + "User-Agent": + "Mozilla/5.0 (Windows NT 10.0; Win64; x64) \ + AppleWebKit/537.36 (KHTML, like Gecko) \ + Chrome/122.0.0.0 Safari/537.36", + "Accept-Language": + "fr-FR,fr;q=0.9,en;q=0.8", + } + ) # Système de cache pour éviter de solliciter le serveur inutilement self._latest_request: tuple[(str, Response)] | None = None self._latest_soups: OrderedDict[str, BeautifulSoup] = OrderedDict[ @@ -194,7 +206,8 @@ class Scraper: HTTPError: Si le serveur renvoie un code d'erreur (4xx, 5xx). """ target_url: str = self._url + subdir.lstrip("/") - response: Response = self._session.get(url=target_url, timeout=10) + # envoyer une requête GET sur la page si erreur, renvoie un raise + response: Response = self._session.get(url=target_url, timeout=30) response.raise_for_status() return response @@ -294,7 +307,7 @@ class Scraper: return _ScraperData(cast(dict[str, object], current_data)) - def _geturlproductslist(self, subdir: str): + def _geturlproductslist(self, subdir: str) -> list[str] | None: """_summary_ Args: @@ -318,21 +331,22 @@ class Scraper: except (JSONDecodeError, HTTPError): return None - def getvins(self, subdir: str, filename: str): + def getvins(self, subdir: str, filename: str) -> None: """_summary_ Args: subdir (str): _description_ filename (str): _description_ """ - with open(filename, "a") as f: + with open(filename, "w") as f: cache: set[str] = set[str]() page = 0 _ = f.write("Appellation,Robert,Robinson,Suckling,Prix\n") while True: page += 1 - products_list = self._geturlproductslist(f"{subdir}?page={page}") + products_list: list[str] | None = \ + self._geturlproductslist(f"{subdir}?page={page}") if not products_list: break diff --git a/test_main.py b/tests/test_main.py similarity index 100% rename from test_main.py rename to tests/test_main.py diff --git a/test_scraper.py b/tests/test_scraper.py similarity index 100% rename from test_scraper.py rename to tests/test_scraper.py From a163e7687fed3d994b4a6d755f419e7b9b2126ba Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Lo=C3=AFc=20GUEZO?= Date: Sun, 1 Mar 2026 20:37:16 +0100 Subject: [PATCH 2/8] ajout: modification dependances et ajout documentation --- .github/workflows/python-app.yml | 52 ++++++++++++++++++-------------- docs/index.md | 5 +++ mkdocs.yml | 14 +++++++++ pyproject.toml | 13 +++----- src/scraper.py | 4 +-- tests/test_scraper.py | 2 +- 6 files changed, 56 insertions(+), 34 deletions(-) create mode 100644 docs/index.md create mode 100644 mkdocs.yml diff --git a/.github/workflows/python-app.yml b/.github/workflows/python-app.yml index 1168bd9..89ac80e 100644 --- a/.github/workflows/python-app.yml +++ b/.github/workflows/python-app.yml @@ -5,35 +5,41 @@ name: Python application on: push: - branches: [ "main" ] + branches: ["main"] pull_request: - branches: [ "main" ] + branches: ["main"] permissions: - contents: read + contents: write jobs: build: - runs-on: ubuntu-latest steps: - - uses: actions/checkout@v4 - - name: Set up Python 3.10 - uses: actions/setup-python@v3 - with: - python-version: "3.10" - - name: Install dependencies - run: | - python -m pip install --upgrade pip - pip install flake8 pytest - if [ -f requirements.txt ]; then pip install -r requirements.txt; fi - - name: Lint with flake8 - run: | - # stop the build if there are Python syntax errors or undefined names - flake8 . --count --select=E9,F63,F7,F82 --show-source --statistics - # exit-zero treats all errors as warnings. The GitHub editor is 127 chars wide - flake8 . --count --exit-zero --max-complexity=10 --max-line-length=127 --statistics - - name: Test with pytest - run: | - pytest + - uses: actions/checkout@v4 + + - name: Set up Python 3.10 + uses: actions/setup-python@v4 + with: + python-version: "3.10" + + - name: install dependencies + run: | + python -m pip install --upgrade pip + pip install ".[test,doc]" + + - name: Lint with flake8 + run: | + flake8 . --count --select=E9,F63,F7,F82 --show-source --statistics + flake8 . --count --exit-zero --max-complexity=10 --max-line-length=127 --statistics + + - name: Test with pytest + run: pytest + + - name: Deploy Doc + if: github.event_name == 'push' && github.ref == 'refs/heads/main' + run: | + git config user.name github-actions + git config user.email github-actions@github.com + mkdocs gh-deploy --force diff --git a/docs/index.md b/docs/index.md new file mode 100644 index 0000000..549fea5 --- /dev/null +++ b/docs/index.md @@ -0,0 +1,5 @@ +# Bienvenue sur la doc de Millesima + +Voici la documentation technique de mon scraper. + +::: scraper.Scraper \ No newline at end of file diff --git a/mkdocs.yml b/mkdocs.yml new file mode 100644 index 0000000..4d999dc --- /dev/null +++ b/mkdocs.yml @@ -0,0 +1,14 @@ +site_name: "Projet Millesima S6" + +theme: + name: "material" + +plugins: + - search + - mkdocstrings + +markdown_extensions: + - admonition + - pymdownx.details + - pymdownx.superfences + - pymdownx.tabbed diff --git a/pyproject.toml b/pyproject.toml index 19a13ef..3d9454d 100644 --- a/pyproject.toml +++ b/pyproject.toml @@ -1,15 +1,12 @@ [project] name = "projet-millesima-s6" version = "0.1.0" -dependencies = [ - "requests==2.32.5", - "beautifulsoup4==4.14.3", - "pandas==2.3.3", -] +dependencies = ["requests==2.32.5", "beautifulsoup4==4.14.3", "pandas==2.3.3"] [project.optional-dependencies] -test = ["pytest==8.4.2", "requests-mock==1.12.1"] +test = ["pytest==8.4.2", "requests-mock==1.12.1", "flake8==7.3.0"] +doc = ["mkdocs<2.0.0", "mkdocs-material==9.6.23", "mkdocstrings[python]"] [build-system] -requires = ["setuptools"] -build-backend = "setuptools.build_meta" \ No newline at end of file +requires = ["setuptools", "wheel"] +build-backend = "setuptools.build_meta" diff --git a/src/scraper.py b/src/scraper.py index 94873d0..4f7527f 100755 --- a/src/scraper.py +++ b/src/scraper.py @@ -331,7 +331,7 @@ class Scraper: except (JSONDecodeError, HTTPError): return None - def getvins(self, subdir: str, filename: str) -> None: + def getvins(self, subdir: str, filename: str, reset: bool) -> None: """_summary_ Args: @@ -375,7 +375,7 @@ def main() -> None: if len(argv) != 2: raise ValueError(f"{argv[0]} ") scraper: Scraper = Scraper() - scraper.getvins(argv[1], "donnee.csv") + scraper.getvins(argv[1], "donnee.csv", False) if __name__ == "__main__": diff --git a/tests/test_scraper.py b/tests/test_scraper.py index a75e0c7..5bd6b43 100644 --- a/tests/test_scraper.py +++ b/tests/test_scraper.py @@ -319,7 +319,7 @@ def test_informations(scraper: Scraper): def test_search(scraper: Scraper): m = mock_open() with patch("builtins.open", m): - scraper.getvins("wine.html", "fake_file.csv") + scraper.getvins("wine.html", "fake_file.csv", False) assert m().write.called all_writes = "".join(call.args[0] for call in m().write.call_args_list) From 123c43aa05229941c87685d2c195d5e3f83d4f99 Mon Sep 17 00:00:00 2001 From: =?UTF-8?q?Lo=C3=AFc=20GUEZO?= Date: Sun, 1 Mar 2026 22:35:30 +0100 Subject: [PATCH 3/8] ajout: documentation --- docs/index.md | 6 +-- docs/scraper.md | 3 ++ docs/scraperdata.md | 4 ++ src/scraper.py | 123 +++++++++++++++++++++++++------------------- 4 files changed, 79 insertions(+), 57 deletions(-) create mode 100644 docs/scraper.md create mode 100644 docs/scraperdata.md diff --git a/docs/index.md b/docs/index.md index 549fea5..8e44418 100644 --- a/docs/index.md +++ b/docs/index.md @@ -1,5 +1 @@ -# Bienvenue sur la doc de Millesima - -Voici la documentation technique de mon scraper. - -::: scraper.Scraper \ No newline at end of file +# Millesima \ No newline at end of file diff --git a/docs/scraper.md b/docs/scraper.md new file mode 100644 index 0000000..1141949 --- /dev/null +++ b/docs/scraper.md @@ -0,0 +1,3 @@ +# Scraper + +::: scraper.Scraper \ No newline at end of file diff --git a/docs/scraperdata.md b/docs/scraperdata.md new file mode 100644 index 0000000..9197c05 --- /dev/null +++ b/docs/scraperdata.md @@ -0,0 +1,4 @@ + +# _ScraperData + +::: scraper._ScraperData \ No newline at end of file diff --git a/src/scraper.py b/src/scraper.py index 4f7527f..0dcc474 100755 --- a/src/scraper.py +++ b/src/scraper.py @@ -9,21 +9,28 @@ from json import JSONDecodeError, loads class _ScraperData: - """_summary_""" + """ + Conteneur de données spécialisé pour extraire les informations des dictionnaires JSON. + + Cette classe agit comme une interface simplifiée au-dessus du dictionnaire brut + renvoyé par la balise __NEXT_DATA__ du site Millesima. + """ def __init__(self, data: dict[str, object]) -> None: - """_summary_ + """ + Initialise le conteneur avec un dictionnaire de données. Args: - data (dict[str, object]): _description_ + data (dict[str, object]): Le dictionnaire JSON brut extrait de la page. """ self._data: dict[str, object] = data def _getcontent(self) -> dict[str, object] | None: - """_summary_ + """ + Navigue dans l'arborescence Redux pour atteindre le contenu du produit. Returns: - dict[str, object]: _description_ + dict[str, object] | None: Le dictionnaire du produit ou None si la structure diffère. """ current_data: dict[str, object] = self._data for key in ["initialReduxState", "product", "content"]: @@ -35,10 +42,11 @@ class _ScraperData: return current_data def _getattributes(self) -> dict[str, object] | None: - """_summary_ + """ + Extrait les attributs techniques (notes, appellations, etc.) du produit. Returns: - dict[str, object]: _description_ + dict[str, object] | None: Les attributs du vin ou None. """ current_data: object = self._getcontent() if current_data is None: @@ -47,9 +55,13 @@ class _ScraperData: def prix(self) -> float | None: """ - Retourne le prix unitaire d'une bouteille (75cl). + Calcule le prix unitaire d'une bouteille (standardisée à 75cl). - Si aucun prix n'est disponible, retourne None. + Le site vend souvent par caisses (6, 12 bouteilles) ou formats (Magnum). + Cette méthode normalise le prix pour obtenir celui d'une seule unité. + + Returns: + float | None: Le prix calculé arrondi à 2 décimales, ou None. """ content = self._getcontent() @@ -91,10 +103,11 @@ class _ScraperData: return prix_calcule def appellation(self) -> str | None: - """_summary_ + """ + Extrait le nom de l'appellation du vin. Returns: - str: _description_ + str | None: Le nom (ex: 'Pauillac') ou None. """ attrs: dict[str, object] | None = self._getattributes() @@ -105,13 +118,16 @@ class _ScraperData: return None def _getcritiques(self, name: str) -> str | None: - """_summary_ + """ + Méthode générique pour parser les notes des critiques (Parker, Suckling, etc.). + + Gère les notes simples ("95") et les plages de notes ("95-97") en faisant la moyenne. Args: - name (str): _description_ + name (str): La clé de l'attribut dans le JSON (ex: 'note_rp'). Returns: - str | None: _description_ + str | None: La note formatée en chaîne de caractères ou None. """ current_value: dict[str, object] | None = self._getattributes() @@ -130,45 +146,53 @@ class _ScraperData: return None def parker(self) -> str | None: + """Note Robert Parker.""" return self._getcritiques("note_rp") def robinson(self) -> str | None: + """Note Jancis Robinson.""" return self._getcritiques("note_jr") def suckling(self) -> str | None: + """Note James Suckling.""" return self._getcritiques("note_js") def getdata(self) -> dict[str, object]: + """Retourne le dictionnaire de données complet.""" return self._data def informations(self) -> str: """ - Retourne toutes les informations sous la forme : - "Appelation,Parker,J.Robinson,J.Suckling,Prix" + Agrège les données clés pour l'export CSV. + + Returns: + str: Ligne formatée : "Appellation,Parker,Robinson,Suckling,Prix". """ appellation = self.appellation() parker = self.parker() robinson = self.robinson() suckling = self.suckling() - try: - prix = self.prix() - except ValueError: - prix = None + prix = self.prix() return f"{appellation},{parker},{robinson},{suckling},{prix}" class Scraper: """ - Scraper est une classe qui permet de gerer - de façon dynamique des requetes uniquement - sur le serveur https de Millesima + Client HTTP optimisé pour le scraping de millesima.fr. + + Gère la session persistante, les headers de navigation et un cache double + pour optimiser les performances et la discrétion. """ def __init__(self) -> None: """ - Initialise la session de scraping. + Initialise l'infrastructure de navigation: + + - créer une session pour éviter de faire un handshake pour chaque requête + - ajout d'un header pour éviter le blocage de l'accès au site + - ajout d'un système de cache """ self._url: str = "https://www.millesima.fr/" # Très utile pour éviter de renvoyer toujours les mêmes handshake @@ -178,16 +202,16 @@ class Scraper: # bloque car on serait des robots self._session.headers.update( { - "User-Agent": - "Mozilla/5.0 (Windows NT 10.0; Win64; x64) \ + "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) \ AppleWebKit/537.36 (KHTML, like Gecko) \ Chrome/122.0.0.0 Safari/537.36", - "Accept-Language": - "fr-FR,fr;q=0.9,en;q=0.8", + "Accept-Language": "fr-FR,fr;q=0.9,en;q=0.8", } ) # Système de cache pour éviter de solliciter le serveur inutilement + # utilise pour _request self._latest_request: tuple[(str, Response)] | None = None + # utilise pour getsoup self._latest_soups: OrderedDict[str, BeautifulSoup] = OrderedDict[ str, BeautifulSoup ]() @@ -202,7 +226,7 @@ class Scraper: Returns: Response: L'objet réponse de la requête. - Raise: + Raises: HTTPError: Si le serveur renvoie un code d'erreur (4xx, 5xx). """ target_url: str = self._url + subdir.lstrip("/") @@ -223,7 +247,7 @@ class Scraper: Returns: Response: L'objet réponse (cache ou nouvelle requête). - Raise: + Raises: HTTPError: Si le serveur renvoie un code d'erreur (4xx, 5xx). """ @@ -253,7 +277,7 @@ class Scraper: Returns: BeautifulSoup: L'objet parsé pour extraction de données. - Raise: + Raises: HTTPError: Si le serveur renvoie un code d'erreur (4xx, 5xx). """ @@ -274,23 +298,20 @@ class Scraper: def getjsondata(self, subdir: str, id: str = "__NEXT_DATA__") -> _ScraperData: """ Extrait les données JSON contenues dans la balise __NEXT_DATA__ du site. - Beaucoup de sites modernes (Next.js) stockent leur état initial dans - une balise