Construire un scraper web avec Python et BeautifulSoup en 2026

Vous allez construire un scraper web fonctionnel avec Python 3.10+, BeautifulSoup 4.14.3 et Requests 2.34.1 en 20 minutes, capable d'extraire des données structurées depuis n'importe quelle page HTML. Documentation officielle BeautifulSoup — PyPI beautifulsoup4 4.14.3.

Ce que vous allez construire et pourquoi en 2026

Un script Python qui scrape automatiquement les titres, prix et liens d'une page web, exporte les résultats en CSV et gère les erreurs courantes (404, anti-bot, encodage). Prérequis : Python 3.10 ou supérieur, 4 Go de RAM minimum, macOS/Linux/Windows. Temps estimé : 20 minutes sur Mac M1, 30 minutes sur Intel. BeautifulSoup est gratuit, open-source sous licence MIT, et compatible Python 3.7+.

Installation : commandes exactes à copier

python3 -m venv scraper-env
source scraper-env/bin/activate # Linux/macOS
# scraper-envScriptsactivate # Windows
pip install beautifulsoup4==4.14.3 requests==2.34.1 lxml

Résultat attendu : Successfully installed beautifulsoup4-4.14.3 requests-2.34.1 lxml-5.3.0. Erreur courante : ERROR: Could not build wheel for lxml → installer les bibliothèques système avec sudo apt install libxml2-dev libxslt1-dev (Ubuntu) ou xcode-select --install (macOS).

Configuration : les fichiers et variables à définir

Créez un fichier .env à la racine du projet :

# .env
TARGET_URL=https://books.toscrape.com
OUTPUT_DIR=./output
DELAY_SECONDS=1
USER_AGENT=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36

TARGET_URL est l'URL cible. DELAY_SECONDS est le délai entre chaque requête (1 seconde minimum pour respecter le serveur). USER_AGENT identifie votre scraper — ne pas laisser la valeur par défaut de Requests (python-requests/2.34.1) car certains sites la bloquent.

Le code du projet : construire la fonctionnalité principale

Créez scraper.py :

import csv
import os
import time
from pathlib import Path import requests
from bs4 import BeautifulSoup
from dotenv import load_dotenv load_dotenv() TARGET_URL = os.getenv("TARGET_URL", "https://books.toscrape.com")
OUTPUT_DIR = Path(os.getenv("OUTPUT_DIR", "./output"))
DELAY = int(os.getenv("DELAY_SECONDS", "1"))
HEADERS = {"User-Agent": os.getenv("USER_AGENT", "ScraperBot/1.0")} def fetch_page(url: str) -> BeautifulSoup: """Télécharge une page et retourne un objet BeautifulSoup.""" response = requests.get(url, headers=HEADERS, timeout=10) response.raise_for_status() # Utiliser .content (bytes) pas .text (str) pour éviter # les problèmes d'encodage return BeautifulSoup(response.content, "lxml") def extract_books(soup: BeautifulSoup) -> list[dict]: """Extrait les données de chaque livre sur la page.""" books = [] articles = soup.find_all("article", class_="product_pod") for article in articles: title = article.h3.a["title"] price = article.find("p", class_="price_color").get_text(strip=True) link = article.h3.a["href"] books.append({"title": title, "price": price, "link": link}) return books def save_to_csv(data: list[dict], filename: str) -> None: """Sauvegarde les données en CSV.""" OUTPUT_DIR.mkdir(parents=True, exist_ok=True) filepath = OUTPUT_DIR / filename with open(filepath, "w", newline="", encoding="utf-8") as f: writer = csv.DictWriter(f, fieldnames=["title", "price", "link"]) writer.writeheader() writer.writerows(data) print(f"{len(data)} livres sauvegardés dans {filepath}") def main(): print(f"Scraping {TARGET_URL}..") soup = fetch_page(TARGET_URL) books = extract_books(soup) save_to_csv(books, "books.csv") time.sleep(DELAY) if __name__ == "__main__": main()

Points clés du code : response.content (bytes) plutôt que response.text pour éviter les erreurs d'encodage, le parser "lxml" plus rapide que "html.parser", et response.raise_for_status() qui lève une exception sur les codes 4xx/5xx. Chaque fonction fait une seule chose — c'est le pattern recommandé par la documentation BeautifulSoup.

Tester et valider que ça fonctionne

pip install python-dotenv
python scraper.py

Sortie attendue :

Scraping https://books.toscrape.com..
20 livres sauvegardés dans output/books.csv

Vérifiez le fichier CSV :

head output/books.csv
title,price,link
A Light in the Attic,£51.77,catalogue/a-light-in-the-attic_1000/index.html
..

Si vous obtenez AttributeError: 'NoneType' object has no attribute 'text', c'est que le sélecteur CSS ne trouve pas l'élément. Ouvrez la page dans votre navigateur, clic droit → Inspecter, et vérifiez que la classe CSS correspond exactement à ce que votre code cherche.

Déployer et utiliser en production

Pour exécuter le scraper régulièrement avec cron (Linux/macOS) :

# Éditer le crontab
crontab -e
# Exécuter chaque jour à 6h du matin
0 6 * * * cd /chemin/vers/projet && /chemin/vers/scraper-env/bin/python scraper.py >> scraper.log 2>&1

Pour un déploiement Docker :

# Dockerfile
FROM python:3.12-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
COPY .
CMD ["python", "scraper.py"]

Pour mettre à jour BeautifulSoup : pip install --upgrade beautifulsoup4. Vérifiez la version avec pip show beautifulsoup4.

Aller plus loin : 3 extensions concrètes

1. Scroller plusieurs pages : Ajoutez une boucle qui suit les liens « Next » avec soup.find("li", class_="next").a["href"]. Ajoutez un paramètre max_pages pour limiter le nombre de pages.

2. Exporter en JSON au lieu de CSV : Remplacez save_to_csv par import json; json.dump(data, open(filepath, "w"), ensure_ascii=False, indent=2). Plus adapté pour les API.

3. Gérer le JavaScript rendering : Installez pip install selenium webdriver-manager et remplacez requests.get() par un driver Selenium qui attend le chargement dynamique. Nécessaire pour les sites React/Vue.