Scraper tes leads en langage naturel : le skill Claude Code qui remplace ton abonnement scraper

Le piège est sur la première ligne. macOS livre encore un python3 en 3.9, et la bibliothèque exige 3.12 minimum. Le venv doit donc être créé avec une version explicite, sinon l'install échoue avant même de télécharger quoi que ce soit.

python3.12 -m venv ~/scraper-env
~/scraper-env/bin/pip install scrapegraphai
~/scraper-env/bin/playwright install chromium

Si python3.12 n'existe pas sur ta machine, brew install python@3.12 sur macOS, ou le paquet équivalent de ta distribution.

La deuxième commande installe une centaine de paquets (LangChain, Playwright, les clients OpenAI et Ollama). La troisième télécharge le navigateur qui chargera les pages, environ 95 Mo. Sans elle, la collecte échoue au moment de rendre la page.

Puis la clé du modèle, dans ton shell et dans ton ~/.zshrc pour la garder d'une session à l'autre :

export OPENAI_API_KEY="ta-cle"

Un skill Claude Code est un dossier contenant un fichier SKILL.md. Dans ~/.claude/skills/, il est disponible dans tous tes projets. Dans .claude/skills/ à la racine d'un projet, il ne vit que dans ce projet.

mkdir -p ~/.claude/skills/scraper

Le contenu de ~/.claude/skills/scraper/SKILL.md :

---
name: scraper
description: Extraction web en langage naturel avec ScrapeGraphAI. À utiliser
  quand on demande de scraper des leads, des emails, des annonces, des offres
  d'emploi, ou n'importe quelle liste depuis une page web.
---

# Scraper

Pour toute demande d'extraction depuis une URL, exécute
`~/scraper-env/bin/python ~/scraper-env/scrape.py "<demande>" "<url>"`.
Le script rend du JSON.

Ensuite :
- affiche le résultat en tableau markdown
- écris un CSV à côté dès qu'il y a plus de dix lignes
- ne réécris jamais une valeur extraite et ne comble jamais un trou

Deux choses comptent dans ce fichier. La description est ce que Claude lit pour décider d'utiliser le skill, donc elle doit contenir les mots que tu emploies vraiment : scraper, leads, emails, liste. Le name est optionnel, il reprend le nom du dossier par défaut.

La dernière ligne des instructions vaut le détour : sans elle, un modèle serviable a tendance à compléter une fiche incomplète avec ce qui lui semble probable. Sur un fichier de prospection, c'est exactement ce que tu ne veux pas.

Le skill décide quand extraire, le script fait le travail. Vingt-cinq lignes suffisent.

import json, os, sys
from typing import List, Optional
from pydantic import BaseModel
from scrapegraphai.graphs import SmartScraperGraph

class Ligne(BaseModel):
    nom: str
    role: Optional[str] = None
    email: Optional[str] = None
    societe: Optional[str] = None
    lien: Optional[str] = None

class Resultat(BaseModel):
    lignes: List[Ligne]

config = {
    "llm": {
        "api_key": os.environ["OPENAI_API_KEY"],
        "model": "openai/gpt-4o-mini",
    },
    "headless": True,
    "verbose": False,
}

demande, url = sys.argv[1], sys.argv[2]
graph = SmartScraperGraph(prompt=demande, source=url, config=config, schema=Resultat)
print(json.dumps(graph.run(), ensure_ascii=False, indent=2))

Pour le tester sans passer par Claude Code :

~/scraper-env/bin/python ~/scraper-env/scrape.py \
  "tous les membres de l'équipe avec leur rôle et leur email" \
  "https://exemple.com/equipe"

Le paramètre schema est le point qui change tout. Sans lui, le modèle nomme les clés comme il l'entend : email sur une page, mail sur la suivante, contact sur la troisième. Avec lui, la sortie est contrainte au modèle Pydantic, donc les colonnes sont identiques à chaque exécution et deux extractions s'empilent dans le même fichier sans retouche.

Le skill en place, tu ne touches plus au Python. Tu ouvres Claude Code dans n'importe quel dossier et tu demandes.

Quand tu n'as pas d'URL de départ, la bibliothèque sait chercher elle-même. SearchGraph prend la demande sans source, interroge un moteur de recherche et agrège les premières pages. Le nombre de résultats se règle dans le config, trois par défaut :

from scrapegraphai.graphs import SearchGraph

config["max_results"] = 10
graph = SearchGraph(
    prompt="cabinets de recrutement à Lyon avec leur email de contact",
    config=config,
    schema=Resultat,
)

Un export brut n'est pas un fichier de prospection. Quatre réflexes le rendent exploitable.

Côté coût, gpt-4o-mini lit une page pour une fraction de centime : un fichier de deux cents lignes construit sur vingt pages reste sous l'euro. Pour supprimer le coût variable, la bibliothèque tourne aussi en local sur Ollama. Tu remplaces le bloc llm par {"model": "ollama/llama3.2", "model_tokens": 8192, "format": "json"} et tu retires la clé API. La contrepartie est la qualité d'extraction sur les pages denses, à tester sur tes propres cibles avant de basculer.

Côté cadre, reste sur des pages publiques, accessibles sans compte. Une page derrière un login sort du périmètre, techniquement comme contractuellement. Et pour la prospection B2B en Europe, une donnée professionnelle collectée publiquement s'utilise à condition d'annoncer d'où elle vient et de traiter les désinscriptions dès la première demande.