RAG : donner vos données à un LLM sans le réentraîner
La génération augmentée par récupération (RAG) est devenue le moyen standard d'ancrer un modèle de langage dans des données à jour et vérifiables. Comment ça marche.
Les grands modèles de langage (LLM) comme GPT, Claude ou Llama sont impressionnants, mais ils souffrent de deux limites rédhibitoires en entreprise : ils ne connaissent pas vos données (elles n'étaient pas dans leur entraînement), et ils peuvent halluciner — inventer des réponses fausses avec un aplomb total. La technique du RAG (Retrieval-Augmented Generation, ou génération augmentée par récupération) répond aux deux, et est devenue l'approche standard pour bâtir des assistants ancrés dans une base documentaire.
L'idée en une phrase
Plutôt que de demander au modèle ce qu'il « sait » (et risque d'inventer), on lui fournit les bons documents au moment de la question, et on lui demande de répondre à partir d'eux.
Le terme a été introduit dans un article de recherche de Lewis et al. (Facebook AI, 2020). L'analogie : au lieu d'interroger un expert de mémoire, on lui met les bons dossiers ouverts sous les yeux avant de poser la question.
Comment ça marche, étape par étape
- Découpage (chunking) — vos documents sont découpés en morceaux cohérents (paragraphes, sections). La taille des morceaux est un paramètre délicat : trop gros, ils diluent le sens ; trop petits, ils perdent le contexte.
- Embeddings — chaque morceau est transformé en embedding : un vecteur de plusieurs centaines de nombres qui capture son sens. Deux textes proches par le sens ont des vecteurs proches dans l'espace.
- Indexation — ces vecteurs sont stockés dans une base vectorielle (pgvector, Qdrant, Pinecone, Weaviate…) qui sait retrouver rapidement les plus proches voisins.
- Récupération — à chaque question, on calcule l'embedding de la question et on récupère les k morceaux les plus proches (recherche sémantique).
- Génération — on insère ces morceaux dans le prompt (« voici le contexte, réponds à partir de lui ») et le LLM rédige, idéalement avec des citations vers les sources.
Pourquoi c'est si puissant
Le RAG offre trois propriétés décisives que le simple « fine-tuning » n'apporte pas : des réponses à jour (il suffit de réindexer les documents — aucun réentraînement coûteux), vérifiables (on cite les passages sources, donc l'utilisateur peut contrôler), et cloisonnées (on filtre à la récupération pour que chaque utilisateur ne voie que les documents autorisés — crucial pour la confidentialité).
Là où ça se complique vraiment
La qualité d'un système RAG dépend surtout de la récupération, pas du modèle. Si les bons passages ne remontent pas, le meilleur LLM du monde répondra à côté. Les leviers d'amélioration sont nombreux : recherche hybride (combiner sémantique et mots-clés BM25), reranking (réordonner les résultats avec un modèle plus fin), meilleur découpage, requêtes reformulées, métadonnées. Le dicton s'applique pleinement : garbage in, garbage out.
L'ingénierie du RAG, c'est avant tout de l'ingénierie de la recherche d'information — un domaine vieux de cinquante ans qui redevient central.
Deux pièges à connaître : la fenêtre de contexte limitée (on ne peut pas tout injecter) et l'évaluation, difficile à automatiser (des outils comme Ragas aident à mesurer la fidélité et la pertinence).