Fine-tuning

Définition

Poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données ciblé pour lui faire adopter un style, un format ou un domaine. OpenAI propose le fine-tuning supervisé (SFT), le DPO (paires bonne/mauvaise réponse) et le fine-tuning par renforcement (RFT) à partir de fichiers JSONL. L'API Claude ne propose pas de fine-tuning en libre-service.

Analogie

Former un généraliste déjà diplômé à la terminologie précise de votre cabinet.

Exemple de code

{"messages": [
  {"role": "system", "content": "Tu réponds au format JSON {categorie, urgence}."},
  {"role": "user", "content": "Le paiement CB échoue depuis hier"},
  {"role": "assistant", "content": "{\"categorie\":\"paiement\",\"urgence\":\"haute\"}"}
]}
{"messages": [
  {"role": "system", "content": "Tu réponds au format JSON {categorie, urgence}."},
  {"role": "user", "content": "Changer la police du footer"},
  {"role": "assistant", "content": "{\"categorie\":\"design\",\"urgence\":\"basse\"}"}
]}

Cas d'usage

Format de sortie très stable à fort volume, vocabulaire métier rare, réduction de la taille des prompts.

Anti-pattern

Fine-tuner pour injecter des connaissances qui changent : le RAG fait mieux et se met à jour sans réentraîner.

Termes liés

En entretien

Explique-moi le fine-tuning et son cas d'usage typique.
C'est la poursuite de l'entraînement d'un modèle pré-entraîné sur un jeu de données ciblé pour lui faire adopter un style, un format ou un domaine. C'est utile pour un format de sortie très stable à fort volume, un vocabulaire métier rare, ou réduire la taille des prompts.
Quand éviter le fine-tuning au profit du RAG ?
Pour injecter des connaissances qui changent, le RAG fait mieux car il se met à jour sans réentraîner le modèle. Le fine-tuning, c'est plutôt former un généraliste déjà diplômé à la terminologie précise d'un cabinet, pas lui enseigner des faits qui évoluent.