Fine-tuning

En clair

Définition vulgarisée

Technique qui consiste à ré-entraîner un LLM existant sur des données spécifiques de l'entreprise pour qu'il devienne expert d'un domaine ou adopte un style particulier. Plus coûteux que le RAG mais permet une meilleure intégration des connaissances.

Pour aller plus loin

Détail technique

Le fine-tuning prend un LLM pré-entraîné (Llama 3, Mistral, GPT-3.5/4, Claude Haiku) et continue son entraînement sur un dataset spécifique (100 à 100'000 exemples question-réponse). Techniques principales : full fine-tuning (rare, coûteux), LoRA (Low-Rank Adaptation, modifie peu de paramètres, économique), QLoRA (LoRA quantizé). Coût : de 10 CHF (LoRA petit modèle) à plusieurs milliers pour un fine-tuning complet sur GPU. Usage typique : adapter le ton (ex: rédiger comme la marque), spécialiser sur un jargon (juridique, médical), améliorer la performance sur des tâches répétitives.

Exemple concret

Cas business

Une PME suisse fine-tune Llama 3 8B sur 5'000 exemples de réponses email de son SAV. Le modèle apprend le ton de la marque, les formules récurrentes, les politiques retour. Déployé en self-hosted, il répond à 70% des emails sans intervention humaine.

Piège à éviter

Erreur fréquente

Le fine-tuning n'est pas toujours nécessaire. Pour beaucoup de cas d'usage, le RAG + bon prompt suffit et coûte 10x moins cher. Tester en RAG d'abord, fine-tuner seulement si nécessaire.