C'est le mot qu'on sort quand on veut « une IA sur mesure ». Dans les faits, c'est presque toujours la mauvaise réponse à la question posée, et il vaut mieux savoir pourquoi avant d'engager un budget.
Définition
Le fine-tuning consiste à poursuivre l'entraînement d'un modèle existant sur un jeu de vos propres exemples, afin de modifier durablement son comportement.
Il ne s'agit pas de créer un modèle de zéro, ce qui demanderait des moyens hors de portée. Il s'agit d'ajuster un modèle déjà entraîné pour qu'il adopte une façon de faire particulière : votre format de sortie, votre style, votre vocabulaire métier.
Distinction décisive : le fine-tuning enseigne une manière de faire, pas des informations. Pour qu'un modèle connaisse vos tarifs, le RAG est la bonne méthode. Pour qu'il écrive systématiquement comme votre marque, le fine-tuning peut se justifier.
Fine-tuning ou RAG : le tableau qui tranche
| Votre besoin | La bonne méthode |
|---|---|
| Répondre à partir de vos documents | RAG |
| Respecter un format de sortie très strict | Fine-tuning |
| Adopter le ton de votre marque | Prompt système, puis fine-tuning si insuffisant |
| Connaître des informations qui changent | RAG |
| Traiter un vocabulaire métier très particulier | Fine-tuning |
| Réduire le coût d'une tâche répétitive | Fine-tuning d'un petit modèle |
Ce dernier cas est le plus sous-estimé. Un petit modèle spécialisé sur une tâche précise peut égaler un grand modèle généraliste sur cette tâche, pour une fraction du coût par appel. Quand le volume est important, l'investissement initial se rentabilise.
Ce que cela demande vraiment
Des exemples, en quantité et en qualité. Comptez plusieurs centaines de paires demande-réponse représentatives. Des exemples médiocres produisent un modèle médiocre, avec une constance remarquable.
Un jeu de test séparé, autrement dit une Évaluation. Sans exemples mis de côté pour évaluer, vous ne saurez pas si le résultat s'est amélioré ou si vous avez simplement appris par cœur vos exemples.
Un engagement dans la durée. Un modèle spécialisé se refait à chaque évolution notable de votre besoin, et se réévalue à chaque nouvelle version du modèle de base.
L'ordre à respecter est toujours le même : essayez d'abord un meilleur prompt, puis des exemples dans le prompt, puis le RAG, et seulement ensuite le fine-tuning. La grande majorité des projets s'arrêtent avant la dernière marche, pour un résultat équivalent et beaucoup moins de travail.
Questions fréquentes
Mes données d'entraînement restent-elles privées ?
Les fournisseurs sérieux s'engagent à ne pas les réutiliser pour d'autres clients, et le modèle obtenu vous est réservé. Cela se vérifie dans le contrat plutôt que sur la page commerciale, et la question mérite d'être posée avant d'envoyer quoi que ce soit.
Un modèle spécialisé perd-il ses autres capacités ?
Il peut, oui. C'est un effet connu : trop spécialisé sur une tâche, un modèle se dégrade ailleurs. Ce n'est pas un problème si vous l'utilisez uniquement pour cette tâche, cela en devient un si vous comptiez le réutiliser partout.
Peut-on cumuler fine-tuning et RAG ?
Oui, et c'est souvent la meilleure configuration pour un usage exigeant : le fine-tuning fixe la forme, le RAG fournit le fond à jour. Chacun règle un problème que l'autre ne sait pas régler.
Comment savoir si mon besoin le justifie ?
En épuisant d'abord les étapes moins coûteuses et en mesurant à chaque fois. Si un prompt travaillé et un RAG bien réglé vous amènent déjà au résultat, la question ne se pose plus. Notre formation Claude Cowork couvre cette progression, du prompt jusqu'au moment où il devient légitime d'aller plus loin.