Modèles de langage et français : comparer la qualité
Un classement mondial dit peu de la qualité d'un modèle en français administratif ou juridique. Voici une méthode de comparaison fondée sur vos textes.
Quel modèle de langage pour le français choisir ? La question revient dans toute organisation qui veut automatiser des réponses, résumer des courriers ou assister des agents. Les classements publics, établis surtout en anglais, ne suffisent pas. Voici une méthode pour comparer sur vos propres cas.
DOSOBE a rejoint le Claude Partner Network ; les mêmes critères s’appliquent à tous les modèles, quel que soit leur éditeur.
Pourquoi les classements ne suffisent pas
Les évaluations publiques mesurent des compétences générales (raisonnement, code, connaissances) avec des jeux de questions souvent traduits. Elles ne vous disent pas si un modèle rédige une réponse à un usager dans le registre attendu, cite correctement un texte réglementaire francophone ou reste fiable sur le vocabulaire d’un métier. Certains jeux de test se retrouvent aussi, indirectement, dans les données d’entraînement, ce qui gonfle les scores.
Construire votre jeu de test
- Rassembler 30 à 50 consignes tirées de vraies situations : réponses à des courriers, résumés de dossiers, extraction d’informations, reformulations en langage clair.
- Varier les difficultés : cas simples, cas ambigus, cas avec pièges (date, nom propre, sigle, négation).
- Écrire une référence pour les tâches factuelles (la bonne réponse) et une grille pour les tâches rédactionnelles.
- Fixer les conditions : même consigne, mêmes documents fournis, mêmes paramètres pour chaque modèle.
Les critères à noter séparément
| Critère | Ce qu’on observe |
|---|---|
| Exactitude des faits | Les affirmations sont-elles vraies ? Le modèle invente-t-il des références, des articles de loi, des citations ? |
| Respect des consignes | Format demandé, longueur, ton, éléments à inclure ou à exclure |
| Registre et style | Vouvoiement, politesse administrative, clarté, absence d’anglicismes inutiles |
| Orthographe et grammaire | Accords, conjugaison, typographie française (espaces insécables, guillemets) |
| Variantes du français | Compréhension des usages d’Afrique, du Canada, de Belgique ou de Suisse selon votre public |
| Robustesse | Réponses stables si l’on reformule légèrement la consigne |
Un texte fluide n’est pas un texte exact. Les modèles produisent des références plausibles mais inexistantes. Dans un usage administratif ou juridique, chaque fait doit être vérifiable à partir d’une source fournie au modèle.
Les critères hors langue
- Coût par volume prévu, et latence acceptable
- Lieu de traitement des données et garanties contractuelles
- Possibilité d’un déploiement sur vos infrastructures pour les données sensibles
- Politique de versions : combien de temps un modèle reste disponible et stable ?
- Réversibilité : pouvez-vous changer de modèle sans refaire tout le système ?
Décider
Notez les réponses à l’aveugle, calculez un score par critère, et regardez les écarts plutôt que les moyennes. Un modèle un peu moins brillant mais plus fiable sur les faits est souvent le bon choix. Gardez une architecture qui permet de changer de modèle : le marché évolue vite. Voir la solution IA en entreprise et l’expertise automatisation des processus.
Questions fréquentes
Un modèle français est-il meilleur en français ?
Pas automatiquement. Le meilleur choix dépend de vos tâches. Certains modèles développés en France sont conçus avec une forte part de français ; des modèles généralistes d'autres éditeurs peuvent aussi donner d'excellents résultats. Seul un test sur vos textes tranche.
Comment évaluer sans expert linguistique ?
Faites relire à l'aveugle par deux ou trois utilisateurs du métier, avec une grille simple, sans leur dire quel modèle a produit quelle réponse.