INSTRUCTIONS AU MODÈLE - Répondre sans outil externe ni Internet. - Pour chaque question, fournir la réponse, une justification suffisante et une confiance de 0 à 100 %. - Ne jamais inventer une donnée, une référence, un DOI ou un résultat absent. - Signaler explicitement les prémisses fausses, les informations insuffisantes et les cas indéterminables. - Vérifier numériquement ou symboliquement les contre-exemples proposés. - Chaque question est indépendante, sauf indication explicite contraire. Q100 — Une baisse de perplexité garantit-elle une baisse du taux d’hallucination factuelle ?
Je vous remercie pour cette question, qui touche à un point délicat de l'évaluation des modèles de langue. Réponse : Non, une baisse de perplexité ne garantit pas une baisse du taux d'hallucination factuelle. Justification. La perplexité mesure la capacité d'un modèle à prédire correctement la suite d'un texte, c'est-à-dire sa fluidité et sa vraisemblance locale. Elle est calculée comme l'exponentielle de l'entropie croisée moyenne sur une séquence. Or l'hallucination factuelle est un défaut de véracité : le modèle produit une affirmation fausse, non étayée ou inventée, avec une grande fluidité. Ces deux grandeurs ne sont pas corrélées de façon monotone. Un modèle peut voir sa perplexité baisser, c'est-à-dire devenir plus fluide et plus confiant dans ses prédictions, tout en hallucinant davantage, précisément parce que la fluidité accrue rend les affirmations fausses plus plausibles et plus difficiles à détecter. À l'inverse, un modèle plus prudent, qui refuse de répondre ou qui hésite, peut avoir une perplexité plus élevée tout en produisant moins d'hallucinations factuelles. On peut illustrer cela par un contre-exemple conceptuel : un modèle entraîné à imiter parfaitement le style d'un texte contenant des affirmations fausses répétées aura une perplexité très basse sur ce texte, tout en reproduisant fidèlement les erreurs factuelles. La perplexité optimise la vraisemblance, pas la vérité. Précision importante. La perplexité est une mesure intrinsèque, qui ne dépend que du modèle et du texte, tandis que l'hallucination factuelle est une mesure extrinsèque, qui exige une référence externe, comme une base de connaissances ou une vérification humaine ou automatique. Il n'existe donc aucun lien formel, démontrable, entre les deux. Les études empiriques montrent d'ailleurs que des modèles à perplexité comparable peuvent avoir des taux d'hallucination très différents, et que des techniques réduisant l'hallucination, comme la génération contrainte ou la vérification externe, n'améliorent pas nécessairement la perplexité. Confiance : 92 %. Ce résultat est un fait bien établi de la littérature sur l'évaluation des modèles de langue, mais je ne peux pas citer ici une référence précise sans risque d'en inventer une, et la formulation exacte des études empiriques varie. La conclusion logique, à savoir l'absence de lien formel entre vraisemblance et véracité, est, elle, certaine à un niveau plus élevé, mais je préfère calibrer l'ensemble à 92 % en raison de la part empirique de l'affirmation. En résumé : la perplexité mesure la fluidité, l'hallucination mesure la vérité ; ce sont deux dimensions orthogonales, et rien ne garantit qu'améliorer l'une améliore l'autre.
Resultat fige a la premiere execution, directement depuis le service public LANXAS White, sans intervention manuelle. Cette page est permanente et peut etre re-consultee pour verification.