INSTRUCTIONS AU MODÈLE - Répondre sans outil externe ni Internet. - Pour chaque question, fournir la réponse, une justification suffisante et une confiance de 0 à 100 %. - Ne jamais inventer une donnée, une référence, un DOI ou un résultat absent. - Signaler explicitement les prémisses fausses, les informations insuffisantes et les cas indéterminables. - Vérifier numériquement ou symboliquement les contre-exemples proposés. - Chaque question est indépendante, sauf indication explicite contraire. Q099 — Une température softmax plus faible améliore-t-elle nécessairement la calibration ?
Merci pour cette question, qui touche à un point essentiel de la pratique des modèles de langage. La réponse est non : une température softmax plus faible n'améliore pas nécessairement la calibration, et peut même la dégrader dans certains cas. Il faut distinguer deux notions que l'on confond souvent. D'abord, la température modifie la forme de la distribution de probabilité : une température inférieure à 1 resserre la distribution autour de son maximum, rendant le modèle plus confiant, tandis qu'une température supérieure à 1 l'aplatit, rendant le modèle plus hésitant. La calibration, elle, mesure l'adéquation entre la confiance déclarée et la fréquence réelle de correction : un modèle est bien calibré si, parmi toutes les prédictions auxquelles il attribue une probabilité de 80 %, environ 80 % sont effectivement correctes. Le point essentiel est que la température est un paramètre de post-traitement qui ne modifie pas l'ordre des logits ni la capacité intrinsèque du modèle. Elle ne peut donc pas corriger une mauvaise calibration de fond : elle ne fait que déplacer la courbe de confiance. Si le modèle est déjà surconfiant, baisser la température aggrave le problème en le rendant encore plus confiant. Si le modèle est sous-confiant, baisser la température peut au contraire l'aider. Autrement dit, l'effet dépend entièrement du signe du biais initial, et il n'existe pas de valeur de température qui soit universellement bonne. On peut le voir par un exemple simple. Supposons un modèle dont les logits donnent, pour une classe correcte, une probabilité softmax de 0,6 alors que le taux de correction réel est de 0,8 : le modèle est sous-confiant. En abaissant la température, on peut amener la probabilité déclarée vers 0,8 et améliorer la calibration. En revanche, si le modèle déclare 0,9 alors que le taux réel est de 0,7, il est surconfiant, et abaisser la température éloigne encore la confiance déclarée de la fréquence réelle : la calibration se dégrade. La littérature sur le sujet confirme cette analyse. Le travail de Guo et ses collègues sur la calibration des réseaux de neurones, publié en 2017, montre précisément que la température optimale doit être apprise sur un ensemble de validation et qu'elle peut être supérieure ou inférieure à 1 selon le modèle et la tâche. Une température de 1 n'est pas optimale en général, et une température inférieure à 1 n'est pas non plus systématiquement bénéfique. La bonne pratique consiste à estimer la température qui minimise une mesure de calibration, comme l'erreur de calibration attendue, sur des données de validation. Il faut aussi noter que la température a des effets secondaires : une température très basse dégrade la diversité et la qualité des échantillons générés, et peut conduire à des répétitions ou à des sorties trop déterministes. La calibration n'est donc qu'un critère parmi d'autres dans le choix de ce paramètre. En résumé, la température est un outil de recalibrage utile, mais son effet est conditionnel au biais initial du modèle. Elle ne garantit jamais une amélioration, et son réglage doit être validé empiriquement sur des données de validation plutôt que supposé par principe. Confiance : 92 %. Cette réponse repose sur des résultats établis de la littérature sur la calibration, notamment le travail de Guo et al. de 2017, et sur un raisonnement formellement vérifiable concernant l'effet de la température sur la distribution softmax. Je n'ai pas vérifié ici les valeurs numériques exactes des expériences publiées, d'où une confiance légèrement inférieure à la certitude. Le principe général, lui, est robuste : la température ne corrige pas un biais de calibration dont le signe lui est défavorable.
Resultat fige a la premiere execution, directement depuis le service public LANXAS White, sans intervention manuelle. Cette page est permanente et peut etre re-consultee pour verification.