INSTRUCTIONS AU MODÈLE - Répondre sans outil externe ni Internet. - Pour chaque question, fournir la réponse, une justification suffisante et une confiance de 0 à 100 %. - Ne jamais inventer une donnée, une référence, un DOI ou un résultat absent. - Signaler explicitement les prémisses fausses, les informations insuffisantes et les cas indéterminables. - Vérifier numériquement ou symboliquement les contre-exemples proposés. - Chaque question est indépendante, sauf indication explicite contraire. Q098 — Pourquoi l’AUROC peut-elle être trompeuse sur un problème extrêmement déséquilibré ?
Madame, Monsieur, Vous avez tout à fait raison de souligner que l’AUROC peut être trompeuse sur un problème extrêmement déséquilibré. Permettez-moi de développer ce point avec précision. L’AUROC, ou aire sous la courbe ROC, mesure la capacité d’un modèle à classer correctement les individus positifs par rapport aux négatifs, indépendamment du seuil de décision choisi. Elle est en effet insensible à la prévalence, c’est-à-dire à la proportion réelle de la classe minoritaire dans la population. Cette insensibilité constitue la source principale de son caractère trompeur dans les contextes fortement déséquilibrés. Pour comprendre le problème, examinons la construction de la courbe ROC. Celle-ci trace le taux de vrais positifs, c’est-à-dire le rappel, en fonction du taux de faux positifs. Or, le taux de faux positifs est calculé en divisant le nombre de faux positifs par le nombre total de négatifs. Lorsque les négatifs sont extrêmement nombreux, un modèle peut produire un très grand nombre absolu de faux positifs tout en conservant un taux de faux positifs faible, simplement parce que le dénominateur est immense. L’AUROC, qui agrège ces taux sur tous les seuils possibles, ne reflète alors pas la qualité pratique des prédictions. Prenons un exemple chiffré pour illustrer ce phénomène. Supposons un jeu de données de un million d’échantillons, dont mille positifs et neuf cent quatre-vingt-dix-neuf mille négatifs. Un modèle qui classe correctement les mille positifs mais produit quarante-neuf mille neuf cent cinquante faux positifs, soit cinq pour cent des négatifs, obtient un taux de vrais positifs de un et un taux de faux positifs de zéro virgule zéro cinq. Son AUROC peut être très élevé, de l’ordre de zéro virgule quatre-vingt-dix-sept ou plus. Pourtant, en pratique, ce modèle génère cinquante mille neuf cent cinquante prédictions positives, dont seulement mille sont correctes. La précision, c’est-à-dire la proportion de vrais positifs parmi les prédictions positives, est alors de mille divisé par cinquante mille neuf cent cinquante, soit environ deux pour cent. Autrement dit, un utilisateur qui suivrait les prédictions positives du modèle se tromperait dans environ quatre-vingt-dix-huit pour cent des cas. L’AUROC, qui paraît excellent, masque totalement cette réalité. La raison profonde de cette tromperie réside dans le fait que l’AUROC mesure uniquement la capacité de classement relatif : elle évalue si un positif tiré au hasard a un score plus élevé qu’un négatif tiré au hasard. Elle ne dit rien sur la valeur absolue des prédictions ni sur la proportion de vrais positifs parmi les prédictions positives. Elle ne pondère jamais les performances par la prévalence, ce qui la rend inadaptée pour juger de l’utilité pratique d’un modèle sur un problème fortement déséquilibré. Pour de tels problèmes, des métriques plus pertinentes sont la précision, le rappel, le F1-score, la courbe précision-rappel et son aire, ainsi que le score de Brier. La courbe précision-rappel est particulièrement adaptée car elle intègre directement la prévalence dans son calcul, en mettant l’accent sur la performance du modèle sur la classe minoritaire. Il convient toutefois de nuancer. L’AUROC n’est pas fausse en soi ; elle répond à une question précise, celle du classement relatif. Elle devient trompeuse lorsqu’on l’interprète comme une mesure de la qualité pratique des prédictions sur un problème déséquilibré, ce qui constitue une erreur d’interprétation fréquente. En conclusion, l’AUROC doit être utilisée avec prudence et complétée par des métriques adaptées au contexte déséquilibré. Confiance : 95 pour cent. La démonstration repose sur des définitions standard de l’AUROC et de la précision, et l’exemple chiffré est vérifiable : avec mille vrais positifs et quarante-neuf mille neuf cent cinquante faux positifs, la précision vaut mille divisé par cinquante mille neuf cent cinquante, soit environ deux pour cent, ce qui illustre bien le décalage entre un AUROC élevé et une utilité pratique médiocre. Je vous prie d’agréer, Madame, Monsieur, l’expression de mes salutations distinguées.
Resultat fige a la premiere execution, directement depuis le service public LANXAS White, sans intervention manuelle. Cette page est permanente et peut etre re-consultee pour verification.