まず一言で
結論: AUCは「陽性例のscoreが陰性例より高い確率」を要約するdiscrimination指標であり、cutoff、calibration、clinical utilityを単独では保証しない。
画像診断・AI・定量MRIでは、連続scoreをどこで陽性/陰性に切るかが臨床判断そのものになります。ROC曲線は閾値をすべて動かした性能地図ですが、実際の運用には、どの閾値を選ぶか、偽陽性をどこまで許すか、予測確率が校正されているかまで必要です。
Sensitivity / Specificity の土台
Sensitivity = TP / (TP + FN)
Specificity = TN / (TN + FP)
FPR = 1 - Specificity
PPV/NPVはprevalenceに依存します。低prevalenceのスクリーニングでは、AUCが高くてもPPVが崩れることがあります。
ROC曲線 — 閾値を全部スイープする
ROC曲線は、閾値を最大から最小へ動かしながら、x軸にFPR、y軸にTPRを置いたものです。左上に近いほど、偽陽性を増やさず陽性例を拾えていることを意味します。
AUC — Mann-Whitney確率として読む
AUC = ∫ TPR(FPR) dFPR
AUC = P(spositive > snegative)
AUCは便利な1数ですが、閾値非依存であることが強みであり弱みでもあります。実際の臨床では閾値を1つ選ぶ必要があります。
Cutoff選択 — Youden index と臨床コスト
スクリーニングでは偽陰性を重く見るため、Youdenの最適cutoffより低めの閾値を選ぶことがあります。confirmatory testでは偽陽性を重く見ることが多く、逆方向になります。
AUC比較と partial AUC
full AUCが高くても、臨床で許容できるFPR領域で性能が低ければ使いにくい。特にスクリーニングではpartial AUCの視点が重要です。
Calibration と Decision Curve Analysis
AUCだけで言わない
「AUC=0.85で有用」と結論する前に、cutoff、感度・特異度、対象prevalence、calibration、decision threshold、外部検証を確認します。
文献軸
- Hanley JA, McNeil BJ. The meaning and use of the area under a ROC curve. Radiology. 1982.
- DeLong ER, DeLong DM, Clarke-Pearson DL. Comparing the areas under two or more correlated ROC curves. Biometrics. 1988.
- McClish DK. Analyzing a portion of the ROC curve. Med Decis Making. 1989.
- Youden WJ. Index for rating diagnostic tests. Cancer. 1950.
- Vickers AJ, Elkin EB. Decision curve analysis. Med Decis Making. 2006.