混同行列 - 閾値を下げて Recall が上がったのに、悪性の見逃しが増える理由
混同行列(confusion matrix)は、分類モデルの予測を「正解のクラス」と「予測したクラス」の組ごとに数えた表です。2 クラスなら 2×2 のマスになり、どのマスに何件入ったかを見ると、モデルが何を見逃し、何を誤って拾ったかが分かります。 ...
混同行列(confusion matrix)は、分類モデルの予測を「正解のクラス」と「予測したクラス」の組ごとに数えた表です。2 クラスなら 2×2 のマスになり、どのマスに何件入ったかを見ると、モデルが何を見逃し、何を誤って拾ったかが分かります。 ...
ROC-AUC(Receiver Operating Characteristic - Area Under the Curve)と PR-AUC(Precision-Recall - Area Under the Curve)は、二値分類モデルの性能を「閾値に依存せず」 1 つの数で比較するための指標です。両者は同じ予測スコアから計算できます。ただし、不均衡データ(陽性クラスが極端に少ないデータ)における振る舞いが大きく違うため、目的によって使い分けます。 ...
回帰の評価指標は、数値を当てるモデルの予測と正解のずれを 1 つの数にまとめた値です。よく使われるのは RMSE(Root Mean Squared Error、二乗平均平方根誤差)、MAE(Mean Absolute Error、平均絶対誤差)、R²(決定係数)の 3 つです。RMSE と MAE はずれの大きさの目安で、予測する値と同じ単位を持ち、小さいほど良い値です。R² は単位を持たず、1 に近いほど良い値です。 ...
確率の校正(probability calibration)は、モデルが出す予測確率と、その確率を付けた集団での実際の正例割合が合うように調整する処理です。例えば「確率 0.9」と予測した件数をまとめた時、正例が約 90%なら、その集団では予測確率と観測結果が対応しています。 ...