混同行列 - 閾値を下げて Recall が上がったのに、悪性の見逃しが増える理由
混同行列(confusion matrix)は、分類モデルの予測を「正解のクラス」と「予測したクラス」の組ごとに数えた表です。2 クラスなら 2×2 のマスになり、どのマスに何件入ったかを見ると、モデルが何を見逃し、何を誤って拾ったかが分かります。 ...
混同行列(confusion matrix)は、分類モデルの予測を「正解のクラス」と「予測したクラス」の組ごとに数えた表です。2 クラスなら 2×2 のマスになり、どのマスに何件入ったかを見ると、モデルが何を見逃し、何を誤って拾ったかが分かります。 ...
ROC-AUC(Receiver Operating Characteristic - Area Under the Curve)と PR-AUC(Precision-Recall - Area Under the Curve)は、二値分類モデルの性能を「閾値に依存せず」 1 つの数で比較するための指標です。両者は同じ予測スコアから計算できます。ただし、不均衡データ(陽性クラスが極端に少ないデータ)における振る舞いが大きく違うため、目的によって使い分けます。 ...
回帰の評価指標は、数値を当てるモデルの予測と正解のずれを 1 つの数にまとめた値です。よく使われるのは RMSE(Root Mean Squared Error、二乗平均平方根誤差)、MAE(Mean Absolute Error、平均絶対誤差)、R²(決定係数)の 3 つです。RMSE と MAE はずれの大きさの目安で、予測する値と同じ単位を持ち、小さいほど良い値です。R² は単位を持たず、1 に近いほど良い値です。 ...
確率の校正(probability calibration)は、モデルが出す予測確率と、その確率を付けた集団での実際の正例割合が合うように調整する処理です。例えば「確率 0.9」と予測した件数をまとめた時、正例が約 90%なら、その集団では予測確率と観測結果が対応しています。 ...
損失関数(loss function、cost function、objective function)は、モデルの予測 ŷ と正解 y のずれを 1 つの数に変換する関数です。学習はこの損失関数の値を最小化する操作で、どの損失関数を選ぶかは学習結果に大きく影響します。 ...
過学習(overfitting)は、モデルが学習に使ったデータの細かな揺れまで覚えてしまい、学習に使っていないデータでは当たらなくなる状態です。学習に使うデータを訓練データ、学習に使わず最後に精度を測るために取り分けたデータをテストデータと呼びます。過学習は、訓練データではほぼ満点なのに、テストデータでは精度が大きく落ちる、という形で表に出ます。 ...
バイアス-バリアンストレードオフ(bias-variance tradeoff)は、モデルの誤差を 2 つの成分に分けて、モデルの複雑さとの関係を説明する考え方です。1 つ目のバイアスは、学習データを替えて何度も学習した時に、予測の平均が正解からどれだけずれるかです。2 つ目のバリアンスは、学習データを替えるたびに予測がどれだけばらつくかです。 ...
線形のモデルは、データの列ごとに係数を掛けて足し、予測を作ります。学習は、予測の外れ具合を表す損失関数が小さくなるように係数を決める作業です。 正則化(regularization)は、この損失に、係数の大きさに応じたペナルティを足す仕組みです。係数を大きくして学習データに合わせ込むほどペナルティが増えるので、学習データにだけ合う過学習を抑えられます。係数の 2 乗をペナルティにする方式を L2、絶対値をペナルティにする方式を L1 と呼びます。線形回帰に L2 を足したものが Ridge、L1 を足したものが Lasso で、Lasso は効きの弱い列の係数をちょうど 0 にします。 ...
交差検証(cross validation、CV)は、手元のデータを学習用と検証用に何通りも分け直し、それぞれで測ったスコアを平均してモデルの性能を見積もる手法です。1 回だけ分けて測ると、どの行が検証側に入ったかの運でスコアが大きく動くので、分け方を変えながら平均を取ります。 ...
ハイパーパラメータ(hyperparameter)は、学習を始める前に人が決めるモデルの設定値です。勾配ブースティングなら、木を何本足すか、1 本の木に葉を何枚まで作るか、といった値がこれに当たります。良い値はデータごとに違うので、候補をいくつも試し、一番良かったものを選びます。この作業をハイパーパラメータの探索と呼びます。 ...
データリーク(data leakage)は、予測する時には手に入らないはずの情報が学習に混ざり、評価の点が本番より高く出ることです。交差検証で思ったより良い点が出た時に、最初に疑うものの 1 つです。 ...
クラス不均衡(class imbalance)は、分類で見つけたいクラスが全体のごく一部しかない状態です。カードの不正利用、製品の不良、病気の検出がその代表で、見つけたい側を陽性、それ以外を陰性と呼びます。陽性が 2% しかなければ、全てを陰性と答えるだけで正解率は 98% になります。 ...
次元の呪い(curse of dimensionality)は、データの列が増えるにつれて、2 次元や 3 次元で当たり前だった「近い」「遠い」の感覚が通じなくなる現象をまとめた呼び名です。ここでの次元は、1 行のデータが持つ数値の列が何本あるかを指します。最初に、短いコードの結果を予想してみてください。 ...
特徴量スケーリングは、複数の特徴量のスケール(値の取り得る範囲・分散)を揃える前処理です。代表は標準化(standardization, Z-score)と正規化(normalization, Min-Max)の 2 つで、scikit-learn ではそれぞれ StandardScaler と MinMaxScaler が対応します。前処理では、欠損値処理 で NaN を埋めてからスケーリングします。 ...
カテゴリ変数は、地区名・屋根材・商品の型番のように、決まった種類の中から 1 つを取る列です。scikit-learn の線形回帰や決定木は数値しか受け取れないので、文字列のカテゴリを数値の列に置き換えてから渡します。勾配ブースティングを実装したライブラリには、カテゴリをそのまま受け取れるものもあり、これは後の節で扱います。この置き換えをカテゴリ変数のエンコーディング(categorical encoding)と呼びます。 ...
欠損値(missing values)は、観測や入力がされずに値がない状態です。アンケートの年収欄が空欄だった、センサーが一時的に止まった、といった場面で NaN として現れます。DB の表を pandas に読み込んだ時も、SQL の NULL は NaN になります。欠損値をそのまま学習器に渡すと、多くの実装でエラーになるか、そのサンプルが除外されて学習に使える件数が減ります。 ...
特徴量選択(feature selection)は、使える特徴量の中からモデルにとって有用な部分集合を選び出し、それ以外を捨てる前処理です。目的は (1) 過学習 の抑制、(2) 学習・推論コストの削減、(3) モデルの説明性向上、(4) 次元の呪い の緩和、の 4 点に集約されます。 ...
線形回帰(linear regression)は、列ごとの値 x_k に係数 w_k を掛けて足し、切片 b を加えた式 ŷ = w_1 x_1 + ... + w_d x_d + b で値を予測する手法で、予測したい値を目的変数と呼びます。係数と切片は、予測と正解の差を 2 乗して足した値が最も小さくなるように決め、この決め方を最小二乗法(ordinary least squares、OLS)と呼びます。 ...
ロジスティック回帰(logistic regression)は、特徴量に重みを掛けて足した値をシグモイド関数に通し、0〜1 の確率を出す分類のモデルです。重みは係数と呼ばれ、どの特徴量が確率をどちらへ動かすかを表すので、予測に加えて「何が効いているか」の説明にも使われます。 ...
kNN(k-Nearest Neighbors、k 近傍法)は、予測したい点から距離の近い k 個の学習データを探し、分類ならそのラベルの多数決、回帰なら値の平均を答えにする手法です。学習の時にパラメータを求めず、学習データをそのまま覚えておき、予測のたびに近い点を探します。 ...
決定木(decision tree)は、「列 x の値が閾値 t 以下か」という質問を繰り返して行を分け、たどり着いた葉で答えを返すモデルです。一番上の質問を根、根から葉までに並ぶ質問の段数を木の深さと呼びます。分類なら、葉に入った学習データで一番多いクラスを返します。回帰なら、それらの値の平均を返します。質問の並びをそのまま図に描けるので、モデルがなぜその答えを出したかを人に見せたい時によく選ばれます。 ...
SVM(Support Vector Machine、サポートベクターマシン)は、2 つのクラスの点を分ける境界のうち、境界に最も近い点までの距離が最も大きくなるものを選ぶ分類器です。scikit-learn には、曲がった境界も引ける SVC と、直線の境界だけを速く求める LinearSVC が、別のクラスとして用意されています。 ...
RandomForest は、Breiman(2001)が提案した、少しずつ異なるデータで学習した多数の決定木を平均または多数決で束ねる手法です。単体の深い木は学習データの違いで予測が変わりやすいため、その揺れを平均して安定させます。 各木を異ならせる仕組みは二つあります。復元抽出した行で木を学習する bootstrap と、各分岐で見る列を一部に絞る max_features です。scikit-learn では RandomForestClassifier で使え、分類での max_features の既定値は列数の平方根("sqrt")です。本記事では、単体木との安定性の違い、木数の決め方、重要度を読む際の限界を確認します。 ...
勾配ブースティング(gradient boosting)は、浅い決定木を 1 本ずつ足し、それまでの予測が外した分を次の木に当てさせる教師あり学習の手法です。Friedman の論文「Greedy function approximation: A gradient boosting machine」(2001 年)で提案されました。表の形のデータでよく使われ、scikit-learn には、素直に実装した GradientBoostingRegressor と、計算を速くした HistGradientBoostingRegressor があります。分類なら、名前の Regressor を Classifier に変えたものです。 ...
アンサンブル学習(ensemble learning)は、複数のモデルを学習して予測をまとめ、単体のモデルより安定した、または精度の高い予測を作る手法です。まとめ方は大きく bagging(bootstrap aggregating)、boosting、stacking の 3 系統に分かれます。 ...
時系列予測(time series forecasting)は、過去の観測値から未来の値を予測するタスクです。需要予測、気温、サーバー負荷、医療モニタリングなど、ビジネスでも研究でも頻出します。 ...
k-means(k 平均法)は、データの点を k 個のグループに分ける教師なし学習の手法です。グループをクラスタと呼び、各クラスタの中心からの距離が近い点を同じクラスタに集めます。正解のラベルを使わないので、顧客の分け方や、画像の色を k 色に減らす処理のように、答えの無いデータを要約する時に使います。 ...
PCA(Principal Component Analysis、主成分分析)は、多くの列を持つデータから、値のばらつきが大きい方向を順に探し、少ない数の軸にまとめる手法です。見つけた方向を主成分と呼び、ばらつきの大きい順に PC1、PC2 と番号を振ります。 ...
DBSCAN(Density-Based Spatial Clustering of Applications with Noise)は、点が密に集まった所をクラスタにまとめ、まばらな所にある点をノイズとして外すクラスタリングの手法です。学習の前に人が決めるハイパーパラメータは、半径 eps と点の数 min_samples の 2 つです。 ...
階層的クラスタリング(hierarchical clustering)は、似た点を 2 つずつつないで、データを入れ子のグループに分ける教師なし学習の手法です。グループをクラスタと呼びます。最初は 1 点が 1 つのクラスタで、全体が 1 つになるまで、最も近い 2 つのクラスタをつなぐ操作を繰り返します。つないだ順番は樹形図(dendrogram)という木の形の図に残るので、後から好きな粒度で切って使えます。 ...