混同行列 - 閾値を下げて Recall が上がったのに、悪性の見逃しが増える理由

混同行列(confusion matrix)は、分類モデルの予測を「正解のクラス」と「予測したクラス」の組ごとに数えた表です。2 クラスなら 2×2 のマスになり、どのマスに何件入ったかを見ると、モデルが何を見逃し、何を誤って拾ったかが分かります。 ...

2026年5月24日 · 更新: 2026年11月17日 · 14 分 · nchika

ROC-AUC / PR-AUC

ROC-AUC(Receiver Operating Characteristic - Area Under the Curve)と PR-AUC(Precision-Recall - Area Under the Curve)は、二値分類モデルの性能を「閾値に依存せず」 1 つの数で比較するための指標です。両者は同じ予測スコアから計算できます。ただし、不均衡データ(陽性クラスが極端に少ないデータ)における振る舞いが大きく違うため、目的によって使い分けます。 ...

2026年5月24日 · 更新: 2026年11月14日 · 8 分 · nchika

回帰の評価指標(RMSE / MAE / R²)- 誤差が一番小さい地域で R² が一番低くなる

回帰の評価指標は、数値を当てるモデルの予測と正解のずれを 1 つの数にまとめた値です。よく使われるのは RMSE(Root Mean Squared Error、二乗平均平方根誤差)、MAE(Mean Absolute Error、平均絶対誤差)、R²(決定係数)の 3 つです。RMSE と MAE はずれの大きさの目安で、予測する値と同じ単位を持ち、小さいほど良い値です。R² は単位を持たず、1 に近いほど良い値です。 ...

2026年5月26日 · 更新: 2026年11月13日 · 14 分 · nchika

確率の校正(probability calibration): Platt scaling / Isotonic

確率の校正(probability calibration)は、モデルが出す予測確率と、その確率を付けた集団での実際の正例割合が合うように調整する処理です。例えば「確率 0.9」と予測した件数をまとめた時、正例が約 90%なら、その集団では予測確率と観測結果が対応しています。 ...

2026年5月26日 · 更新: 2026年11月12日 · 6 分 · nchika

損失関数(loss function): MSE と交差エントロピー

損失関数(loss function、cost function、objective function)は、モデルの予測 ŷ と正解 y のずれを 1 つの数に変換する関数です。学習はこの損失関数の値を最小化する操作で、どの損失関数を選ぶかは学習結果に大きく影響します。 ...

2026年5月26日 · 更新: 2026年11月12日 · 9 分 · nchika

過学習 - 答えが乱数のデータでも、テストの点を見て列を選ぶとテストの正解率が上がる理由

過学習(overfitting)は、モデルが学習に使ったデータの細かな揺れまで覚えてしまい、学習に使っていないデータでは当たらなくなる状態です。学習に使うデータを訓練データ、学習に使わず最後に精度を測るために取り分けたデータをテストデータと呼びます。過学習は、訓練データではほぼ満点なのに、テストデータでは精度が大きく落ちる、という形で表に出ます。 ...

2026年5月24日 · 更新: 2026年11月17日 · 14 分 · nchika

バイアス-バリアンストレードオフ - 正則化の無い線形回帰では、列の数が行の数に並ぶ所でバリアンスが跳ね上がり、その先で下がる

バイアス-バリアンストレードオフ(bias-variance tradeoff)は、モデルの誤差を 2 つの成分に分けて、モデルの複雑さとの関係を説明する考え方です。1 つ目のバイアスは、学習データを替えて何度も学習した時に、予測の平均が正解からどれだけずれるかです。2 つ目のバリアンスは、学習データを替えるたびに予測がどれだけばらつくかです。 ...

2026年5月25日 · 更新: 2026年11月18日 · 18 分 · nchika

正則化 - Lasso が残す列は、なぜ行を選び直すだけで何通りにも分かれるのか

線形のモデルは、データの列ごとに係数を掛けて足し、予測を作ります。学習は、予測の外れ具合を表す損失関数が小さくなるように係数を決める作業です。 正則化(regularization)は、この損失に、係数の大きさに応じたペナルティを足す仕組みです。係数を大きくして学習データに合わせ込むほどペナルティが増えるので、学習データにだけ合う過学習を抑えられます。係数の 2 乗をペナルティにする方式を L2、絶対値をペナルティにする方式を L1 と呼びます。線形回帰に L2 を足したものが Ridge、L1 を足したものが Lasso で、Lasso は効きの弱い列の係数をちょうど 0 にします。 ...

2026年5月24日 · 更新: 2026年11月17日 · 16 分 · nchika

交差検証 - cv に整数を渡す時と KFold を渡す時で、行の分け方が変わる理由

交差検証(cross validation、CV)は、手元のデータを学習用と検証用に何通りも分け直し、それぞれで測ったスコアを平均してモデルの性能を見積もる手法です。1 回だけ分けて測ると、どの行が検証側に入ったかの運でスコアが大きく動くので、分け方を変えながら平均を取ります。 ...

2026年5月24日 · 更新: 2026年11月18日 · 13 分 · nchika

ハイパーパラメータ - グリッド探索は、試す回数を増やしても 1 つの値を数通りしか試さない

ハイパーパラメータ(hyperparameter)は、学習を始める前に人が決めるモデルの設定値です。勾配ブースティングなら、木を何本足すか、1 本の木に葉を何枚まで作るか、といった値がこれに当たります。良い値はデータごとに違うので、候補をいくつも試し、一番良かったものを選びます。この作業をハイパーパラメータの探索と呼びます。 ...

2026年5月24日 · 更新: 2026年11月17日 · 18 分 · nchika

データリーク - 検証に回る行の正解が学習に届く経路ほど、評価は大きく膨らむ

データリーク(data leakage)は、予測する時には手に入らないはずの情報が学習に混ざり、評価の点が本番より高く出ることです。交差検証で思ったより良い点が出た時に、最初に疑うものの 1 つです。 ...

2026年5月25日 · 更新: 2026年11月16日 · 18 分 · nchika

クラス不均衡 - 重み付けやリサンプリングの効果は、閾値を下げただけのモデルと比べて測る

クラス不均衡(class imbalance)は、分類で見つけたいクラスが全体のごく一部しかない状態です。カードの不正利用、製品の不良、病気の検出がその代表で、見つけたい側を陽性、それ以外を陰性と呼びます。陽性が 2% しかなければ、全てを陰性と答えるだけで正解率は 98% になります。 ...

2026年5月26日 · 更新: 2026年11月18日 · 17 分 · nchika

次元の呪い - 距離に頼れなくなるのは、列の数ではなく独立に動く列が増えた時

次元の呪い(curse of dimensionality)は、データの列が増えるにつれて、2 次元や 3 次元で当たり前だった「近い」「遠い」の感覚が通じなくなる現象をまとめた呼び名です。ここでの次元は、1 行のデータが持つ数値の列が何本あるかを指します。最初に、短いコードの結果を予想してみてください。 ...

2026年5月25日 · 更新: 2026年11月18日 · 15 分 · nchika

標準化と特徴量スケーリング - Standardization

特徴量スケーリングは、複数の特徴量のスケール(値の取り得る範囲・分散)を揃える前処理です。代表は標準化(standardization, Z-score)と正規化(normalization, Min-Max)の 2 つで、scikit-learn ではそれぞれ StandardScaler と MinMaxScaler が対応します。前処理では、欠損値処理 で NaN を埋めてからスケーリングします。 ...

2026年5月24日 · 更新: 2026年11月12日 · 8 分 · nchika

カテゴリ変数のエンコーディング - 目的変数の平均で置き換えた列は、交差検証では良く見えたまま、未知のデータで外れることがある

カテゴリ変数は、地区名・屋根材・商品の型番のように、決まった種類の中から 1 つを取る列です。scikit-learn の線形回帰や決定木は数値しか受け取れないので、文字列のカテゴリを数値の列に置き換えてから渡します。勾配ブースティングを実装したライブラリには、カテゴリをそのまま受け取れるものもあり、これは後の節で扱います。この置き換えをカテゴリ変数のエンコーディング(categorical encoding)と呼びます。 ...

2026年5月25日 · 更新: 2026年11月18日 · 20 分 · nchika

欠損値処理(missing values): MCAR / MAR / MNAR と imputation

欠損値(missing values)は、観測や入力がされずに値がない状態です。アンケートの年収欄が空欄だった、センサーが一時的に止まった、といった場面で NaN として現れます。DB の表を pandas に読み込んだ時も、SQL の NULL は NaN になります。欠損値をそのまま学習器に渡すと、多くの実装でエラーになるか、そのサンプルが除外されて学習に使える件数が減ります。 ...

2026年5月26日 · 更新: 2026年11月17日 · 10 分 · nchika

特徴量選択(feature selection)

特徴量選択(feature selection)は、使える特徴量の中からモデルにとって有用な部分集合を選び出し、それ以外を捨てる前処理です。目的は (1) 過学習 の抑制、(2) 学習・推論コストの削減、(3) モデルの説明性向上、(4) 次元の呪い の緩和、の 4 点に集約されます。 ...

2026年5月26日 · 更新: 2026年11月12日 · 9 分 · nchika

線形回帰 - 係数は、他にどの列を入れたかで符号まで変わる

線形回帰(linear regression)は、列ごとの値 x_k に係数 w_k を掛けて足し、切片 b を加えた式 ŷ = w_1 x_1 + ... + w_d x_d + b で値を予測する手法で、予測したい値を目的変数と呼びます。係数と切片は、予測と正解の差を 2 乗して足した値が最も小さくなるように決め、この決め方を最小二乗法(ordinary least squares、OLS)と呼びます。 ...

2026年5月26日 · 更新: 2026年11月18日 · 19 分 · nchika

ロジスティック回帰 - 単位を変えていない列を liblinear に渡すと、切片へのペナルティで係数が縮む

ロジスティック回帰(logistic regression)は、特徴量に重みを掛けて足した値をシグモイド関数に通し、0〜1 の確率を出す分類のモデルです。重みは係数と呼ばれ、どの特徴量が確率をどちらへ動かすかを表すので、予測に加えて「何が効いているか」の説明にも使われます。 ...

2026年5月24日 · 更新: 2026年11月17日 · 30 分 · nchika

kNN - 列の単位を書き直すだけで、近傍と予測の精度が大きく変わる理由

kNN(k-Nearest Neighbors、k 近傍法)は、予測したい点から距離の近い k 個の学習データを探し、分類ならそのラベルの多数決、回帰なら値の平均を答えにする手法です。学習の時にパラメータを求めず、学習データをそのまま覚えておき、予測のたびに近い点を探します。 ...

2026年5月24日 · 更新: 2026年11月17日 · 18 分 · nchika

決定木(decision tree) - データの分け方の乱数だけで、根の質問に選ばれる列が入れ替わる

決定木(decision tree)は、「列 x の値が閾値 t 以下か」という質問を繰り返して行を分け、たどり着いた葉で答えを返すモデルです。一番上の質問を根、根から葉までに並ぶ質問の段数を木の深さと呼びます。分類なら、葉に入った学習データで一番多いクラスを返します。回帰なら、それらの値の平均を返します。質問の並びをそのまま図に描けるので、モデルがなぜその答えを出したかを人に見せたい時によく選ばれます。 ...

2026年5月26日 · 更新: 2026年11月17日 · 19 分 · nchika

SVM - SVC を LinearSVC に替えると、なぜ列の値をずらすだけで正解率が落ちるのか

SVM(Support Vector Machine、サポートベクターマシン)は、2 つのクラスの点を分ける境界のうち、境界に最も近い点までの距離が最も大きくなるものを選ぶ分類器です。scikit-learn には、曲がった境界も引ける SVC と、直線の境界だけを速く求める LinearSVC が、別のクラスとして用意されています。 ...

2026年5月26日 · 更新: 2026年11月17日 · 19 分 · nchika

RandomForest - ランダムフォレスト

RandomForest は、Breiman(2001)が提案した、少しずつ異なるデータで学習した多数の決定木を平均または多数決で束ねる手法です。単体の深い木は学習データの違いで予測が変わりやすいため、その揺れを平均して安定させます。 各木を異ならせる仕組みは二つあります。復元抽出した行で木を学習する bootstrap と、各分岐で見る列を一部に絞る max_features です。scikit-learn では RandomForestClassifier で使え、分類での max_features の既定値は列数の平方根("sqrt")です。本記事では、単体木との安定性の違い、木数の決め方、重要度を読む際の限界を確認します。 ...

2026年5月24日 · 更新: 2026年11月14日 · 5 分 · nchika

Gradient Boosting - HistGradientBoosting は行数が一定を超えると、学習のたびに結果が変わる理由

勾配ブースティング(gradient boosting)は、浅い決定木を 1 本ずつ足し、それまでの予測が外した分を次の木に当てさせる教師あり学習の手法です。Friedman の論文「Greedy function approximation: A gradient boosting machine」(2001 年)で提案されました。表の形のデータでよく使われ、scikit-learn には、素直に実装した GradientBoostingRegressor と、計算を速くした HistGradientBoostingRegressor があります。分類なら、名前の Regressor を Classifier に変えたものです。 ...

2026年5月24日 · 更新: 2026年11月17日 · 17 分 · nchika

アンサンブル学習(ensemble learning): bagging / boosting / stacking

アンサンブル学習(ensemble learning)は、複数のモデルを学習して予測をまとめ、単体のモデルより安定した、または精度の高い予測を作る手法です。まとめ方は大きく bagging(bootstrap aggregating)、boosting、stacking の 3 系統に分かれます。 ...

2026年5月26日 · 更新: 2026年11月12日 · 10 分 · nchika

時系列予測(time series forecasting)

時系列予測(time series forecasting)は、過去の観測値から未来の値を予測するタスクです。需要予測、気温、サーバー負荷、医療モニタリングなど、ビジネスでも研究でも頻出します。 ...

2026年5月26日 · 更新: 2026年11月14日 · 9 分 · nchika

k-means - 塊の無い一様乱数でも、k を選ぶ指標はそろって 1 つの k を指す

k-means(k 平均法)は、データの点を k 個のグループに分ける教師なし学習の手法です。グループをクラスタと呼び、各クラスタの中心からの距離が近い点を同じクラスタに集めます。正解のラベルを使わないので、顧客の分け方や、画像の色を k 色に減らす処理のように、答えの無いデータを要約する時に使います。 ...

2026年5月24日 · 更新: 2026年11月17日 · 15 分 · nchika

PCA - 寄与率の高い第 1 主成分は、なぜ列の単位を変えると入れ替わるのか

PCA(Principal Component Analysis、主成分分析)は、多くの列を持つデータから、値のばらつきが大きい方向を順に探し、少ない数の軸にまとめる手法です。見つけた方向を主成分と呼び、ばらつきの大きい順に PC1、PC2 と番号を振ります。 ...

2026年5月24日 · 更新: 2026年11月17日 · 13 分 · nchika

DBSCAN - 塊の間に密度の低い所が無ければ、eps をどう選んでも分かれない

DBSCAN(Density-Based Spatial Clustering of Applications with Noise)は、点が密に集まった所をクラスタにまとめ、まばらな所にある点をノイズとして外すクラスタリングの手法です。学習の前に人が決めるハイパーパラメータは、半径 eps と点の数 min_samples の 2 つです。 ...

2026年5月26日 · 更新: 2026年11月16日 · 22 分 · nchika

階層的クラスタリング - 1〜5 の回答は、行の順番を変えるだけで分け方が変わる

階層的クラスタリング(hierarchical clustering)は、似た点を 2 つずつつないで、データを入れ子のグループに分ける教師なし学習の手法です。グループをクラスタと呼びます。最初は 1 点が 1 つのクラスタで、全体が 1 つになるまで、最も近い 2 つのクラスタをつなぐ操作を繰り返します。つないだ順番は樹形図(dendrogram)という木の形の図に残るので、後から好きな粒度で切って使えます。 ...

2026年5月26日 · 更新: 2026年11月12日 · 17 分 · nchika