標準化と特徴量スケーリング - Standardization

特徴量スケーリングは、複数の特徴量のスケール(値の取り得る範囲・分散)を揃える前処理です。代表は標準化(standardization, Z-score)と正規化(normalization, Min-Max)の 2 つで、scikit-learn ではそれぞれ StandardScaler と MinMaxScaler が対応します。前処理では、欠損値処理 で NaN を埋めてからスケーリングします。 ...

2026年5月24日 · 更新: 2026年11月12日 · 8 分 · nchika

カテゴリ変数のエンコーディング - 目的変数の平均で置き換えた列は、交差検証では良く見えたまま、未知のデータで外れることがある

カテゴリ変数は、地区名・屋根材・商品の型番のように、決まった種類の中から 1 つを取る列です。scikit-learn の線形回帰や決定木は数値しか受け取れないので、文字列のカテゴリを数値の列に置き換えてから渡します。勾配ブースティングを実装したライブラリには、カテゴリをそのまま受け取れるものもあり、これは後の節で扱います。この置き換えをカテゴリ変数のエンコーディング(categorical encoding)と呼びます。 ...

2026年5月25日 · 更新: 2026年11月18日 · 20 分 · nchika

欠損値処理(missing values): MCAR / MAR / MNAR と imputation

欠損値(missing values)は、観測や入力がされずに値がない状態です。アンケートの年収欄が空欄だった、センサーが一時的に止まった、といった場面で NaN として現れます。DB の表を pandas に読み込んだ時も、SQL の NULL は NaN になります。欠損値をそのまま学習器に渡すと、多くの実装でエラーになるか、そのサンプルが除外されて学習に使える件数が減ります。 ...

2026年5月26日 · 更新: 2026年11月17日 · 10 分 · nchika

特徴量選択(feature selection)

特徴量選択(feature selection)は、使える特徴量の中からモデルにとって有用な部分集合を選び出し、それ以外を捨てる前処理です。目的は (1) 過学習 の抑制、(2) 学習・推論コストの削減、(3) モデルの説明性向上、(4) 次元の呪い の緩和、の 4 点に集約されます。 ...

2026年5月26日 · 更新: 2026年11月12日 · 9 分 · nchika