標準化と特徴量スケーリング - Standardization
特徴量スケーリングは、複数の特徴量のスケール(値の取り得る範囲・分散)を揃える前処理です。代表は標準化(standardization, Z-score)と正規化(normalization, Min-Max)の 2 つで、scikit-learn ではそれぞれ StandardScaler と MinMaxScaler が対応します。前処理では、欠損値処理 で NaN を埋めてからスケーリングします。 ...
特徴量スケーリングは、複数の特徴量のスケール(値の取り得る範囲・分散)を揃える前処理です。代表は標準化(standardization, Z-score)と正規化(normalization, Min-Max)の 2 つで、scikit-learn ではそれぞれ StandardScaler と MinMaxScaler が対応します。前処理では、欠損値処理 で NaN を埋めてからスケーリングします。 ...
カテゴリ変数は、地区名・屋根材・商品の型番のように、決まった種類の中から 1 つを取る列です。scikit-learn の線形回帰や決定木は数値しか受け取れないので、文字列のカテゴリを数値の列に置き換えてから渡します。勾配ブースティングを実装したライブラリには、カテゴリをそのまま受け取れるものもあり、これは後の節で扱います。この置き換えをカテゴリ変数のエンコーディング(categorical encoding)と呼びます。 ...
欠損値(missing values)は、観測や入力がされずに値がない状態です。アンケートの年収欄が空欄だった、センサーが一時的に止まった、といった場面で NaN として現れます。DB の表を pandas に読み込んだ時も、SQL の NULL は NaN になります。欠損値をそのまま学習器に渡すと、多くの実装でエラーになるか、そのサンプルが除外されて学習に使える件数が減ります。 ...
特徴量選択(feature selection)は、使える特徴量の中からモデルにとって有用な部分集合を選び出し、それ以外を捨てる前処理です。目的は (1) 過学習 の抑制、(2) 学習・推論コストの削減、(3) モデルの説明性向上、(4) 次元の呪い の緩和、の 4 点に集約されます。 ...