次元の呪い - 距離に頼れなくなるのは、列の数ではなく独立に動く列が増えた時
次元の呪い(curse of dimensionality)は、データの列が増えるにつれて、2 次元や 3 次元で当たり前だった「近い」「遠い」の感覚が通じなくなる現象をまとめた呼び名です。ここでの次元は、1 行のデータが持つ数値の列が何本あるかを指します。最初に、短いコードの結果を予想してみてください。 ...
次元の呪い(curse of dimensionality)は、データの列が増えるにつれて、2 次元や 3 次元で当たり前だった「近い」「遠い」の感覚が通じなくなる現象をまとめた呼び名です。ここでの次元は、1 行のデータが持つ数値の列が何本あるかを指します。最初に、短いコードの結果を予想してみてください。 ...
対数 log(x) は、ある数を何乗すれば x になるかを返す関数で、指数関数 exp(x) の逆関数です。機械学習では、確率の掛け算を足し算に変える時と、0〜1 に収まる確率を実数全体に広げる時に使います。後者で使う値が log-odds(対数オッズ)で、ロジスティック回帰の出力の土台になっています。 ...
特徴量スケーリングは、複数の特徴量のスケール(値の取り得る範囲・分散)を揃える前処理です。代表は標準化(standardization, Z-score)と正規化(normalization, Min-Max)の 2 つで、scikit-learn ではそれぞれ StandardScaler と MinMaxScaler が対応します。前処理では、欠損値処理 で NaN を埋めてからスケーリングします。 ...
情報理論(information theory)は、Claude Shannon が 1948 年の論文 A Mathematical Theory of Communication で築いた、不確かさや情報の量を数える枠組みです。機械学習では、分類の損失、決定木の分割の基準、特徴量の選択、データの分布の比較に出てきます。 ...
カテゴリ変数は、地区名・屋根材・商品の型番のように、決まった種類の中から 1 つを取る列です。scikit-learn の線形回帰や決定木は数値しか受け取れないので、文字列のカテゴリを数値の列に置き換えてから渡します。勾配ブースティングを実装したライブラリには、カテゴリをそのまま受け取れるものもあり、これは後の節で扱います。この置き換えをカテゴリ変数のエンコーディング(categorical encoding)と呼びます。 ...
ベクトルは数を一列に並べたもので、2 つのベクトルの内積(inner product、dot product)は、同じ位置の成分を掛けて全て足した 1 つの数です。行列積は、この内積をまとめて計算する操作です。線形回帰の予測、kNN の距離、大規模言語モデル(LLM)の注意機構、文書の検索と、機械学習の計算の多くは内積でできています。 ...
欠損値(missing values)は、観測や入力がされずに値がない状態です。アンケートの年収欄が空欄だった、センサーが一時的に止まった、といった場面で NaN として現れます。DB の表を pandas に読み込んだ時も、SQL の NULL は NaN になります。欠損値をそのまま学習器に渡すと、多くの実装でエラーになるか、そのサンプルが除外されて学習に使える件数が減ります。 ...
固有ベクトル(eigenvector)は、正方行列 A をかけても同じ直線の上にとどまるベクトルで、固有値(eigenvalue)はその時に長さが何倍になるかを表す数です。固有値分解は、行列を固有ベクトルと固有値の組に分けることです。PCA(主成分分析)は、列の組ごとに一緒に増減する度合いを並べた共分散行列を固有値分解し、固有値の大きい順に並べた固有ベクトルを PC1、PC2 と呼ぶ主成分にします。 ...
特徴量選択(feature selection)は、使える特徴量の中からモデルにとって有用な部分集合を選び出し、それ以外を捨てる前処理です。目的は (1) 過学習 の抑制、(2) 学習・推論コストの削減、(3) モデルの説明性向上、(4) 次元の呪い の緩和、の 4 点に集約されます。 ...
線形回帰(linear regression)は、列ごとの値 x_k に係数 w_k を掛けて足し、切片 b を加えた式 ŷ = w_1 x_1 + ... + w_d x_d + b で値を予測する手法で、予測したい値を目的変数と呼びます。係数と切片は、予測と正解の差を 2 乗して足した値が最も小さくなるように決め、この決め方を最小二乗法(ordinary least squares、OLS)と呼びます。 ...
偏微分は、変数が複数ある関数で、1 つの変数だけを少し動かし、残りを固定した時の傾きです。勾配は、全ての変数について偏微分を求めて並べたベクトルです。機械学習では、損失をモデルの重みで偏微分した勾配を求め、その逆の向きに重みを動かして学習します。 ...
最急降下法(gradient descent)は、損失関数の勾配と反対の向きにパラメータを少しずつ動かし、損失が最小になる所を探す反復の手法です。1 回に動かす量を決める係数を学習率と呼びます。確率的勾配降下法(stochastic gradient descent、SGD)は、勾配を全ての行ではなく、ランダムに選んだ 1 行か数行から計算して更新を繰り返します。scikit-learn には、線形回帰を SGD で学習する SGDRegressor があります。線形回帰のパラメータは、各列に掛ける係数と、全ての行に足す切片で、両方をまとめて重みと呼びます。 ...
ロジスティック回帰(logistic regression)は、特徴量に重みを掛けて足した値をシグモイド関数に通し、0〜1 の確率を出す分類のモデルです。重みは係数と呼ばれ、どの特徴量が確率をどちらへ動かすかを表すので、予測に加えて「何が効いているか」の説明にも使われます。 ...
凸関数(convex function)は、グラフの上のどの 2 点を線分で結んでも、その線分がグラフより下に来ない関数です。線形回帰やロジスティック回帰の損失は、係数について凸関数なので、学習率が大きすぎず最小の点があれば、勾配の逆向きに下っていって一番低い所に着きます。 ただし、凸関数を最小にする問題なら、どの solver・どの seed で解いても同じ係数が返る、とは限りません。solver は最小の点を探す計算の手順のことです。凸関数が保証するのは、止まった所が一番低い値であることで、その値を出す係数の組は 1 つとは限らないからです。 ...
kNN(k-Nearest Neighbors、k 近傍法)は、予測したい点から距離の近い k 個の学習データを探し、分類ならそのラベルの多数決、回帰なら値の平均を答えにする手法です。学習の時にパラメータを求めず、学習データをそのまま覚えておき、予測のたびに近い点を探します。 ...
決定木(decision tree)は、「列 x の値が閾値 t 以下か」という質問を繰り返して行を分け、たどり着いた葉で答えを返すモデルです。一番上の質問を根、根から葉までに並ぶ質問の段数を木の深さと呼びます。分類なら、葉に入った学習データで一番多いクラスを返します。回帰なら、それらの値の平均を返します。質問の並びをそのまま図に描けるので、モデルがなぜその答えを出したかを人に見せたい時によく選ばれます。 ...
大数の法則(law of large numbers、LLN)は、同じ分布から独立に取った値を平均すると、件数を増やすほど、平均が期待値から大きく外れる確率が小さくなるという定理です。平均が標本ごとにどれだけ揺れるかを表す値は、標準誤差と呼びます。中心極限定理(central limit theorem、CLT)は、平均と期待値のずれを標準誤差で割った値が、件数が大きい時に平均 0、標準偏差 1 の正規分布に近づくという定理です。 ...
SVM(Support Vector Machine、サポートベクターマシン)は、2 つのクラスの点を分ける境界のうち、境界に最も近い点までの距離が最も大きくなるものを選ぶ分類器です。scikit-learn には、曲がった境界も引ける SVC と、直線の境界だけを速く求める LinearSVC が、別のクラスとして用意されています。 ...
仮説検定(hypothesis testing)は、手元で見えた差が、本当は差が無くても偶然に出る程度の大きさかどうかを確率で判断する手順です。例えば、2 つのモデルでクリック率に差が出た時に使います。 ...
RandomForest は、Breiman(2001)が提案した、少しずつ異なるデータで学習した多数の決定木を平均または多数決で束ねる手法です。単体の深い木は学習データの違いで予測が変わりやすいため、その揺れを平均して安定させます。 各木を異ならせる仕組みは二つあります。復元抽出した行で木を学習する bootstrap と、各分岐で見る列を一部に絞る max_features です。scikit-learn では RandomForestClassifier で使え、分類での max_features の既定値は列数の平方根("sqrt")です。本記事では、単体木との安定性の違い、木数の決め方、重要度を読む際の限界を確認します。 ...
勾配ブースティング(gradient boosting)は、浅い決定木を 1 本ずつ足し、それまでの予測が外した分を次の木に当てさせる教師あり学習の手法です。Friedman の論文「Greedy function approximation: A gradient boosting machine」(2001 年)で提案されました。表の形のデータでよく使われ、scikit-learn には、素直に実装した GradientBoostingRegressor と、計算を速くした HistGradientBoostingRegressor があります。分類なら、名前の Regressor を Classifier に変えたものです。 ...
アンサンブル学習(ensemble learning)は、複数のモデルを学習して予測をまとめ、単体のモデルより安定した、または精度の高い予測を作る手法です。まとめ方は大きく bagging(bootstrap aggregating)、boosting、stacking の 3 系統に分かれます。 ...
時系列予測(time series forecasting)は、過去の観測値から未来の値を予測するタスクです。需要予測、気温、サーバー負荷、医療モニタリングなど、ビジネスでも研究でも頻出します。 ...
k-means(k 平均法)は、データの点を k 個のグループに分ける教師なし学習の手法です。グループをクラスタと呼び、各クラスタの中心からの距離が近い点を同じクラスタに集めます。正解のラベルを使わないので、顧客の分け方や、画像の色を k 色に減らす処理のように、答えの無いデータを要約する時に使います。 ...
PCA(Principal Component Analysis、主成分分析)は、多くの列を持つデータから、値のばらつきが大きい方向を順に探し、少ない数の軸にまとめる手法です。見つけた方向を主成分と呼び、ばらつきの大きい順に PC1、PC2 と番号を振ります。 ...
DBSCAN(Density-Based Spatial Clustering of Applications with Noise)は、点が密に集まった所をクラスタにまとめ、まばらな所にある点をノイズとして外すクラスタリングの手法です。学習の前に人が決めるハイパーパラメータは、半径 eps と点の数 min_samples の 2 つです。 ...
階層的クラスタリング(hierarchical clustering)は、似た点を 2 つずつつないで、データを入れ子のグループに分ける教師なし学習の手法です。グループをクラスタと呼びます。最初は 1 点が 1 つのクラスタで、全体が 1 つになるまで、最も近い 2 つのクラスタをつなぐ操作を繰り返します。つないだ順番は樹形図(dendrogram)という木の形の図に残るので、後から好きな粒度で切って使えます。 ...
t-SNE(t-distributed Stochastic Neighbor Embedding)と UMAP(Uniform Manifold Approximation and Projection)は、高次元データを 2〜3 次元に圧縮する非線形次元削減アルゴリズムです。PCA が線形の射影に限られるのに対し、t-SNE / UMAP は「元の空間で近い点は、低次元でも近くに置く」ことを優先して配置を決めます。 ...
異常検知(anomaly detection、outlier detection)は、大多数の正常データから外れた点を見つける手法です。クレジットカードの不正利用、設備の故障の予兆、ネットワークへの侵入のように、見つけたい側のサンプルが極端に少なく、事前にラベルを付けられない場面で使います。 ...
特徴量重要度(feature importance)は、学習済みモデルが予測にどの入力を利用しているかを調べる指標です。例えば、分類結果の説明や、特徴量選択で列を減らす候補を探す時に使います。ただし、重要度が高いからといって、その特徴量が結果の原因だとは限りません。 ...