Machine-Learning

実験管理（experiment tracking）は、機械学習モデルの学習を「再現可能な記録」として残す仕組みです。1 回の学習を「実験（experiment）」と捉え、そこに入った設定（hyperparameter、データセット、コードバージョン）、出てきた結果（metric、可視化、学習曲線）、副産物（学習済み weight、前処理後データ、評価レポート）を 1 セットで保存します。 ...

混同行列（confusion matrix）は、分類結果を「正解/不正解」と「陽性/陰性」の組み合わせで整理した 2×2 の表です。偽陽性（False Positive, FP）と偽陰性（False Negative, FN）のバランスを見ることで、誤りの種類を把握できます。 ...

モデルレジストリ（model registry）は、学習済みモデルに「名前 + バージョン + ステージ」を付けて中央管理する仕組みです。コードの世界での Git や npm レジストリに相当するもので、機械学習モデル特有のメタデータ（学習データ、ハイパーパラメータ、評価指標、承認者、デプロイ履歴）も一緒に管理します。 ...

ROC-AUC（Receiver Operating Characteristic - Area Under the Curve）と PR-AUC（Precision-Recall - Area Under the Curve）は、二値分類モデルの性能を「閾値に依存せず」 1 つの数で比較するための指標です。両者は同じ予測スコアから計算できます。ただし、不均衡データ（陽性クラスが極端に少ないデータ）における振る舞いが大きく違うため、目的によって使い分けます。 ...

平均（算術平均, mean）は、データの「中心」を表す代表値の中で最も基本的な指標です。全ての値を足して個数で割るというシンプルな計算式ながら、確率論の期待値・最小二乗推定・大数の法則・中心極限定理の定義に直接現れます。後から学ぶ 分散 ・ 標準偏差 ・ 相関係数 も内部で平均を使っており、後続の統計量を読むときの基準点として最初に押さえる量となります。 ...

回帰モデルの予測 ŷ と正解 y のずれを定量化する指標として、RMSE（root mean squared error）、MAE（mean absolute error）、R²（決定係数, coefficient of determination）の 3 つが標準的に使われます。それぞれ「外れ値の扱い」「単位の解釈性」「ベースラインとの比較」という異なる視点を持ち、評価時にはセットで報告するのが筋がよいです。 ...

推論サービング（inference serving）は、学習済みモデルに本番トラフィックを流して予測を返す仕組みです。設計の最も大きな分岐点は「リクエストが来たらすぐ返す（オンライン推論）」か「データを溜めて一気に処理する（バッチ推論）」かの 2 系統で、どちらを選ぶかでアーキテクチャ・コスト・モニタリング設計がすべて変わります。 ...

中央値（median）は、データを小さい順に並べたときに「真ん中に来る値」を表す代表値です。平均が「値の重心」を見るのに対し、中央値は「順位の中心」を見るので、外れ値の影響を受けにくいのが大きな特徴となります。 定義はデータ数 n で場合分けします。 n が奇数: ちょうど真ん中の値（(n+1)/2 番目） n が偶数: 真ん中 2 つの平均（n/2 番目と n/2+1 番目の平均） 中央値は「四分位点 の Q2（50% 点）」と同じものを指します。順位ベースの代表値という意味で、ロバスト統計（外れ値や歪んだ分布に強い手法の総称）の入口に位置する指標と言えます。 ...

確率の校正（probability calibration）は、分類モデルが出す predict_proba の値を「実際の正例比率」と一致させる後処理です。多くのモデルは「分類は正しいが確率値は信用できない」状態で出てきます。例えば「0.9 の確率で陽性」と予測した 100 件のうち、実際の陽性が 70 件しかないなら、確率出力は校正されていない（過信、overconfidence）と言えます。 ...

データドリフト（data drift）は、本番運用しているモデルが時間の経過とともに精度を落としていく現象の総称です。学習時には観測できなかった「入力データや入力と出力の関係の変化」が本番で起きるため、コードもモデルも変えていないのに性能が劣化します。 ...

四分位点（quartile）は、データを小さい順に並べて「4 等分する位置」の値を取り出した代表値です。中央値 を「2 等分する位置」と捉えると、四分位点はその拡張になっています。 ...

モデル性能劣化の監視（model performance monitoring）は、本番運用しているモデルの予測品質を継続的に観測し、劣化を早期に検知する仕組みです。学習時の精度は本番でずっと維持されるわけではなく、データドリフト や仕様変更で時間とともに落ちていきます。劣化に気づかず放置すると、ユーザー体験やビジネス指標がじわじわ悪化し、最悪の場合は気づいたときには手遅れになります。 ...

損失関数（loss function, あるいは cost function, objective function）は、モデルの予測 ŷ と正解 y のずれを「1 つの数」に変換する関数です。学習はこの損失関数の値を最小化する操作で、モデル設計の選択肢の中で「どの損失関数を選ぶか」は「どのモデルを選ぶか」と同じくらい結果に効きます。 ...

分散（variance）は、データの散らばり具合を「平均 からの差の二乗の平均」として定量化する指標です。代表値が「分布の中心」を表すなら、分散は「分布の広がり」を表す代表的な量となります。中心と広がりがあれば、分布の最も基本的な姿（正規分布なら完全に決まる）が記述できます。 ...

再学習パイプライン（retraining pipeline）は、本番のモデルを「新しいデータで再学習 → 評価 → デプロイ」の流れを自動化した仕組みです。一度学習したモデルを永遠に使い続けることはできないため（データドリフト のノート参照）、定期的に新しいデータで作り直す必要があります。これを人手でやらずにパイプラインとして組むのが MLOps の中核作業の 1 つとなります。 ...

過学習（overfitting）は、モデルが訓練データの特徴を「覚えすぎ」て、未知のデータでうまく予測できなくなる現象です。 訓練データではほぼ満点なのに、テストデータや本番データでは精度が大きく落ちる、という形で表に出ます。 ...

標準偏差（standard deviation, stddev）は、分散 の平方根として定義される散らばりの指標です。分散と数学的には等価です。ただし、「単位が元データと同じ」という違いが実用上は決定的に重要となります。例えば身長（cm）のデータなら、分散は cm² という解釈しにくい単位になる一方、標準偏差は cm のまま扱えます。 ...

バイアス-バリアンス分解（bias-variance decomposition）は、教師あり学習の期待誤差を「Bias の 2 乗」「Variance」「ノイズ（既約誤差）」の 3 項に切り分ける枠組みです。モデルが外す原因を「表現力が足りない（high bias）」と「訓練データの揺らぎに過敏（high variance）」のどちらか（あるいは両方）に診断し、次の打ち手を選ぶための判断軸として使います。 ...

歪度（skewness、わいど）は、分布の「左右の非対称さ」を 1 つの数で表す指標です。平均 が分布の中心、分散 と標準偏差 が広がりを表すのに対して、歪度は「形のバランス」を表します。 ...

カーネル密度推定（Kernel Density Estimation, KDE）は、ヒストグラムの代わりに「滑らかな分布曲線」を推定するノンパラメトリックな手法です。各データ点に「その点の近くほど確率が高い」という小さな分布（カーネル）を置き、全点のカーネルを足し合わせて全体の形を作ります。曲線の面積が 1 になるように正規化されており、出力は確率密度関数として読めます。 ...

正則化（regularization）は、過学習を抑えるためにモデルの「複雑さ」へペナルティを課す仕組みです。 学習時に最小化する損失関数に、パラメータの大きさを表す項を足すことで、極端に大きな重みを持つモデルが選ばれにくくなります。 ...

交差検証（cross validation, CV）は、限られた学習データを「訓練用」と「検証用」に何通りも分け直して評価することで、モデルの性能をより安定して見積もる手法です。 1 回だけの分割では「たまたま簡単／難しい分割を引いた」せいで結果がブレるので、分割の組み合わせを変えながら平均を取って判断します。 ...

相関係数は、2 つの変数の関係の強さを 1 つの数で要約する指標です。目的やデータ特性に応じて、線形関係を測る Pearson 相関係数、順位の単調関係を見る Spearman / Kendall 相関係数を使い分けます。 ...

期待値（expected value, E[X]）は、確率変数 X を「無限回サンプリングして平均を取ったときの収束先」を表す量です。離散の場合は E[X] = Σ_x x P(x)、連続の場合は E[X] = ∫ x f(x) dx と書けます。「確率で重み付けした和（または積分）」が中心の定義で、物理で言う質量分布の重心と同じ構造を持ちます。 ...

ハイパーパラメータ（hyperparameter）は、機械学習モデルを学習させる前に人間が決める設定値のことです。 データから自動で決まる「パラメータ（parameter）」と区別されます。 ...

データリーク（data leakage）は、学習時には観測できるはずのない情報がモデルに混入し、評価指標を不当に高く出してしまう現象です。過学習 と紛らわしい現象です。過学習が「複雑なモデルが訓練データを覚えすぎる」のに対し、データリークは「特徴量や前処理の組み方が予測対象の情報を漏らしている」点で原因が違います。 ...

確率変数が複数あるとき、それらの関係を表す分布には 3 種類あります。同時分布（joint distribution, P(x, y)）、周辺分布（marginal distribution, P(x) や P(y)）、条件付き分布（conditional distribution, P(y|x)）の 3 つで、機械学習の本や論文で繰り返し出てくる基本概念です。 ...

クラス不均衡（class imbalance）は、分類問題でクラス間のサンプル数が大きく偏っている状況を指します。不正検知（不正取引 1% 未満）、希少疾患の診断（陽性 0.1% 程度）、迷惑メール（ハム多数）など、実問題では「興味のあるクラスが少数派」というのが典型的なパターンとなります。 ...

確率分布（probability distribution）は、確率変数 X が取りうる値とその確率を対応づける関数のことです。離散変数なら確率質量関数（PMF, P(X = k)）、連続変数なら確率密度関数（PDF, f(x)）で記述されます。機械学習で「データはこんな分布から生成されたとモデル化する」「予測モデルはこんな分布を出力する」と語るとき、必ず特定の分布族を念頭に置くことになります。ここでは ML で最頻出の 6 つ（ベルヌーイ・二項・正規・ポアソン・指数・ベータ）を取り上げ、それぞれの (1) 何を表すか、(2) パラメータ、(3) 平均と分散、(4) ML での代表的な使いどころ、を整理します。詳しい 期待値 や 同時分布 との繋がりは前のノートで扱っています。 ...

ベイズの定理（Bayes’ theorem）は、ある仮説に対する確率を「観測したデータ」を踏まえて更新する規則です。式で書くと、 P(H | D) = P(D | H) × P(H) / P(D) ...