平均 - float32 で多くの値を足すと、合計がある所から増えなくなる理由

平均(算術平均、mean)は、全ての値を足して、値の個数で割った値です。機械学習では、列ごとの平均を引いてから学習する標準化、誤差の平均を小さくする損失関数、画像の画素からデータ全体の平均を引く前処理など、至る所で計算します。 以下は、scikit-learn に同梱の写真 2 枚を load_sample_images で読み込み、ランダムな位置で 224×224 画素を切り抜いて画像を作り、枚数を変えながら、R・G・B のチャンネルごとに画素の平均を NumPy で計算した結果です。画素の値は 255 で割って 0〜1 にし、深層学習で一般的な 32 ビットの浮動小数点数(float32)で持っています。 ...

2026年5月24日 · 更新: 2026年11月17日 · 14 分 · nchika

中央値(メジアン)

中央値(median)は、データを小さい順に並べた時に真ん中に来る値です。データ数 n が奇数なら (n+1)/2 番目の値、偶数なら n/2 番目と n/2+1 番目の平均を使います。平均が値の重心を見るのに対し、中央値は順位の中心だけを見るので、外れ値に引きずられにくい代表値です。四分位点の Q2(50% 点)とも同じ値を指します。 ...

2026年5月24日 · 更新: 2026年11月12日 · 5 分 · nchika

Quantile - 同じデータの 90 パーセンタイルが、関数ごとに違う値になる理由

分位点(quantile)は、データを小さい順に並べた時に、下から割合 q の位置にある値です。q を百分率で書いたものをパーセンタイル(percentile)と呼び、90 パーセンタイルは下から 90% の位置の値です。監視の画面では p90・p99 と略します。25%・50%・75% の 3 つは四分位点(quartile)と呼び、Q1・Q2・Q3 と書きます。Q2 は中央値そのものです。 ...

2026年5月24日 · 更新: 2026年11月17日 · 15 分 · nchika

分散 - SQLite の AVG(ts*ts) - AVG(ts)*AVG(ts) は、ミリ秒で記録した時刻の標準偏差が数秒以下だと 0 や負の値を返すことがある

分散(variance、バリアンス)は、値が平均の周りにどれだけ散らばっているかを 1 つの数で表す指標です。各値から平均を引いた差を偏差と呼び、偏差を 2 乗して平均した値が分散です。期待値の記号では Var(X) = E[(X - E[X])²] と書き、式を展開すると E[X²] - E[X]²、つまり「2 乗の平均 − 平均の 2 乗」になります。分散の平方根を標準偏差と呼び、元の値と同じ単位で散らばりの大きさを読む時に使います。 ...

2026年5月24日 · 更新: 2026年11月18日 · 20 分 · nchika

標準偏差

標準偏差(standard deviation)は分散の平方根で、データが平均の周りにどれくらい散らばっているかを元データと同じ単位で表す指標です。身長(cm)のデータなら、分散は cm² という解釈しにくい単位になりますが、標準偏差は cm のまま扱えます。分散が 25 cm² なら標準偏差は 5 cm です。 ...

2026年5月24日 · 更新: 2026年11月12日 · 5 分 · nchika

歪度と log1p - 歪度は単位で変わらないが、log1p 後の歪度は単位で変わる

歪度(skewness、わいど)は、分布の左右の非対称さを 1 つの数で表す指標です。平均が分布の中心、分散と標準偏差が広がりを表すのに対して、歪度は右に長く裾を引くと正、左に長く裾を引くと負、左右対称なら 0 になります。給与・取引金額・待ち時間のように下限はあるが上限の無い量は、右に裾を引きやすく、歪度が正になります。 ...

2026年5月24日 · 更新: 2026年11月17日 · 13 分 · nchika

カーネル密度推定(KDE) - 同じ「scott」のバンド幅でも、scikit-learn と scipy では意味が違う

カーネル密度推定(Kernel Density Estimation, KDE)は、データ点の集まりから滑らかな分布の曲線を推定する手法です。各データ点に小さな山(カーネル)を置き、全ての山を足して全体の形を作ります。山の広がりをバンド幅(bandwidth)と呼び、曲線の見え方はほぼこの値で決まります。 ...

2026年5月24日 · 更新: 2026年11月17日 · 12 分 · nchika

相関係数 - 0 でも関係は残り、1 点の外れ値で符号まで変わる

相関係数は、2 つの列が一緒に増えたり減ったりする度合いを -1 から +1 の 1 つの数にまとめた指標です。+1 に近いほど片方が増えるともう片方も増え、-1 に近いほど片方が増えるともう片方は減ります。pandas の DataFrame.corr で相関行列を出し、目的変数(予測したい列)と相関の強い列を探したり、似た列の組を見つけたりするのは、手元のデータを眺める時に最初に行うことの 1 つです。 ...

2026年5月24日 · 更新: 2026年11月18日 · 16 分 · nchika

期待値 - log を取って学習した回帰の予測は、足すと総額を小さく見積もる

サイコロの目や、1 件ごとに払う保険金のように、試行のたびに値が変わる数を確率変数と呼びます。期待値(expected value)は、確率変数が取りうる値に、その値が出る確率を掛けて足した数です。同じ試行を何度も繰り返した時の 1 回あたりの平均に当たり、記号では E[X] と書きます。回帰モデルの予測を足して来月に払う総額や在庫量を見積もる時、1 件ごとの予測に要るのは、この期待値です。 ...

2026年5月26日 · 更新: 2026年11月17日 · 15 分 · nchika

同時分布・周辺分布・条件付き分布 - グループごとには正の相関でも、混ぜると負の相関になることがある

同時分布(joint distribution)は、複数の変数の値の組ごとの確率です。周辺分布(marginal distribution)は、同時分布を一部の変数について合計し、その変数を消した分布で、条件付き分布(conditional distribution)は、一部の変数の値を固定した時の残りの変数の分布です。 ...

2026年5月25日 · 更新: 2026年11月17日 · 13 分 · nchika

代表的な確率分布 - 回数のデータでも、分散が平均より大きければポアソン分布の範囲に収まらない

確率分布(probability distribution)は、測るまで値が決まらない量が、どの値をどれくらいの確率で取るかを表したものです。サイコロの目や、1 時間に借りられた自転車の台数がその例で、こうした量を確率変数と呼びます。ML(機械学習)では、データにノイズを足す時、損失関数を選ぶ時、ベイズの定理で事前分布を置く時に、正規分布やポアソン分布といった名前で出てきます。 ...

2026年5月26日 · 更新: 2026年11月17日 · 24 分 · nchika

ベイズの定理 - 陽性の割合が学習時と違えば、同じ予測確率でも意味が変わる

ベイズの定理(Bayes’ theorem)は、条件と結果を入れ替えた確率を求める式です。「石灰化なら判定が陽性になる確率」から「判定が陽性なら石灰化である確率」を出す時に使い、陽性がどれだけ珍しいかという割合が、2 つの確率をつなぎます。 ...

2026年5月26日 · 更新: 2026年11月17日 · 21 分 · nchika

対数・指数と log-odds - 確率を掛けただけの Naive Bayes が、log を足す計算と違う答えを返す理由

対数 log(x) は、ある数を何乗すれば x になるかを返す関数で、指数関数 exp(x) の逆関数です。機械学習では、確率の掛け算を足し算に変える時と、0〜1 に収まる確率を実数全体に広げる時に使います。後者で使う値が log-odds(対数オッズ)で、ロジスティック回帰の出力の土台になっています。 ...

2026年5月26日 · 更新: 2026年11月17日 · 15 分 · nchika

情報理論 - 目的変数と無関係な ID の列でも、相互情報量は上限の H(Y) に届く

情報理論(information theory)は、Claude Shannon が 1948 年の論文 A Mathematical Theory of Communication で築いた、不確かさや情報の量を数える枠組みです。機械学習では、分類の損失、決定木の分割の基準、特徴量の選択、データの分布の比較に出てきます。 ...

2026年5月26日 · 更新: 2026年11月12日 · 19 分 · nchika

ベクトルと行列の演算(内積・行列積) - 内積で一番近い相手を選ぶと、長いベクトルが多くの点に選ばれる

ベクトルは数を一列に並べたもので、2 つのベクトルの内積(inner product、dot product)は、同じ位置の成分を掛けて全て足した 1 つの数です。行列積は、この内積をまとめて計算する操作です。線形回帰の予測、kNN の距離、大規模言語モデル(LLM)の注意機構、文書の検索と、機械学習の計算の多くは内積でできています。 ...

2026年5月26日 · 更新: 2026年11月17日 · 18 分 · nchika

固有値分解 - 固有値がほぼ等しい主成分は、データを選び直すたびに向きが大きく変わる

固有ベクトル(eigenvector)は、正方行列 A をかけても同じ直線の上にとどまるベクトルで、固有値(eigenvalue)はその時に長さが何倍になるかを表す数です。固有値分解は、行列を固有ベクトルと固有値の組に分けることです。PCA(主成分分析)は、列の組ごとに一緒に増減する度合いを並べた共分散行列を固有値分解し、固有値の大きい順に並べた固有ベクトルを PC1、PC2 と呼ぶ主成分にします。 ...

2026年5月26日 · 更新: 2026年11月17日 · 14 分 · nchika

偏微分と勾配 - 数値微分の h は、小さくし過ぎると丸め誤差で勾配が崩れる

偏微分は、変数が複数ある関数で、1 つの変数だけを少し動かし、残りを固定した時の傾きです。勾配は、全ての変数について偏微分を求めて並べたベクトルです。機械学習では、損失をモデルの重みで偏微分した勾配を求め、その逆の向きに重みを動かして学習します。 ...

2026年5月26日 · 更新: 2026年11月17日 · 16 分 · nchika

最急降下法・SGD - 標準化した後も極端に大きな値の行が残ると、SGD の重みは 1 回の更新で跳ね上がる

最急降下法(gradient descent)は、損失関数の勾配と反対の向きにパラメータを少しずつ動かし、損失が最小になる所を探す反復の手法です。1 回に動かす量を決める係数を学習率と呼びます。確率的勾配降下法(stochastic gradient descent、SGD)は、勾配を全ての行ではなく、ランダムに選んだ 1 行か数行から計算して更新を繰り返します。scikit-learn には、線形回帰を SGD で学習する SGDRegressor があります。線形回帰のパラメータは、各列に掛ける係数と、全ての行に足す切片で、両方をまとめて重みと呼びます。 ...

2026年5月26日 · 更新: 2026年11月17日 · 18 分 · nchika

凸関数 - 局所最小は大域最小になるが、最小にする係数は 1 つとは限らない

凸関数(convex function)は、グラフの上のどの 2 点を線分で結んでも、その線分がグラフより下に来ない関数です。線形回帰やロジスティック回帰の損失は、係数について凸関数なので、学習率が大きすぎず最小の点があれば、勾配の逆向きに下っていって一番低い所に着きます。 ただし、凸関数を最小にする問題なら、どの solver・どの seed で解いても同じ係数が返る、とは限りません。solver は最小の点を探す計算の手順のことです。凸関数が保証するのは、止まった所が一番低い値であることで、その値を出す係数の組は 1 つとは限らないからです。 ...

2026年5月26日 · 更新: 2026年11月17日 · 19 分 · nchika

大数の法則と中心極限定理 - 裾の重いデータでは、件数を増やすほど信頼区間が当たらなくなることがある

大数の法則(law of large numbers、LLN)は、同じ分布から独立に取った値を平均すると、件数を増やすほど、平均が期待値から大きく外れる確率が小さくなるという定理です。平均が標本ごとにどれだけ揺れるかを表す値は、標準誤差と呼びます。中心極限定理(central limit theorem、CLT)は、平均と期待値のずれを標準誤差で割った値が、件数が大きい時に平均 0、標準偏差 1 の正規分布に近づくという定理です。 ...

2026年5月26日 · 更新: 2026年11月17日 · 18 分 · nchika

仮説検定・p 値・信頼区間 - 有意水準どおりに誤るのは、決めた回数だけ検定した時

仮説検定(hypothesis testing)は、手元で見えた差が、本当は差が無くても偶然に出る程度の大きさかどうかを確率で判断する手順です。例えば、2 つのモデルでクリック率に差が出た時に使います。 ...

2026年5月26日 · 更新: 2026年11月18日 · 17 分 · nchika