平均 - float32 で画像 1000 枚の画素の平均を取ると、R・G・B が全て 0.334 になる理由

平均(算術平均、mean)は、全ての値を足して、値の個数で割った値です。機械学習では、列ごとの平均を引いてから学習する標準化、誤差の平均を小さくする損失関数、画像の画素からデータ全体の平均を引く前処理など、至る所で計算します。 以下は、scikit-learn に同梱の写真 2 枚を load_sample_images で読み込み、ランダムな位置で 224×224 画素を切り抜いて画像を作り、枚数を変えながら、R・G・B のチャンネルごとに画素の平均を NumPy で計算した結果です。画素の値は 255 で割って 0〜1 にし、深層学習で一般的な 32 ビットの浮動小数点数(float32)で持っています。 ...

2026年5月24日 · 更新: 2026年11月12日 · 14 分 · nchika

中央値(メジアン)

中央値(median)は、データを小さい順に並べた時に真ん中に来る値です。データ数 n が奇数なら (n+1)/2 番目の値、偶数なら n/2 番目と n/2+1 番目の平均を使います。平均が値の重心を見るのに対し、中央値は順位の中心だけを見るので、外れ値に引きずられにくい代表値です。四分位点の Q2(50% 点)とも同じ値を指します。 ...

2026年5月24日 · 更新: 2026年11月12日 · 5 分 · nchika

Quantile - 同じ 10 個の応答時間の 90 パーセンタイルが、関数ごとに 40〜814 ms の 4 通りに分かれる理由

分位点(quantile)は、データを小さい順に並べた時に、下から割合 q の位置にある値です。q を百分率で書いたものをパーセンタイル(percentile)と呼び、90 パーセンタイルは下から 90% の位置の値です。監視の画面では p90・p99 と略します。25%・50%・75% の 3 つは四分位点(quartile)と呼び、Q1・Q2・Q3 と書きます。Q2 は中央値そのものです。 ...

2026年5月24日 · 更新: 2026年11月12日 · 15 分 · nchika

分散 - SQLite の AVG(ts*ts) - AVG(ts)*AVG(ts) は、ミリ秒で記録した時刻の標準偏差が数秒以下だと 0 や負の値を返すことがある

分散(variance、バリアンス)は、値が平均の周りにどれだけ散らばっているかを 1 つの数で表す指標です。各値から平均を引いた差を偏差と呼び、偏差を 2 乗して平均した値が分散です。期待値の記号では Var(X) = E[(X - E[X])²] と書き、式を展開すると E[X²] - E[X]²、つまり「2 乗の平均 − 平均の 2 乗」になります。分散の平方根を標準偏差と呼び、元の値と同じ単位で散らばりの大きさを読む時に使います。 ...

2026年5月24日 · 更新: 2026年11月13日 · 20 分 · nchika

標準偏差

標準偏差(standard deviation)は分散の平方根で、データが平均の周りにどれくらい散らばっているかを元データと同じ単位で表す指標です。身長(cm)のデータなら、分散は cm² という解釈しにくい単位になりますが、標準偏差は cm のまま扱えます。分散が 25 cm² なら標準偏差は 5 cm です。 ...

2026年5月24日 · 更新: 2026年11月12日 · 5 分 · nchika

歪度と log1p - 単位を変えるだけで、log1p 後の歪度が 0.79 から -0.17 まで動く

歪度(skewness、わいど)は、分布の左右の非対称さを 1 つの数で表す指標です。平均が分布の中心、分散と標準偏差が広がりを表すのに対して、歪度は右に長く裾を引くと正、左に長く裾を引くと負、左右対称なら 0 になります。給与・取引金額・待ち時間のように下限はあるが上限の無い量は、右に裾を引きやすく、歪度が正になります。 ...

2026年5月24日 · 更新: 2026年11月14日 · 13 分 · nchika

カーネル密度推定(KDE) - 同じ「scott」のバンド幅が、細胞核の面積では scikit-learn と scipy で 352 倍違う

カーネル密度推定(Kernel Density Estimation, KDE)は、データ点の集まりから滑らかな分布の曲線を推定する手法です。各データ点に小さな山(カーネル)を置き、全ての山を足して全体の形を作ります。山の広がりをバンド幅(bandwidth)と呼び、曲線の見え方はほぼこの値で決まります。 ...

2026年5月24日 · 更新: 2026年11月12日 · 12 分 · nchika

相関係数

相関係数は、2 つの変数の関係の強さを -1 から +1 の 1 つの数で要約する指標です。線形関係を測る Pearson 相関係数と、順位の単調関係を見る Spearman / Kendall 相関係数があります。標準化 や PCA、特徴量選択、EDA(探索的データ分析)の起点として広く使われます。 ...

2026年5月24日 · 更新: 2026年11月14日 · 8 分 · nchika

期待値 - MAE が一番小さいモデルの予測を足すと、実際の 42%

サイコロの目や、1 件ごとに払う保険金のように、試行のたびに値が変わる数を確率変数と呼びます。期待値(expected value)は、確率変数が取りうる値に、その値が出る確率を掛けて足した数です。同じ試行を何度も繰り返した時の 1 回あたりの平均に当たり、記号では E[X] と書きます。回帰モデルの予測を足して来月に払う総額や在庫量を見積もる時、1 件ごとの予測に要るのは、この期待値です。 ...

2026年5月26日 · 更新: 2026年11月12日 · 15 分 · nchika

同時分布・周辺分布・条件付き分布 - ペンギンのくちばしは、種ごとには長いほど厚く、3 種を混ぜると長いほど薄い

同時分布(joint distribution)は、複数の変数の値の組ごとの確率です。周辺分布(marginal distribution)は、同時分布を一部の変数について合計し、その変数を消した分布で、条件付き分布(conditional distribution)は、一部の変数の値を固定した時の残りの変数の分布です。 ...

2026年5月25日 · 更新: 2026年11月12日 · 13 分 · nchika

代表的な確率分布 - 2012 年の平日 8 時(晴れ)に借りられた自転車の台数は、ポアソン分布が示す 95% の範囲に 36% しか入らない

確率分布(probability distribution)は、測るまで値が決まらない量が、どの値をどれくらいの確率で取るかを表したものです。サイコロの目や、1 時間に借りられた自転車の台数がその例で、こうした量を確率変数と呼びます。ML(機械学習)では、データにノイズを足す時、損失関数を選ぶ時、ベイズの定理で事前分布を置く時に、正規分布やポアソン分布といった名前で出てきます。 ...

2026年5月26日 · 更新: 2026年11月14日 · 24 分 · nchika

ベイズの定理(Bayes' theorem)

検査の「病気の人が陽性になる確率」と「陽性の人が病気である確率」は異なります。ベイズの定理(Bayes’ theorem)は、このように条件を入れ替えたり、観測したデータに基づいて、各仮説が正しいと考える確率を更新したりする規則です。 ...

2026年5月26日 · 更新: 2026年11月12日 · 7 分 · nchika

対数・指数と log-odds - 確率を掛けただけの Naive Bayes が、digits で正解率 10% に落ちる理由

対数 log(x) は、ある数を何乗すれば x になるかを返す関数で、指数関数 exp(x) の逆関数です。機械学習では、確率の掛け算を足し算に変える時と、0〜1 に収まる確率を実数全体に広げる時に使います。後者で使う値が log-odds(対数オッズ)で、ロジスティック回帰の出力の土台になっています。 ...

2026年5月26日 · 更新: 2026年11月12日 · 15 分 · nchika

情報理論 - 目的変数と無関係な ID の列でも、相互情報量は上限の H(Y) に届く

情報理論(information theory)は、Claude Shannon が 1948 年の論文 A Mathematical Theory of Communication で築いた、不確かさや情報の量を数える枠組みです。機械学習では、分類の損失、決定木の分割の基準、特徴量の選択、データの分布の比較に出てきます。 ...

2026年5月26日 · 更新: 2026年11月12日 · 19 分 · nchika

ベクトルと行列の演算(内積・行列積) - digits の 166 枚が、内積では同じ 1 枚の「1」を一番近いと選ぶ

ベクトルは数を一列に並べたもので、2 つのベクトルの内積(inner product、dot product)は、同じ位置の成分を掛けて全て足した 1 つの数です。行列積は、この内積をまとめて計算する操作です。線形回帰の予測、kNN の距離、大規模言語モデル(LLM)の注意機構、文書の検索と、機械学習の計算の多くは内積でできています。 ...

2026年5月26日 · 更新: 2026年11月12日 · 18 分 · nchika

固有値分解 - wine の PC4 を「malic_acid の軸」と呼んでよいか

固有ベクトル(eigenvector)は、正方行列 A をかけても同じ直線の上にとどまるベクトルで、固有値(eigenvalue)はその時に長さが何倍になるかを表す数です。固有値分解は、行列を固有ベクトルと固有値の組に分けることです。PCA(主成分分析)は、列の組ごとに一緒に増減する度合いを並べた共分散行列を固有値分解し、固有値の大きい順に並べた固有ベクトルを PC1、PC2 と呼ぶ主成分にします。 ...

2026年5月26日 · 更新: 2026年11月12日 · 14 分 · nchika

偏微分と勾配 - 数値微分の h を 1e-5 から 1e-12 に縮めると、勾配の誤差が約 1000 万倍になる

偏微分は、変数が複数ある関数で、1 つの変数だけを少し動かし、残りを固定した時の傾きです。勾配は、全ての変数について偏微分を求めて並べたベクトルです。機械学習では、損失をモデルの重みで偏微分した勾配を求め、その逆の向きに重みを動かして学習します。 ...

2026年5月26日 · 更新: 2026年11月12日 · 16 分 · nchika

最急降下法・SGD - 標準化しても SGDRegressor の R² が 10 回とも負になる理由

最急降下法(gradient descent)は、損失関数の勾配と反対の向きにパラメータを少しずつ動かし、損失が最小になる所を探す反復の手法です。1 回に動かす量を決める係数を学習率と呼びます。確率的勾配降下法(stochastic gradient descent、SGD)は、勾配を全ての行ではなく、ランダムに選んだ 1 行か数行から計算して更新を繰り返します。scikit-learn には、線形回帰を SGD で学習する SGDRegressor があります。線形回帰のパラメータは、各列に掛ける係数と、全ての行に足す切片で、両方をまとめて重みと呼びます。 ...

2026年5月26日 · 更新: 2026年11月14日 · 18 分 · nchika

凸関数と凸最適化(convex functions / convex optimization)

凸関数(convex function)は、グラフ上の任意の 2 点を結ぶ線分が、グラフの下に入り込まない関数です。凸関数を凸集合の範囲で最小化すると、近くの点と比べて最小になった点は、範囲全体でも最小になります。機械学習では、学習で得た解よりも目的関数の値が小さい解が他にあるかを考える時に使います。 ...

2026年5月26日 · 更新: 2026年11月12日 · 9 分 · nchika

大数の法則と中心極限定理 - California Housing の 1 列から重複を許して 1000 件選ぶと、95% 信頼区間が 31% しか当たらない

大数の法則(law of large numbers、LLN)は、同じ分布から独立に取った値を平均すると、件数を増やすほど、平均が期待値から大きく外れる確率が小さくなるという定理です。平均が標本ごとにどれだけ揺れるかを表す値は、標準誤差と呼びます。中心極限定理(central limit theorem、CLT)は、平均と期待値のずれを標準誤差で割った値が、件数が大きい時に平均 0、標準偏差 1 の正規分布に近づくという定理です。 ...

2026年5月26日 · 更新: 2026年11月13日 · 18 分 · nchika

仮説検定・p 値・信頼区間(hypothesis testing / p-value / confidence interval)

仮説検定(hypothesis testing)は、「差が無い」という主張(帰無仮説)が正しいと仮定した時に、観測したデータがどれくらい珍しいかを確率で測り、その主張を退けるかを決める手続きです。p 値はその珍しさを表す確率、信頼区間(confidence interval)は推定値の不確かさを幅で表したものです。 ...

2026年5月26日 · 更新: 2026年11月14日 · 8 分 · nchika