線形回帰 - 係数は、他にどの列を入れたかで符号まで変わる

線形回帰(linear regression)は、列ごとの値 x_k に係数 w_k を掛けて足し、切片 b を加えた式 ŷ = w_1 x_1 + ... + w_d x_d + b で値を予測する手法で、予測したい値を目的変数と呼びます。係数と切片は、予測と正解の差を 2 乗して足した値が最も小さくなるように決め、この決め方を最小二乗法(ordinary least squares、OLS)と呼びます。 ...

2026年5月26日 · 更新: 2026年11月18日 · 19 分 · nchika

ロジスティック回帰 - 単位を変えていない列を liblinear に渡すと、切片へのペナルティで係数が縮む

ロジスティック回帰(logistic regression)は、特徴量に重みを掛けて足した値をシグモイド関数に通し、0〜1 の確率を出す分類のモデルです。重みは係数と呼ばれ、どの特徴量が確率をどちらへ動かすかを表すので、予測に加えて「何が効いているか」の説明にも使われます。 ...

2026年5月24日 · 更新: 2026年11月17日 · 30 分 · nchika

kNN - 列の単位を書き直すだけで、近傍と予測の精度が大きく変わる理由

kNN(k-Nearest Neighbors、k 近傍法)は、予測したい点から距離の近い k 個の学習データを探し、分類ならそのラベルの多数決、回帰なら値の平均を答えにする手法です。学習の時にパラメータを求めず、学習データをそのまま覚えておき、予測のたびに近い点を探します。 ...

2026年5月24日 · 更新: 2026年11月17日 · 18 分 · nchika

決定木(decision tree) - データの分け方の乱数だけで、根の質問に選ばれる列が入れ替わる

決定木(decision tree)は、「列 x の値が閾値 t 以下か」という質問を繰り返して行を分け、たどり着いた葉で答えを返すモデルです。一番上の質問を根、根から葉までに並ぶ質問の段数を木の深さと呼びます。分類なら、葉に入った学習データで一番多いクラスを返します。回帰なら、それらの値の平均を返します。質問の並びをそのまま図に描けるので、モデルがなぜその答えを出したかを人に見せたい時によく選ばれます。 ...

2026年5月26日 · 更新: 2026年11月17日 · 19 分 · nchika

SVM - SVC を LinearSVC に替えると、なぜ列の値をずらすだけで正解率が落ちるのか

SVM(Support Vector Machine、サポートベクターマシン)は、2 つのクラスの点を分ける境界のうち、境界に最も近い点までの距離が最も大きくなるものを選ぶ分類器です。scikit-learn には、曲がった境界も引ける SVC と、直線の境界だけを速く求める LinearSVC が、別のクラスとして用意されています。 ...

2026年5月26日 · 更新: 2026年11月17日 · 19 分 · nchika

RandomForest - ランダムフォレスト

RandomForest は、Breiman(2001)が提案した、少しずつ異なるデータで学習した多数の決定木を平均または多数決で束ねる手法です。単体の深い木は学習データの違いで予測が変わりやすいため、その揺れを平均して安定させます。 各木を異ならせる仕組みは二つあります。復元抽出した行で木を学習する bootstrap と、各分岐で見る列を一部に絞る max_features です。scikit-learn では RandomForestClassifier で使え、分類での max_features の既定値は列数の平方根("sqrt")です。本記事では、単体木との安定性の違い、木数の決め方、重要度を読む際の限界を確認します。 ...

2026年5月24日 · 更新: 2026年11月14日 · 5 分 · nchika

Gradient Boosting - HistGradientBoosting は行数が一定を超えると、学習のたびに結果が変わる理由

勾配ブースティング(gradient boosting)は、浅い決定木を 1 本ずつ足し、それまでの予測が外した分を次の木に当てさせる教師あり学習の手法です。Friedman の論文「Greedy function approximation: A gradient boosting machine」(2001 年)で提案されました。表の形のデータでよく使われ、scikit-learn には、素直に実装した GradientBoostingRegressor と、計算を速くした HistGradientBoostingRegressor があります。分類なら、名前の Regressor を Classifier に変えたものです。 ...

2026年5月24日 · 更新: 2026年11月17日 · 17 分 · nchika

アンサンブル学習(ensemble learning): bagging / boosting / stacking

アンサンブル学習(ensemble learning)は、複数のモデルを学習して予測をまとめ、単体のモデルより安定した、または精度の高い予測を作る手法です。まとめ方は大きく bagging(bootstrap aggregating)、boosting、stacking の 3 系統に分かれます。 ...

2026年5月26日 · 更新: 2026年11月12日 · 10 分 · nchika

時系列予測(time series forecasting)

時系列予測(time series forecasting)は、過去の観測値から未来の値を予測するタスクです。需要予測、気温、サーバー負荷、医療モニタリングなど、ビジネスでも研究でも頻出します。 ...

2026年5月26日 · 更新: 2026年11月14日 · 9 分 · nchika

パーセプトロン(perceptron) - 正則化なしで重みを 0 から始め、止め方を切れば、学習率を 12 桁変えても予測は同じ

パーセプトロン(perceptron)は、入力の各列に重みを掛けて足し、その符号で 2 つの分類のどちらかを答えるモデルです。学習では、学習データを 1 行ずつ予測し、誤った行の入力を重みに足すか引くだけです。1958 年に Rosenblatt 氏が発表したもので、今のニューラルネットワークを組み立てるユニットの原型になりました。Samsung が自社で設計した Exynos のコアなど、一部の CPU では、条件分岐がどちらへ進むかを当てる回路にも使われてきました。 ...

2026年5月26日 · 更新: 2026年11月13日 · 23 分 · nchika