過学習 - 答えが乱数のデータでも、テストの点を見て列を選ぶとテストの正解率が上がる理由

過学習(overfitting)は、モデルが学習に使ったデータの細かな揺れまで覚えてしまい、学習に使っていないデータでは当たらなくなる状態です。学習に使うデータを訓練データ、学習に使わず最後に精度を測るために取り分けたデータをテストデータと呼びます。過学習は、訓練データではほぼ満点なのに、テストデータでは精度が大きく落ちる、という形で表に出ます。 ...

2026年5月24日 · 更新: 2026年11月17日 · 14 分 · nchika

バイアス-バリアンストレードオフ - 正則化の無い線形回帰では、列の数が行の数に並ぶ所でバリアンスが跳ね上がり、その先で下がる

バイアス-バリアンストレードオフ(bias-variance tradeoff)は、モデルの誤差を 2 つの成分に分けて、モデルの複雑さとの関係を説明する考え方です。1 つ目のバイアスは、学習データを替えて何度も学習した時に、予測の平均が正解からどれだけずれるかです。2 つ目のバリアンスは、学習データを替えるたびに予測がどれだけばらつくかです。 ...

2026年5月25日 · 更新: 2026年11月18日 · 18 分 · nchika

正則化 - Lasso が残す列は、なぜ行を選び直すだけで何通りにも分かれるのか

線形のモデルは、データの列ごとに係数を掛けて足し、予測を作ります。学習は、予測の外れ具合を表す損失関数が小さくなるように係数を決める作業です。 正則化(regularization)は、この損失に、係数の大きさに応じたペナルティを足す仕組みです。係数を大きくして学習データに合わせ込むほどペナルティが増えるので、学習データにだけ合う過学習を抑えられます。係数の 2 乗をペナルティにする方式を L2、絶対値をペナルティにする方式を L1 と呼びます。線形回帰に L2 を足したものが Ridge、L1 を足したものが Lasso で、Lasso は効きの弱い列の係数をちょうど 0 にします。 ...

2026年5月24日 · 更新: 2026年11月17日 · 16 分 · nchika

交差検証 - cv に整数を渡す時と KFold を渡す時で、行の分け方が変わる理由

交差検証(cross validation、CV)は、手元のデータを学習用と検証用に何通りも分け直し、それぞれで測ったスコアを平均してモデルの性能を見積もる手法です。1 回だけ分けて測ると、どの行が検証側に入ったかの運でスコアが大きく動くので、分け方を変えながら平均を取ります。 ...

2026年5月24日 · 更新: 2026年11月18日 · 13 分 · nchika

ハイパーパラメータ - グリッド探索は、試す回数を増やしても 1 つの値を数通りしか試さない

ハイパーパラメータ(hyperparameter)は、学習を始める前に人が決めるモデルの設定値です。勾配ブースティングなら、木を何本足すか、1 本の木に葉を何枚まで作るか、といった値がこれに当たります。良い値はデータごとに違うので、候補をいくつも試し、一番良かったものを選びます。この作業をハイパーパラメータの探索と呼びます。 ...

2026年5月24日 · 更新: 2026年11月17日 · 18 分 · nchika

データリーク - 検証に回る行の正解が学習に届く経路ほど、評価は大きく膨らむ

データリーク(data leakage)は、予測する時には手に入らないはずの情報が学習に混ざり、評価の点が本番より高く出ることです。交差検証で思ったより良い点が出た時に、最初に疑うものの 1 つです。 ...

2026年5月25日 · 更新: 2026年11月16日 · 18 分 · nchika

次元の呪い - 距離に頼れなくなるのは、列の数ではなく独立に動く列が増えた時

次元の呪い(curse of dimensionality)は、データの列が増えるにつれて、2 次元や 3 次元で当たり前だった「近い」「遠い」の感覚が通じなくなる現象をまとめた呼び名です。ここでの次元は、1 行のデータが持つ数値の列が何本あるかを指します。最初に、短いコードの結果を予想してみてください。 ...

2026年5月25日 · 更新: 2026年11月18日 · 15 分 · nchika