過学習 - 答えが乱数のデータでも、テストの点を見て列を選ぶとテストの正解率が上がる理由
過学習(overfitting)は、モデルが学習に使ったデータの細かな揺れまで覚えてしまい、学習に使っていないデータでは当たらなくなる状態です。学習に使うデータを訓練データ、学習に使わず最後に精度を測るために取り分けたデータをテストデータと呼びます。過学習は、訓練データではほぼ満点なのに、テストデータでは精度が大きく落ちる、という形で表に出ます。 ...
過学習(overfitting)は、モデルが学習に使ったデータの細かな揺れまで覚えてしまい、学習に使っていないデータでは当たらなくなる状態です。学習に使うデータを訓練データ、学習に使わず最後に精度を測るために取り分けたデータをテストデータと呼びます。過学習は、訓練データではほぼ満点なのに、テストデータでは精度が大きく落ちる、という形で表に出ます。 ...
バイアス-バリアンストレードオフ(bias-variance tradeoff)は、モデルの誤差を 2 つの成分に分けて、モデルの複雑さとの関係を説明する考え方です。1 つ目のバイアスは、学習データを替えて何度も学習した時に、予測の平均が正解からどれだけずれるかです。2 つ目のバリアンスは、学習データを替えるたびに予測がどれだけばらつくかです。 ...
線形のモデルは、データの列ごとに係数を掛けて足し、予測を作ります。学習は、予測の外れ具合を表す損失関数が小さくなるように係数を決める作業です。 正則化(regularization)は、この損失に、係数の大きさに応じたペナルティを足す仕組みです。係数を大きくして学習データに合わせ込むほどペナルティが増えるので、学習データにだけ合う過学習を抑えられます。係数の 2 乗をペナルティにする方式を L2、絶対値をペナルティにする方式を L1 と呼びます。線形回帰に L2 を足したものが Ridge、L1 を足したものが Lasso で、Lasso は効きの弱い列の係数をちょうど 0 にします。 ...
交差検証(cross validation、CV)は、手元のデータを学習用と検証用に何通りも分け直し、それぞれで測ったスコアを平均してモデルの性能を見積もる手法です。1 回だけ分けて測ると、どの行が検証側に入ったかの運でスコアが大きく動くので、分け方を変えながら平均を取ります。 ...
ハイパーパラメータ(hyperparameter)は、学習を始める前に人が決めるモデルの設定値です。勾配ブースティングなら、木を何本足すか、1 本の木に葉を何枚まで作るか、といった値がこれに当たります。良い値はデータごとに違うので、候補をいくつも試し、一番良かったものを選びます。この作業をハイパーパラメータの探索と呼びます。 ...
データリーク(data leakage)は、予測する時には手に入らないはずの情報が学習に混ざり、評価の点が本番より高く出ることです。交差検証で思ったより良い点が出た時に、最初に疑うものの 1 つです。 ...
次元の呪い(curse of dimensionality)は、データの列が増えるにつれて、2 次元や 3 次元で当たり前だった「近い」「遠い」の感覚が通じなくなる現象をまとめた呼び名です。ここでの次元は、1 行のデータが持つ数値の列が何本あるかを指します。最初に、短いコードの結果を予想してみてください。 ...