Optimization

最急降下法（gradient descent, GD）は、関数 f(x) を最小化するために「現在地から見て最も急に下る方向（= 負の勾配 -∇f）に少しずつ進む」反復アルゴリズムです。確率的勾配降下法（stochastic gradient descent, SGD）は、勾配を全データではなくランダムな 1 サンプル（または小バッチ）から推定して更新する派生で、大規模データでの学習に欠かせない手法となります。 ...

凸関数（convex function）は、グラフ上の任意の2点を結ぶ線分が、グラフの下に入り込まない関数です。凸関数を凸集合の範囲で最小化すると、近くの点と比べて最小になった点は、範囲全体でも最小になります。機械学習では、学習途中で見つけた解より良い解が別の場所に隠れていないかを考える手掛かりになります。 ...