Optimization

最急降下法（gradient descent, GD）は、関数 f(x) を最小化するために「現在地から見て最も急に下る方向（= 負の勾配 -∇f）に少しずつ進む」反復アルゴリズムである。確率的勾配降下法（stochastic gradient descent, SGD）は、勾配を全データではなくランダムな 1 サンプル（または小バッチ）から推定して更新する派生で、大規模データでの学習に欠かせない手法となる。 ...

凸関数（convex function）は、グラフが「下に凸」（U 字型）で、任意の 2 点を結んだ弦が関数の上にくる関数のことである。凸関数の最大の特徴は「局所最小値が必ず大域最小値」になる点で、これが凸最適化が「解ける」「保証がある」と言われる根拠となる。 ...