Deep-Learning

パーセプトロン（perceptron）は 1958 年に Frank Rosenblatt が提案した、神経細胞の動作を模した最も基本的な分類器である。入力特徴量に重みを掛けて足し合わせ、その和がある閾値を超えるかどうかでクラスを判定するだけの単純な構造を持つ。 ...

活性化関数（activation function）は、ニューラルネットの各ニューロンで「線形和の結果 z = w · x + b を非線形に変換する関数」のことである。これがあるからこそ複数層を積む意味が生まれ、ニューラルネットが任意の非線形関数を近似できるようになる。 ...

誤差逆伝播法（backpropagation, backprop）は、ニューラルネットの全パラメータについて損失の勾配を効率的に計算するアルゴリズムである。中身は 偏微分と勾配 のノートで触れた「連鎖律（chain rule）」を、計算グラフに対して系統的に適用したものに過ぎない。だが「あらゆる深さ・幅のネットワークで全パラメータの勾配を O(forward の計算量) で取れる」という効率性が革命的で、これが現代の深層学習を可能にした基盤技術となる。 ...