Deep-Learning

パーセプトロン（perceptron）は 1958 年に Frank Rosenblatt が提案した、神経細胞の動作を模した最も基本的な分類器です。入力特徴量に重みを掛けて足し合わせ、その和がある閾値を超えるかどうかでクラスを判定するだけの単純な構造を持ちます。 ...

活性化関数（activation function）は、ニューラルネットの各ニューロンで「線形和の結果 z = w · x + b を非線形に変換する関数」のことです。これがあるからこそ複数層を積む意味が生まれ、ニューラルネットが任意の非線形関数を近似できるようになります。 ...

誤差逆伝播法（backpropagation, backprop）は、ニューラルネットの全パラメータについて損失の勾配を効率的に計算するアルゴリズムです。中身は 偏微分と勾配 のノートで触れた「連鎖律（chain rule）」を計算グラフに対して系統的に適用したものに過ぎません。ただし「あらゆる深さ・幅のネットワークで全パラメータの勾配を O(forward の計算量) で取れる」という効率性が効いており、これが現代の深層学習を可能にした基盤技術となります。 ...