Deep-Learning

パーセプトロン（perceptron）は 1958 年に Frank Rosenblatt が提案した、神経細胞の動作を模した最も基本的な分類器です。入力特徴量に重みを掛けて足し合わせ、その和がある閾値を超えるかどうかでクラスを判定するだけの単純な構造を持ちます。 ...

活性化関数（activation function）は、ニューラルネットの各ニューロンで「重み付き和にバイアスを足した結果 z = w · x + b を非線形に変換する関数」のことです。層の間に非線形な変換を挟むことで、線形なモデルだけでは表せない入力と出力の関係を学習できます。 ...

誤差逆伝播法（backpropagation, backprop）は、ニューラルネットの全パラメータについて損失の勾配を効率的に計算するアルゴリズムです。偏微分と勾配 で扱った連鎖律（chain rule）を、計算グラフに沿って適用します。ネットワークの深さや幅によらず、全パラメータの勾配を O(forward の計算量) で求められます。 ...