パーセプトロン(perceptron) - 正則化なしで重みを 0 から始め、止め方を切れば、学習率を 12 桁変えても予測は同じ

パーセプトロン(perceptron)は、入力の各列に重みを掛けて足し、その符号で 2 つの分類のどちらかを答えるモデルです。学習では、学習データを 1 行ずつ予測し、誤った行の入力を重みに足すか引くだけです。1958 年に Rosenblatt 氏が発表したもので、今のニューラルネットワークを組み立てるユニットの原型になりました。Samsung が自社で設計した Exynos のコアなど、一部の CPU では、条件分岐がどちらへ進むかを当てる回路にも使われてきました。 ...

2026年5月26日 · 更新: 2026年11月13日 · 23 分 · nchika

活性化関数 - 学習率が大きいと、ReLU を使うユニットの多くがどの入力にも 0 しか返さなくなる

ニューラルネットワークの 1 つのユニットは、入力に重みを掛けて足し、バイアスを足した値 z = w · x + b を求め、その値を活性化関数(activation function)に通して次の層へ渡します。よく使われる ReLU(Rectified Linear Unit)は max(0, z) で、z が負なら 0、正ならそのまま返します。 ...

2026年5月26日 · 更新: 2026年11月14日 · 23 分 · nchika

誤差逆伝播法 - backward の 1 行を消しても、正解率が上がり続ける理由

誤差逆伝播法(backpropagation、backprop)は、ニューラルネット(neural network、NN)の全ての重みについて、その重みを少し動かした時に損失がどれだけ変わるかを表す勾配を求める手続きです。入力から損失までを順に計算する向きを forward、その逆に損失から入力側へ勾配を求めていく向きを backward と呼びます。求めた勾配は、確率的勾配降下法(SGD)などの更新の手法に渡して重みを動かします。 ...

2026年5月26日 · 更新: 2026年11月17日 · 18 分 · nchika

理解度チェック(クイズ集)

機械学習の学習ノートで扱った判断軸を自分でも試せる形式にまとめたクイズ集です。問題文と選択肢が先に表示され、解答は折りたたみで隠してあります。解答を見る をクリックすると正解と解説が現れる仕組みです。 ...

2026年5月24日 · 更新: 2026年11月10日 · 27 分 · nchika