Information-Theory on Debimatehttps://debimate.jp/tags/information-theory/Recent content in Information-Theory on DebimateDebimatehttps://debimate.jp/images/default-ogp.jpghttps://debimate.jp/images/default-ogp.jpgHugo -- 0.161.1ja-jpTue, 26 May 2026 00:00:00 +0000情報理論（information theory）: エントロピー・KL ダイバージェンス・相互情報量https://debimate.jp/ml/math/information-theory/Tue, 26 May 2026 00:00:00 +0000https://debimate.jp/ml/math/information-theory/<p>情報理論（information theory）は、Claude Shannon が 1948 年に創始した「情報を定量化する」枠組みである。中核となる量がエントロピー（entropy, 不確実性）、KL ダイバージェンス（2 分布の距離）、相互情報量（mutual information, 2 変数の依存性）の 3 つで、機械学習の損失関数・特徴量選択・決定木の分割基準・変分推論などに直接現れる。</p>