1.6 情報不等式（Jensen と相対エントロピー）

ここまでに現れた不等式は三つある．一様分布がエントロピーを最大化すること（定理 1.1.5），条件付けが不確かさを増やさないこと（定理 1.2.4），相互情報量の非負性（命題 1.3.2）である．いずれも $𝜑 (𝑡) = - 𝑡 l o g 𝑡$ ないし $l o g$ の凹性に補題 1.1.9 を当てる，という同じ形をしていた．これらは一つの不等式の特別な場合として束ねられる．同じアルファベット上の二つの分布 $𝑝, 𝑞$ に対する

𝐷 (𝑝 ‖ 𝑞) : = \sum 𝑥 𝑝 (𝑥) l o g 𝑝 (𝑥) 𝑞 (𝑥) \geq 0

がそれで，左辺の $𝐷 (𝑝 ‖ 𝑞)$ を 相対エントロピー（KL ダイバージェンス），この不等式を情報不等式（Gibbs の不等式）と呼ぶ．相対エントロピーは「真の分布 $𝑝$ を，誤った想定 $𝑞$ で記述したときに払う符号長の超過分」と読める量で，それが負にならない（誤った想定は得をしない）というのが情報不等式の意味である． $𝑞$ を一様分布にとれば定理 1.1.5， $𝑝$ を同時分布・ $𝑞$ を周辺の積にとれば命題 1.3.2 が再現される．以降のデータ処理不等式・最大エントロピーもここに帰着する，本章の屋台骨である．

情報不等式

定理 1.6.1（情報不等式 / Gibbs）. 同じアルファベット上の分布 $𝑝, 𝑞$ について $𝐷 (𝑝 ‖ 𝑞) \geq 0$ ．等号は $𝑝 = 𝑞$ のとき，かつそのときに限る．

証明. はじめに， $𝑝 (𝑥) > 0$ なのに $𝑞 (𝑥) = 0$ となる $𝑥$ がある場合を見る．そのような $𝑥$ では，その項は $𝑝 (𝑥) l o g 𝑝 (𝑥) 0 = + \infty$ となって $𝐷 (𝑝 ‖ 𝑞) = + \infty \geq 0$ ，主張は自明である（このとき $𝑝 \neq 𝑞$ なので等号も成り立たない）． $𝑝 (𝑥) = 0$ の項は $0 l o g 0 𝑞 (𝑥) = 0$ と約束し，和に寄与しない．以下，残る本質的な場合，すなわち $𝑝 (𝑥) > 0$ ならば $𝑞 (𝑥) > 0$ である場合を考える．

補題 1.1.7 の対数不等式 $l o g 𝑡 \leq (𝑡 - 1) l o g 𝑒$ （等号は $𝑡 = 1$ に限る）を $𝑡 = 𝑞 (𝑥) / 𝑝 (𝑥)$ に当てはめる． $𝑝 (𝑥) > 0$ の各 $𝑥$ で

𝑝 (𝑥) l o g 𝑞 (𝑥) 𝑝 (𝑥) \leq 𝑝 (𝑥) (𝑞 (𝑥) 𝑝 (𝑥) - 1) l o g 𝑒 = (𝑞 (𝑥) - 𝑝 (𝑥)) l o g 𝑒 .

$𝑝 (𝑥) = 0$ の $𝑥$ では左辺は約束により 0，右辺は $𝑞 (𝑥) l o g 𝑒 \geq 0$ なので，この不等式はそのまま成り立つ．よって全 $𝑥$ にわたって和をとれて，右辺は $(\sum 𝑥 𝑞 (𝑥) - \sum 𝑥 𝑝 (𝑥)) l o g 𝑒 = (1 - 1) l o g 𝑒 = 0$ ．左辺は $- 𝐷 (𝑝 ‖ 𝑞)$ だから， $- 𝐷 (𝑝 ‖ 𝑞) \leq 0$ ，すなわち $𝐷 (𝑝 ‖ 𝑞) \geq 0$ ．

等号は，全 $𝑥$ で項別の不等式が等号になるときに限る． $𝑝 (𝑥) > 0$ の点では $l o g 𝑡 = (𝑡 - 1) l o g 𝑒$ すなわち $𝑞 (𝑥) / 𝑝 (𝑥) = 1$ ，つまり $𝑞 (𝑥) = 𝑝 (𝑥)$ ． $𝑝 (𝑥) = 0$ の点では左辺 0・右辺 $𝑞 (𝑥) l o g 𝑒$ で， $l o g 𝑒 > 0$ だから $𝑞 (𝑥) = 0$ ，これも $𝑞 (𝑥) = 𝑝 (𝑥)$ である．両方を合わせて $𝑝 = 𝑞$ を得る．逆に $𝑝 = 𝑞$ なら各項が 0 で $𝐷 (𝑝 ‖ 𝑞) = 0$ ． $◼$

補題 1.1.7 ただ一つで閉じている点に注目したい．定理 1.1.5 が補題 1.1.8 の $𝜑$ の凹性を使ったのに対し，こちらは $l o g$ の凹性の側，すなわち補題 1.1.6 から出した接線の形を使っている．1.1 節が証明した二つの狭義凹性が，章の二本の柱にそれぞれ効いていることになる．

符号長で読む. この量は符号長として読むのがいちばん腑に落ちる．記号を $0$ と $1$ の列（符号語）に書き換えて送るとき，よく出る記号ほど短い符号語を割り当てれば，平均の長さは短くなる．第4章で示すように，記号 $𝑥$ が確率 $𝑞 (𝑥)$ で出ると信じる人にとっての最適な割り当ては，およそ $- l o g 𝑞 (𝑥)$ 文字ぶんの符号語である．ところが実際に $𝑥$ が出る確率は $𝑝 (𝑥)$ なので，この人が実際に払う平均符号長は $- \sum 𝑥 𝑝 (𝑥) l o g 𝑞 (𝑥)$ である．真の分布 $𝑝$ を知っている人が払う $𝐻 (𝑝) = - \sum 𝑥 𝑝 (𝑥) l o g 𝑝 (𝑥)$ との差をとると，

- \sum 𝑥 𝑝 (𝑥) l o g 𝑞 (𝑥) - (- \sum 𝑥 𝑝 (𝑥) l o g 𝑝 (𝑥)) = \sum 𝑥 𝑝 (𝑥) l o g 𝑝 (𝑥) 𝑞 (𝑥) = 𝐷 (𝑝 ‖ 𝑞)

がちょうど $𝐷 (𝑝 ‖ 𝑞)$ になる．つまり相対エントロピーは 「 $𝑞$ だと思い込んで符号化したために余計に払う符号長」 である．情報不等式 $𝐷 (𝑝 ‖ 𝑞) \geq 0$ は「思い込みで得をすることはない」，等号条件 $𝑝 = 𝑞$ は「損をしないのは正しく知っていたときだけ」と読める．

距離ではない. 「隔たり」と呼んでいるが $𝐷 (𝑝 ‖ 𝑞)$ は距離ではない．一般に $𝐷 (𝑝 ‖ 𝑞)$ と $𝐷 (𝑞 ‖ 𝑝)$ は一致せず（図 1.6.1），三角不等式も一般には成り立たない．上の符号長の読みからすると当然で，「 $𝑝$ が真で $𝑞$ と思い込む」損と「 $𝑞$ が真で $𝑝$ と思い込む」損は別物である．とくに $𝑞$ が 0 をとる点で $𝑝$ が正の値をとると $𝐷 (𝑝 ‖ 𝑞) = + \infty$ になる：起こらないと決めつけていたことが実際に起きると，その符号語には長さが割り当てられていない．

図 1.6.1. $𝑞$ を $𝑞 (1) = 1 / 4$ の二値分布に固定し， $𝑝$ を $𝑝 (1) = 𝑎$ の二値分布として動かしたときの $𝐷 (𝑝 ‖ 𝑞)$ と $𝐷 (𝑞 ‖ 𝑝)$ ．どちらも $𝑎 = 1 / 4$ で $0$ になる．

すでに見た不等式の再確認. $𝑞$ を一様分布にとると $𝐷 (𝑝 ‖ 一様) = l o g 𝑀 - 𝐻 (𝑝)$ となり， $𝐷 (𝑝 ‖ 一様) \geq 0$ がそのまま定理 1.1.5（ $𝐻 \leq l o g 𝑀$ ）である．また $𝑝 \leftarrow 𝑝 (𝑥, 𝑦)$ ， $𝑞 \leftarrow 𝑝 (𝑥) 𝑝 (𝑦)$ とおくと $𝐷 (𝑝 ‖ 𝑞)$ は定義 1.3.1 の相互情報量そのものなので，命題 1.3.2 の非負性が再現される．別々に証明した不等式が一つの根に束ねられたことになる．

形式化: 一様分布との関係 klDiv_uniformOn_univ_toReal_eq (ソース)

形式化: 非負性 klDivPmf_nonneg (ソース)，等号条件klDivPmf_eq_zero_iff_pmf (ソース)

注記

本ライブラリは確率質量関数（pmf）形に対して非負性を独立に形式化している．測度論版の $𝐼 (𝑋; 𝑌) \geq 0$ は 1.3 節で述べたとおり，拡張非負実数値であることからほぼ型レベルで従う別ルートで得る．

この実数値の pmf 形は，参照分布が 0 をとる点でも有限値を返すので，本文の証明が最初に扱った「値が正の無限大になる」場合を表していない．無限大を含む形は測度論版の相対エントロピーの側にある．

等号条件の形式化は，参照分布が全点で正である場合に限って述べてある（本文の主張はこの限定を必要としない）．

情報理論入門（Lean による形式証明つき）・GitHub