1.3 相互情報量

1.2 節の終わりで，「 $𝑌$ を知って減る $𝑋$ の不確かさ」 $𝐻 (𝑋) - 𝐻 (𝑋 ∣ 𝑌)$ が $𝑋, 𝑌$ について対称な量であることを見た．対称であるという事実は，それ自体が驚きに値する． $𝐻 (𝑋) - 𝐻 (𝑋 ∣ 𝑌)$ は $𝑋$ の側から書いた式なのに， $𝑋$ と $𝑌$ を入れ替えても値が変わらない．つまりこれは「 $𝑋$ が $𝑌$ から受け取る量」でも「 $𝑌$ が $𝑋$ から受け取る量」でもなく，二つのあいだで共有されている量である．共有量であるならば， $𝑋$ を主語にした $𝐻 (𝑋) - 𝐻 (𝑋 ∣ 𝑌)$ という書き方をやめ， $𝑋$ と $𝑌$ を対等に扱う形で直接定義したい．本節ではその定義を与え，それが確かに $𝐻 (𝑋) - 𝐻 (𝑋 ∣ 𝑌)$ に一致することを確かめる．

定義

定義 1.3.1（相互情報量）. 同時分布 $𝑝 (𝑥, 𝑦)$ ，周辺分布 $𝑝 (𝑥), 𝑝 (𝑦)$ をもつ $(𝑋, 𝑌)$ について，

𝐼 (𝑋; 𝑌) = \sum 𝑥, 𝑦 𝑝 (𝑥, 𝑦) l o g 𝑝 (𝑥, 𝑦) 𝑝 (𝑥) 𝑝 (𝑦) .

和は $𝑝 (𝑥, 𝑦) > 0$ の項についてとる（ $𝑝 (𝑥, 𝑦) = 0$ の項は 0 と約束する．なお $𝑝 (𝑥, 𝑦) > 0$ なら $𝑝 (𝑥) \geq 𝑝 (𝑥, 𝑦) > 0$ ， $𝑝 (𝑦) > 0$ なので，対数の中身はつねに正である）．

この式は次のように読める．もし $𝑋$ と $𝑌$ が独立なら同時分布は $𝑝 (𝑥) 𝑝 (𝑦)$ に一致し，対数の中身は全点で $1$ ，したがって $𝐼 (𝑋; 𝑌) = 0$ になる．一般には比 $𝑝 (𝑥, 𝑦) / (𝑝 (𝑥) 𝑝 (𝑦))$ が $1$ からどれだけずれるかが各点での「独立からの隔たり」で，その対数を同時分布そのもので平均したのが相互情報量である．つまり $𝐼 (𝑋; 𝑌)$ は「 $𝑋$ と $𝑌$ が独立からどれだけ隔たっているか」を一つの数にまとめた量である．電話の場面でいえば， $𝐼 (𝑋; 𝑌)$ は聞こえた単語が言った単語についてどれだけ教えてくれるかを測り，本章のはじめに挙げた二つ目の問いに答える量である．回線が切れていて何を言っても同じ雑音しか聞こえなければ， $𝑋$ と $𝑌$ は独立なので $𝐼 (𝑋; 𝑌) = 0$ である．

定義式をもう少し読み込んでおこう．対数の中身は $𝑝 (𝑥, 𝑦) 𝑝 (𝑥) 𝑝 (𝑦) = 𝑝 (𝑥 ∣ 𝑦) 𝑝 (𝑥)$ とも書ける．これは「 $𝑦$ を見たことで， $𝑥$ が起きるという見込みが何倍になったか」である．1 倍（見込みが変わらない）なら対数は 0 で寄与なし，見込みが上がれば正，下がれば負の寄与をする．相互情報量は，この見込みの更新率の対数を実際に起きる $(𝑥, 𝑦)$ で平均した量にほかならない．1.1 節の「驚き $- l o g 𝑝$ 」の言葉でいえば， $𝑦$ を知る前の $𝑥$ への驚き $- l o g 𝑝 (𝑥)$ から，知った後の驚き $- l o g 𝑝 (𝑥 ∣ 𝑦)$ を引いた「減った驚き」の平均である．

個々の $(𝑥, 𝑦)$ での寄与は負にもなりうる（誤解を招く観測はありうる）ことに注意したい．それでも平均すれば必ず非負になる，というのが次の命題で，1.2 節で「平均的に」を強調したのと同じ構図である．

記法の先取り

この右辺は，1.6 節で導入する相対エントロピー（KL ダイバージェンス） $𝐷 (\cdot ‖ \cdot)$ を使えば $𝐼 (𝑋; 𝑌) = 𝐷 (𝑝 (𝑥, 𝑦) ∥ 𝑝 (𝑥) 𝑝 (𝑦))$ と一行で書ける．本節はこの記法を使わずに進むので，いまは読み飛ばしてよい．

形式化: mutualInfo (ソース)

注記

本ライブラリは相互情報量を，いま先取りした「同時分布と周辺積との相対エントロピー」の形でそのまま定義する（Mathlib の klDiv を用いる）．この量は $ℝ \infty \geq 0$ （拡張非負実数）値なので，相互情報量も同じ型をとる．エントロピー表現（定理 1.3.4）との橋渡しでは .toReal で実数に落とす一手間が入るが，これは型をまたぐ技術処理で，数学的内容は変わらない．

基本性質

命題 1.3.2. $𝐼 (𝑋; 𝑌) \geq 0$ ，かつ $𝐼 (𝑋; 𝑌) = 0$ は $𝑋$ と $𝑌$ が独立であることと同値．

証明. ここでも道具は 1.1 節の有限 Jensen（補題 1.1.9）ひとつである．今度は凹関数として $l o g$ をとる（補題 1.1.6）． $𝑆 : = {(𝑥, 𝑦) : 𝑝 (𝑥, 𝑦) > 0}$ とおき， $𝑆$ 上で

𝑡 (𝑥, 𝑦) : = 𝑝 (𝑥) 𝑝 (𝑦) 𝑝 (𝑥, 𝑦) > 0

と定める．重み $𝑝 (𝑥, 𝑦)$ は $𝑆$ 上で総和 1 だから，補題 1.1.9 を重み $𝑝 (𝑥, 𝑦)$ ・点 $𝑡 (𝑥, 𝑦)$ ・凹関数 $l o g$ に適用して

- 𝐼 (𝑋; 𝑌) = \sum 𝑆 𝑝 (𝑥, 𝑦) l o g 𝑡 (𝑥, 𝑦) \leq l o g (\sum 𝑆 𝑝 (𝑥, 𝑦) 𝑡 (𝑥, 𝑦)) = l o g (\sum 𝑆 𝑝 (𝑥) 𝑝 (𝑦)) \leq l o g 1 = 0 .

最後の不等号は $\sum 𝑆 𝑝 (𝑥) 𝑝 (𝑦) \leq \sum 𝑥, 𝑦 𝑝 (𝑥) 𝑝 (𝑦) = 1$ による．よって $𝐼 (𝑋; 𝑌) \geq 0$ ．

等号を調べる． $𝐼 (𝑋; 𝑌) = 0$ なら上の二つの $\leq$ がともに等号である． $l o g$ は狭義凹だから，第 1 の等号は補題 1.1.9 の等号条件により「 $𝑆$ 上で $𝑡 (𝑥, 𝑦)$ が定数」を意味する．その定数を $𝑐$ とすると $𝑆$ 上で $𝑝 (𝑥) 𝑝 (𝑦) = 𝑐 𝑝 (𝑥, 𝑦)$ ， $𝑆$ 上で足して $\sum 𝑆 𝑝 (𝑥) 𝑝 (𝑦) = 𝑐$ ．第 2 の等号は $\sum 𝑆 𝑝 (𝑥) 𝑝 (𝑦) = 1$ を意味するので $𝑐 = 1$ ，すなわち $𝑆$ 上で $𝑝 (𝑥, 𝑦) = 𝑝 (𝑥) 𝑝 (𝑦)$ ．さらに $\sum 𝑆 𝑝 (𝑥) 𝑝 (𝑦) = 1 = \sum 𝑥, 𝑦 𝑝 (𝑥) 𝑝 (𝑦)$ から， $𝑆$ の外では $𝑝 (𝑥) 𝑝 (𝑦) = 0$ であり，そこでは $𝑝 (𝑥, 𝑦) = 0$ でもあるから両辺は一致する．以上より全点で $𝑝 (𝑥, 𝑦) = 𝑝 (𝑥) 𝑝 (𝑦)$ ，すなわち $𝑋$ と $𝑌$ は独立．逆に独立なら対数の中身が全点で 1 なので $𝐼 (𝑋; 𝑌) = 0$ ． $◼$

非負性は「観測は平均的には損にならない」ということである．個々の観測は誤解を招きうる（さきほど見たとおり寄与が負の $(𝑥, 𝑦)$ はある）が，平均すれば必ず得になる．等号条件はそれを裏から言ったもので，「まったく得にならない」のは「本当に無関係だった」場合に限る．つまり $𝐼 (𝑋; 𝑌)$ は独立性の定量的な指標である：0 なら独立，大きいほど強く結びついている．

形式化: 非負性 mutualInfo_nonneg，独立との同値 mutualInfo_eq_zero_iff_indep (ソース)

注記

本文と形式化で難所が入れ替わる例である．形式化では相互情報量が拡張非負実数値なので非負性は型から従い，本文が手をかけた凹性の議論は現れない．代わりに実質的な内容が等号条件の側（ $𝐼 (𝑋; 𝑌) = 0 ⟺$ 独立）に集まる．mutualInfo_eq_zero_iff_indep は，相対エントロピーの等号条件（klDiv_eq_zero_iff）と独立の特徴づけ（indepFun_iff_map_prod_eq_prod_map_map）を貼り合わせるだけになる．非自明さは Mathlib 側のこの二つが担っているからである．

命題 1.3.3（対称性）. $𝐼 (𝑋; 𝑌) = 𝐼 (𝑌; 𝑋)$ ．

証明. 定義式の $𝑝 (𝑥, 𝑦) 𝑝 (𝑥) 𝑝 (𝑦)$ は $𝑥, 𝑦$ の入れ替えで不変だから． $◼$

形式化: mutualInfo_comm (ソース)

注記

見れば自明な対称性が，形式化では測度同型MeasurableEquiv.prodComm に沿った像測度の移送になり，「相対エントロピーは測度同型で値を保つ」という自作補題 klDiv_map_measurableEquiv を要する．

エントロピーとの関係

定理 1.3.4.

𝐼 (𝑋; 𝑌) = 𝐻 (𝑋) - 𝐻 (𝑋 ∣ 𝑌) = 𝐻 (𝑌) - 𝐻 (𝑌 ∣ 𝑋) = 𝐻 (𝑋) + 𝐻 (𝑌) - 𝐻 (𝑋, 𝑌) .

これが相互情報量の「正体」を示す中心的な等式群である．最初の表現は「 $𝑌$ を知ることで減る $𝑋$ の不確かさ」，対称形 $𝐻 (𝑋) + 𝐻 (𝑌) - 𝐻 (𝑋, 𝑌)$ は「別々に測った不確かさの和から，まとめて測った不確かさを引いた重複分」と読める．定義 1.3.1 という一見別物の式が，1.2 節で導いた $𝐻 (𝑋) - 𝐻 (𝑋 ∣ 𝑌)$ とぴったり一致する．これで，節の冒頭に掲げた「共有量を対等な形で定義する」という目標が達成されたことになる．

面積として読む. 二つの集合の面積として描くと見通しがよい（図 1.3.1）． $𝐻 (𝑋)$ と $𝐻 (𝑌)$ を二つの円の面積， $𝐻 (𝑋, 𝑌)$ を和集合の面積とみなすと， $𝐼 (𝑋; 𝑌)$ はちょうど共通部分にあたる． $𝐻 (𝑋 ∣ 𝑌)$ は $𝑋$ の円から共通部分を除いた部分， $𝐻 (𝑌 ∣ 𝑋)$ はその逆である．チェイン則 $𝐻 (𝑋, 𝑌) = 𝐻 (𝑌) + 𝐻 (𝑋 ∣ 𝑌)$ は「和集合＝一方＋他方の残り」， $𝐼 = 𝐻 (𝑋) + 𝐻 (𝑌) - 𝐻 (𝑋, 𝑌)$ は包除原理そのものになっている．この絵は 2 変数では正確で，実際に等式をすべて言い当てる（ただし 3 変数以上では「共通部分」が負になりうるので，絵として素直には延長できない）．

図 1.3.1. $𝐻 (𝑋)$ と $𝐻 (𝑌)$ を二つの円で表す．共通部分が $𝐼 (𝑋; 𝑌)$ ，左の円から共通部分を除いた部分が $𝐻 (𝑋 ∣ 𝑌)$ ，右の円から除いた部分が $𝐻 (𝑌 ∣ 𝑋)$ にあたる．

両端で確かめる. $𝑋$ と $𝑌$ が独立なら $𝐻 (𝑋 ∣ 𝑌) = 𝐻 (𝑋)$ なので $𝐼 (𝑋; 𝑌) = 0$ ，共通部分なし．逆に $𝑌 = 𝑋$ なら $𝐻 (𝑋 ∣ 𝑋) = 0$ なので $𝐼 (𝑋; 𝑋) = 𝐻 (𝑋)$ ，二つの円が完全に重なる．相互情報量の値は必ずこの $0$ と $m i n {𝐻 (𝑋), 𝐻 (𝑌)}$ のあいだにおさまる．

証明. 定義 1.3.1 の対数を $𝑝 (𝑥, 𝑦) = 𝑝 (𝑥 ∣ 𝑦) 𝑝 (𝑦)$ を使って分解する：

𝐼 (𝑋; 𝑌) = \sum 𝑥, 𝑦 𝑝 (𝑥, 𝑦) l o g 𝑝 (𝑥 ∣ 𝑦) 𝑝 (𝑥) = - \sum 𝑥, 𝑦 𝑝 (𝑥, 𝑦) l o g 𝑝 (𝑥) ⏟____⏟____⏟ = 𝐻 (𝑋) - (- \sum 𝑥, 𝑦 𝑝 (𝑥, 𝑦) l o g 𝑝 (𝑥 ∣ 𝑦)) ⏟______⏟______⏟ = 𝐻 (𝑋 ∣ 𝑌) .

第 1 項は $𝑦$ について先に和をとって $𝐻 (𝑋)$ ，第 2 項は定義 1.2.2 により $𝐻 (𝑋 ∣ 𝑌)$ ．よって $𝐼 (𝑋; 𝑌) = 𝐻 (𝑋) - 𝐻 (𝑋 ∣ 𝑌)$ ．対称性（命題 1.3.3）から $𝐼 (𝑋; 𝑌) = 𝐻 (𝑌) - 𝐻 (𝑌 ∣ 𝑋)$ も従う．最後にチェイン則（定理 1.2.3）で $𝐻 (𝑋 ∣ 𝑌) = 𝐻 (𝑋, 𝑌) - 𝐻 (𝑌)$ を代入すれば $𝐼 (𝑋; 𝑌) = 𝐻 (𝑋) + 𝐻 (𝑌) - 𝐻 (𝑋, 𝑌)$ ． $◼$

いま見た $𝐼 (𝑋; 𝑋) = 𝐻 (𝑋)$ という特別な場合から，相互情報量はしばしば「自己情報量」としてのエントロピーを含む一般化とみなされる．エントロピーは「自分自身と共有している情報の量」だ，というわけである．

形式化: mutualInfo_eq_entropy_sub_condEntropy (ソース)，対称形mutualInfo_eq_entropy_add_entropy_sub_jointEntropy (ソース)

注記

形式化では $𝐼 (𝑋; 𝑌)$ が拡張非負実数値， $𝐻, 𝐻 (\cdot ∣ \cdot)$ が実数値なので，橋渡し定理は左辺に .toReal を付けた等式として述べる．数学的内容は定理 1.3.4 と同一．本文の「 $𝑦$ について和をとって $𝐻 (𝑋)$ 」は，共通注記のとおり $𝑌$ の像測度の上の積分補題に対応する．

有限性

命題 1.3.5. 定義 1.1.1 の設定（有限アルファベット）で $𝐼 (𝑋; 𝑌) < \infty$ ．

証明. 定理 1.3.4 より $𝐼 (𝑋; 𝑌) = 𝐻 (𝑋) - 𝐻 (𝑋 ∣ 𝑌)$ で， $𝐻 (𝑋)$ は有限個の項の有限和だから有限， $𝐻 (𝑋 ∣ 𝑌)$ は非負（定義 1.2.2 の直後で見た）．よって $𝐼 (𝑋; 𝑌) \leq 𝐻 (𝑋) < \infty$ ． $◼$

拡張実数値をとりうる量を扱うとき，有限性はいちいち確かめる必要がある．以降ではこの命題により，相互情報量を実数として足し引きしてよい．

形式化: mutualInfo_ne_top (ソース)

注記

本文一行の有限性が，形式化では結合分布の周辺積への絶対連続性と対数尤度比の可積分性を経て Mathlib の klDiv_ne_top に帰着する測度論の補題になる．

情報理論入門（Lean による形式証明つき）・GitHub