1.4 条件付き相互情報量

1.3 節の相互情報量は「 $𝑋$ と $𝑌$ が共有する情報」を測った．実際には，すでに何かを知っている状態からこれを問いたいことが多い．電話の場面で，相手の声がいったん中継局を経てこちらに届くとしよう．相手が言った単語を $𝑋$ ，中継局が拾った音を $𝑍$ ，こちらに聞こえた単語を $𝑌$ とする．中継局の記録 $𝑍$ をすでに手に入れているなら，そのうえで聞こえた単語 $𝑌$ は言った単語 $𝑋$ についてなおどれだけ教えてくれるか，という問いになる．通信の言葉でいえば，送り手が送った記号の列（送信語）が中継点を経て受け手に届き，受け手は届いた列（受信語）から送信語を推定する．その推定に，中継点の値を知っていることがどう効くかを問うことになる．そこで，条件 $𝑍 = 𝑧$ ごとに相互情報量を測り， $𝑍$ の分布で平均した量を導入する．これは次節のチェイン則で，変数を 1 個ずつ足したときの「増分」として現れる主役でもある．

定義

条件 $𝑍 = 𝑧$ を固定すると， $(𝑋, 𝑌)$ の分布は条件付き同時分布 $𝑝 (𝑥, 𝑦 ∣ 𝑧)$ に，周辺分布は $𝑝 (𝑥 ∣ 𝑧)$ ， $𝑝 (𝑦 ∣ 𝑧)$ に置き換わる．この分布に定義 1.3.1 をそのまま適用したものを $𝐼 (𝑋; 𝑌 ∣ 𝑍 = 𝑧)$ と書く：

𝐼 (𝑋; 𝑌 ∣ 𝑍 = 𝑧) = \sum 𝑥, 𝑦 𝑝 (𝑥, 𝑦 ∣ 𝑧) l o g 𝑝 (𝑥, 𝑦 ∣ 𝑧) 𝑝 (𝑥 ∣ 𝑧) 𝑝 (𝑦 ∣ 𝑧) .

これを $𝑍$ の分布で平均する．

定義 1.4.1（条件付き相互情報量）.

𝐼 (𝑋; 𝑌 ∣ 𝑍) = \sum 𝑧 𝑝 (𝑧) 𝐼 (𝑋; 𝑌 ∣ 𝑍 = 𝑧) = \sum 𝑥, 𝑦, 𝑧 𝑝 (𝑥, 𝑦, 𝑧) l o g 𝑝 (𝑥, 𝑦 ∣ 𝑧) 𝑝 (𝑥 ∣ 𝑧) 𝑝 (𝑦 ∣ 𝑧) .

条件付きエントロピー（定義 1.2.2）が「各 $𝑦$ ごとのエントロピーを平均したもの」だったのとまったく同じ作り方である． $𝑍 = 𝑧$ ごとに「そのもとでの同時分布が，そのもとで独立だったらどうだったか，からどれだけ隔たっているか」を測り， $𝑍$ で平均している．

この量は「 $𝑍$ をすでに知っている人から見て， $𝑋$ と $𝑌$ はまだどれだけ結びついて見えるか」である． $𝑍$ を知ることで結びつきが説明しつくされていれば 0 になり， $𝑍$ を知ってもなお残る結びつきがあれば正になる．

増減の向きは決まらない. $𝐼 (𝑋; 𝑌 ∣ 𝑍)$ は $𝐼 (𝑋; 𝑌)$ より小さいとは限らない．条件を付けると相互情報量は増えることも減ることもある．

減る例：公平なコイン $𝑊$ を投げ， $𝑋$ も $𝑌$ も $𝑍$ もすべて $𝑊$ の値そのものとする． $𝑋$ と $𝑌$ は完全に一致しているので $𝐼 (𝑋; 𝑌) = l o g 2 > 0$ ．しかし $𝑍$ を知れば $𝑋$ も $𝑌$ も確定してしまい，そのうえで共有すべき不確かさは残らないので $𝐼 (𝑋; 𝑌 ∣ 𝑍) = 0$ ． $𝑋$ と $𝑌$ の結びつきが $𝑍$ を通じてしか生じていない状況では，一般にこうなる（1.8 節でマルコフ連鎖として定式化する．定義 1.8.3）．
増える例： $𝑋, 𝑌$ を独立な公平コイン， $𝑍 : = 𝑋 \oplus 𝑌$ （排他的論理和）とする． $𝑋$ と $𝑌$ は独立なので $𝐼 (𝑋; 𝑌) = 0$ ．しかし $𝑍$ を知ってしまえば $𝑋$ から $𝑌$ が完全に決まるので $𝐼 (𝑋; 𝑌 ∣ 𝑍) = l o g 2 > 0$ ．「共通の結果を知ると，原因どうしが結びついて見える」という現象である．

したがって「条件を増やせば情報は減る」という言い方は誤りである．減るのはエントロピー（定理 1.2.4）であって，相互情報量ではない．

記法の先取り

1.6 節の相対エントロピー $𝐷 (\cdot ‖ \cdot)$ を使えば，各 $𝑧$ の項は $𝐷 (𝑝 (𝑥, 𝑦 ∣ 𝑧) ∥ 𝑝 (𝑥 ∣ 𝑧) 𝑝 (𝑦 ∣ 𝑧))$ と書ける．本節はこの記法を使わない．

形式化: condMutualInfo (ソース)

注記

本ライブラリは条件付き分布カーネルの合成積の形に対する相対エントロピーとして定義する（Mathlib の klDiv に $𝑍$ の像測度と核の合成積を渡す）．値は拡張非負実数である．この定義は条件付き分布カーネルを取り扱うために $𝑋, 𝑌$ に標準ボレル空間（StandardBorelSpace）を要求する．以降の条件付き量にはこの前提が一貫して付くが，これは核を作るための正則性（regularity）条件であって，定理の核心ではない．

基本性質

命題 1.4.2. $𝐼 (𝑋; 𝑌 ∣ 𝑍) \geq 0$ ．また $𝐼 (𝑋; 𝑌 ∣ 𝑍) = 𝐼 (𝑌; 𝑋 ∣ 𝑍)$ （対称性）．さらに $𝐼 (𝑋; 𝑌 ∣ 𝑍) = 0$ は， $𝑝 (𝑧) > 0$ である各 $𝑧$ について

𝑝 (𝑥, 𝑦 ∣ 𝑧) = 𝑝 (𝑥 ∣ 𝑧) 𝑝 (𝑦 ∣ 𝑧)

が成り立つこと（ $𝑍$ を与えたとき $𝑋$ と $𝑌$ が 条件付き独立 であること，記号で $𝑋 ⟂ 𝑌 ∣ 𝑍$ ）と同値である．

証明. 各項 $𝐼 (𝑋; 𝑌 ∣ 𝑍 = 𝑧)$ は，条件付き分布 $𝑝 (\cdot, \cdot ∣ 𝑧)$ に対する定義 1.3.1 の相互情報量そのものである．したがって命題 1.3.2 より $𝐼 (𝑋; 𝑌 ∣ 𝑍 = 𝑧) \geq 0$ で，非負の項を非負の重み $𝑝 (𝑧)$ で平均した $𝐼 (𝑋; 𝑌 ∣ 𝑍)$ も非負．対称性も同様に，各 $𝑧$ で命題 1.3.3 が成り立つことから従う．

等号条件も各 $𝑧$ に還元する．非負の項を正の重み $𝑝 (𝑧)$ で平均した和が 0 になるのは， $𝑝 (𝑧) > 0$ の各 $𝑧$ で $𝐼 (𝑋; 𝑌 ∣ 𝑍 = 𝑧) = 0$ となるとき，かつそのときに限る．そして命題 1.3.2 の等号条件により，それは条件付き分布 $𝑝 (\cdot, \cdot ∣ 𝑧)$ のもとで $𝑋$ と $𝑌$ が独立であること，すなわち上の積の形にほかならない． $◼$

形式化: 非負性 condMutualInfo_nonneg，対称性 condMutualInfo_comm (ソース)

注記

非負性は，無条件の相互情報量と同じく拡張非負実数値であることからほぼ型レベルで従う．等号条件（条件付き独立との同値）については，マルコフ性から $𝐼 = 0$ を出す片方向だけが形式化されており，逆向きを含む同値の形は無い．

エントロピー表現

定理 1.4.3.

𝐼 (𝑋; 𝑍 ∣ 𝑌) = 𝐻 (𝑋 ∣ 𝑌) - 𝐻 (𝑋 ∣ 𝑌, 𝑍) .

無条件版（定理 1.3.4）の $𝐼 (𝑋; 𝑍) = 𝐻 (𝑋) - 𝐻 (𝑋 ∣ 𝑍)$ を，すべて「 $𝑌$ を知ったうえで」に読み替えたものである．

本節の量が「 $𝑌$ を知っている人の世界での相互情報量」であることが，この等式で確認できる． $𝑌$ を知っている人にとって $𝑋$ の不確かさは $𝐻 (𝑋 ∣ 𝑌)$ であり，そこへさらに $𝑍$ を教えると $𝐻 (𝑋 ∣ 𝑌, 𝑍)$ まで下がる．その下がり幅が $𝐼 (𝑋; 𝑍 ∣ 𝑌)$ である．定理 1.3.4 の「 $𝑌$ を知って減る $𝑋$ の不確かさ」という読みが，そのまま条件付き版でも通用する．

左辺が非負（命題 1.4.2）であることから $𝐻 (𝑋 ∣ 𝑌, 𝑍) \leq 𝐻 (𝑋 ∣ 𝑌)$ が読み取れるので，この等式は 1.2 節の条件付けの単調性（定理 1.2.4）の別証明にもなっている．

証明. 定義 1.4.1 の各 $𝑦$ ごとの項で，被加数の対数比を $𝑝 (𝑥, 𝑧 ∣ 𝑦) = 𝑝 (𝑥 ∣ 𝑦, 𝑧) 𝑝 (𝑧 ∣ 𝑦)$ を使って書き換えると

l o g 𝑝 (𝑥, 𝑧 ∣ 𝑦) 𝑝 (𝑥 ∣ 𝑦) 𝑝 (𝑧 ∣ 𝑦) = l o g 𝑝 (𝑥 ∣ 𝑦, 𝑧) 𝑝 (𝑥 ∣ 𝑦) .

これを $𝑝 (𝑧 ∣ 𝑦)$ および $𝑝 (𝑦)$ で重みづけて和をとると，重み $𝑝 (𝑦) 𝑝 (𝑥, 𝑧 ∣ 𝑦) = 𝑝 (𝑥, 𝑦, 𝑧)$ により

𝐼 (𝑋; 𝑍 ∣ 𝑌) = \sum 𝑥, 𝑦, 𝑧 𝑝 (𝑥, 𝑦, 𝑧) l o g 𝑝 (𝑥 ∣ 𝑦, 𝑧) - \sum 𝑥, 𝑦, 𝑧 𝑝 (𝑥, 𝑦, 𝑧) l o g 𝑝 (𝑥 ∣ 𝑦) .

第 1 項は定義 1.2.2 によりちょうど $- 𝐻 (𝑋 ∣ 𝑌, 𝑍)$ ．第 2 項は $𝑧$ について先に和をとると $\sum 𝑧 𝑝 (𝑥, 𝑦, 𝑧) = 𝑝 (𝑥, 𝑦)$ なので $- \sum 𝑥, 𝑦 𝑝 (𝑥, 𝑦) l o g 𝑝 (𝑥 ∣ 𝑦) = - 𝐻 (𝑋 ∣ 𝑌)$ ，符号を込めて $+ 𝐻 (𝑋 ∣ 𝑌)$ ．合わせて $𝐼 (𝑋; 𝑍 ∣ 𝑌) = 𝐻 (𝑋 ∣ 𝑌) - 𝐻 (𝑋 ∣ 𝑌, 𝑍)$ ． $◼$

形式化: condMutualInfo_eq_condEntropy_sub_condEntropy (ソース)

注記

形式化では左辺に .toReal を付けた等式として述べる（条件付き相互情報量が拡張非負実数値，条件付きエントロピーが実数値のため）．

情報理論入門（Lean による形式証明つき）・GitHub