情報理論¶

エントロピー entropy
最大エントロピー
条件付きエントロピー
カルバック=ライブラーダイバージェンス
相互情報量

情報量 Information Measure¶

情報量: 確率変数 $x$ のサプライズ量
まれにしか起こらない事象が起こった場合には情報量は大きい。ニュースになる
必ず起こることが起こっても情報量は小さい。ニュースにならない

$\begin{equation} H\left(x\right)=-\sum_x p\left(x\right)\log_2p\left(x\right) \end{equation}$ - マイナスをつけるのは正の値にするため

熱力学と情報理論¶

ボルツマン(左)とシャノン(右) 出典:ウィキペディア

エントロピー: 確率変数の平均情報量
物理学起源
熱力学の平衡の概念
統計力学

ボルツマン Ludwig Eduard Boltzmann (1844-1906)¶

統計力学
第一法則: エネルギー保存
第二法則: エントロピー増大
マクロとミクロをつなぐ

エントロピー¶

乱雑さの度合い。出典:

物理学におけるエントロピー ¶

$N$ 個の物質が $i$ 個の状態，各状態には $n_i$ 個の物質
$N$ 個の物質を全て並べる: $N\cdot(N-1)\cdots2\cdot1=N!$
各状態の中では物質の順序は問わないことにする
総数 $N$ 個の物質を $n_i$ に分ける場合の組み合わせ: $W=\frac{N!}{\prod_{i}n_{i}!}$
エントロピーの定義 $\begin{equation} H=\frac{1}{N}\ln W=\frac{1}{N}\ln N!-\frac{1}{N}\sum_i\ln n_i! \end{equation}$
スターリングの公式 $N! \approx N\log N-N$ を用いて

$\begin{equation} H=-\lim_{N\rightarrow\infty} \sum_i\left[\frac{n_i}{N}\ln\left(\frac{n_!}{N}\right)\right] =-\sum_ip_i\ln p_i \end{equation}$

全体の分布 $\displaystyle\frac{n_i}{N}$ をマクロステート
各 $i$ のミクロの状態 $n_i$ を

連続系のエントロピー ¶

離散量 $p\left(x_i\right)\Delta$ を考えて $\Delta\rightarrow0$ を考える:

$\begin{equation} \int_{i\Delta}^{\left(i+1\right)\Delta} p\left(x\right)d\left(x\right) =p\left(x_i\right)\Delta \end{equation}$

連続系のエントロピー $\begin{equation} H_{\Delta}=-\sum_ip\left(x_i\right)\Delta\log\left(p\left(x_i\right)\Delta\right)=-\sum_ip\left(x_i\right)\Delta\log\left(x_i\right)-\Delta\log\Delta \end{equation}$

$\Delta\rightarrow0$ の極限を考えれば: $\begin{equation} H_\Delta=-\int p\left(x\right)\log p\left(x\right)\text{d}x \end{equation}$
連続系と離散系のエントロピーは $\Delta\log\Delta$ だけ異なる

連続系のエントロピーを最大化する分布¶

どのような分布が連続系のエントロピーを最大化するか？
離散系では一様分布
連続系では? $H\left(x\right)=-\int p\left(x\right)\log p\left(x\right)\;\text{d}x$

汎関数としてのエントロピー ¶

通常の関数: 微分 := スカラを入力として，スカラを返す関数(演算子)
汎関数: 関数を入力としてスカラを返す関数(演算子)
機械学習における汎関数の例: スカラ値を返すエントロピー $H\left[p\left(x\right)\right]$ を最大化
変分原理あるいは変分推論

Maximizing a Functional¶

汎関数: 関数からスカラへの写像
最大値を与える関数を探す
制約付の最大化(最小化)
ラグランジアン Lagrangeanの利用

エントロピーの最大化¶

確率の制約，及び，平均と分散に関する制約条件を以下のように記述:
$\displaystyle\int p\left(x\right)\;\text{d}x =1$ : 確率
$\displaystyle\int xp\left(x\right)\;\text{d}x =\mu$ : 平均
$\displaystyle\int \left\{x-\mu\right\}^2p\left(x\right)\;\text{d}x=\sigma^2$ : 分散
ラグランジェ乗数を使って制約条件下での最大化<

$\begin{equation} -\int p\left(x\right)\log p\left(x\right)\;\text{d}x + \lambda_1\left\{\int p\left(x\right)\;\text{d}x-1\right\} + \lambda_2\left\{\int xp\left(x\right)\;\text{d}x-\mu\right\}+\lambda_3\left\{\int\left\{x-\mu\right\}^2p\left(x\right)\;\text{d}x-\sigma^2\right\} \end{equation}$

各変数で微分して0と置き，整理: $\begin{equation} p\left(x\right)=\exp\left(-1+\lambda_1+\lambda_2x+\lambda_3\left(x-\mu\right)^2\right) \end{equation}$

以上より連続量の最大エントロピーを与える確率分布はガウス分布となる

正規分布のエントロピーの微分¶

$\begin{equation} p\left(x\right)=\frac{1}{\sqrt{2\pi\sigma^2}} e^{-\left\{\frac{x-\mu}{\sigma}\right\}^2} \end{equation}$

このとき最大エントロピーは以下:

$\begin{equation} H\left(x\right)=\frac{1}{2}\left[1+\log\left(2\pi\sigma^2\right)\right] \end{equation}$

分散が大きくなればエントロピーは増大する
離散系のエントロピーとは異なり，連続系のエントロピーは $\sigma^2<\frac{1}{2}\pi e$ のとき，負となる

条件付きエントロピー Conditional Entropy¶

同時確率 $p\left(x,y\right)$ に対して $\begin{equation} H\left(x,y\right)=-\int\int p\left(x,y\right)\log p\left(x,y\right)\;\text{d}x\;\text{d}y \end{equation}$

$x$ が所与のとき条件付きエントロピー $\begin{equation} H\left(y\left|\,x\right.\right) =-\int p\left(y\left|\,x\right.\right)\log p\left(y\left|\,x\right.\right)\;dy \end{equation}$
さらに以下の関係がある $\begin{equation} H\left(x,y\right) = H\left(y\left|x\right.\right) + H\left(x\right) \end{equation}$

相対エントロピー ¶

未知の分布(真に知らんと欲する分布) $p\left(x\right)$ を，(例えばニュールネットワークなどにより) $q\left(x\right)$ で近似することを考える。
相対エントロピー(KLダイバージェンス)を用いて真の分布 $p(x)$ の代わりに $q(x)$ を用いた結果 $x$ の値を特定するために必要な平均情報量

ベイズ推論:
エントロピー: 情報論から
KL ダイバージェンス(相対情報量): パターン認識から

相対エントロピーと KL ダイバージェンス ¶

相対エントロピーの式に $q\left(x\right)$ を代入

$\begin{align} \mathop{KL}\left(p\left\|\,q\right.\right) &=-\int p(x)\log q(x)\;dx -\left[\int p(x)\log p(x)\;dx\right]\\ &=-\int p(x)\log\left(\frac{p(x)}{q(x)}\right)\,dx \end{align}$

KL ダイバージェンスは非対称性:

$\begin{equation} \mathop{KL}\left(p\left\|\,q\right.\right)\ne \mathop{KL}\left(q\left\|\,p\right.\right) \end{equation}$

K-L ダイバージェンスは常に正か $0$ 。等号が成り立つのは $p(x)=q(x)$ のときのみ

相互情報量 Mutual Information¶

2 変量 , が与えら得た時同時確率について:
- 両変量が独立な場合: $p\left(x,y\right)=p\left(x\right)p\left(y\right)$
- 独立でないければ:
  - 同時確率との KL ダイバージェンス

$\begin{align} I(x,y) &=\mathop{KL}\left(p(x,y)\left\|p(x)p(y)\right.\right)\\ &=\int\int p(x,y)\ln\left[\frac{p(x)\,p(y)}{p(x,y)}\right]\,\text{d}x\,\text{d}y \end{align}$

$\begin{align} \mathop{pmi}(x,y)&\equiv\log\left(\frac{p(x,y)}{p(x)\,p(y)}\right)\\ &=\log\left(\frac{p\left(x\left|\,y\right.\right)}{p(x)}\right)\\ &=\log\left(\frac{p\left(y\left|\,x\right.\right)}{p(y)}\right) \end{align}$

https://en.wikipedia.org/wiki/Pointwise_mutual_information