9.8: 平均情報量(エントロピー)

ベイズの定理と等重率の応用として， 平均情報量(＝エントロピー) ─ シャノンの平均情報量 の 測定理論版 ─ について説明する．

$(\sharp):$ S. Ishikawa, A Quantum Mechanical Approach to Fuzzy Theory, Fuzzy Sets and Systems, Vol. 90, No. 3, 277-306, 1997
$(\sharp):$ S. Ishikawa, Mathematical Foundations of measurement theory, Keio University Press Inc. 2006.



次の定義から始めよう。

定義9.19 [平均情報量 ] \begin{align*} \mbox{ 古典基本構造$[ C_0(\Omega ) \subseteq L^\infty (\Omega, \nu ) \subseteq B(L^2 (\Omega, \nu ))] $ } \end{align*} を考える.

測定空間を$X=\{x_1,x_2,\ldots\}$ として， 混合測定 ${\mathsf M}_{L^\infty(\Omega, \nu {})} $ $({\mathsf O} = (X , 2^X , F {}), $ $ {\overline S}_{[\ast ]}({w_0}{}) ) $ を考える． 混合測定${\mathsf M}_{L^\infty(\Omega{})} ({\mathsf O} , {\overline S}_{[\ast ]}({w_0}{}){}) $ により， 測定値$x_n$が得られる確率$P(\{ x_n \}{})$は \begin{align} P(\{ x_n \}{}) = \int_{\Omega} [{}F(\{ x_n \}{})] (\omega{}) {w_0}(\omega{}) \nu (d \omega{}) \tag{9.25} \end{align} で与えられる． 更に， 測定値$x_n$ が得られたときの， 平均情報量$I(\{ x_n \}{})$ は ベイズの定理(定理9.11)から， \begin{align*} I(\{ x_n \}{}) & = \int_\Omega \frac{ [{}F(\{ x_n \}{})] (\omega {}) } {{ \int_{\Omega} [{}F(\{ x_n \}{})] (\omega {}) {w_0}(\omega{}) \nu (d \omega {}) } } \log \frac{ [{}F(\{ x_n \}{})] (\omega {}) } {{ \int_{\Omega} [{}F(\{ x_n \}{})] (\omega {}) {w_0} (\omega{}) \nu(d \omega {}) } } {w_0}(\omega{}) \nu (d \omega{}) \end{align*} で与えられる． よって， 混合測定 ${\mathsf M}_{L^\infty(\Omega{})} $ $({\mathsf O}, $ $ {\overline S}_{[\ast ]}({w_0}{})) $ の平均情報量 $ H \big( {\mathsf M}_{L^\infty(\Omega{})} ({\mathsf O} , {\overline S}_{[\ast ]}({w_0}{}){}) \big) $ を 次のように定義する:

\begin{align} & \; \; H \big( {\mathsf M}_{L^\infty(\Omega{})} ({\mathsf O} , {\overline S}_{[\ast ]}({w_0}{}){}) \big) = \sum\limits_{n=1}^\infty P(\{ x_n \}{}) \cdot I(\{ x_n \}{}) \tag{9.26} \end{align}


また， 次も明らかである: \begin{align} H \big({\mathsf M}_{L^\infty(\Omega{})} ({\mathsf O} , {\overline S}_{[\ast ]}({w_0}{}){}) \big) = & \sum\limits_{n=1}^\infty \int_\Omega [{}F(\{ x_n \}{})] (\omega{}) \log [{}F(\{ x_n \}{})] (\omega{}) {w_0}(\omega{}) \nu (d \omega{}) \nonumber \\ & \qquad \qquad - \sum\limits_{n=1}^\infty P(\{ x_n \}) \log P(\{ x_n \}) \tag{9.27} \end{align}








例 9.20 [真犯人は男か女か？$\;$足が速いか遅いか?] さて，

$(a):$ 100人の容疑者たち $\{ s_1 , s_2 ,\ldots, s_{100} \}$ の 中に一人の犯人がいる

という状況を想定しよう． ここで，状態空間を $\Omega$ $ = $ $\{ \omega_1 , \omega_2 ,\ldots, \omega_{100} \}$ として， \begin{align*} 状態\omega_n ・・・ 容疑者{s_n} が犯人である状態 \qquad (n=1,2,...,100) \end{align*} とする．測度$\nu$は, $\nu(\{ \omega_k \})=1$ $(\forall k=1,2, \cdots, 100)$ で定める. $L^\infty(\Omega, \nu)$ 内の男-観測量 ${\mathsf O}_{\rm m}$ $=$ $(X = \{ y_{\rm m} , n_{\rm m} \} , 2^{X} , M {})$ が次のように定まっているとする:

\begin{align*} & [M({\{ y_{\rm m} \} } )](\omega_n{}) = m_{ y_{\rm m} }(\omega_n{}) = \begin{cases} 0 \quad & (n \; \text{が奇数のとき}{}) \\ 1 & (n \; \text{が偶数のとき}{}) \end{cases} \quad \\ & [M({\{ n_{\rm m} \} } )](\omega_n{}) = m_{ n_{\rm m} }(\omega_n{}) = 1- [M({\{ y_{\rm m} \} } )](\omega_n{}) \end{align*}

たとえば，

$\quad$ 測定 ${\mathsf M}_{L^\infty (\Omega {})} ({\mathsf O}_{\rm m} , S_{[\omega_{17} ]}{}) $ ─ 容疑者$s_{17}$が犯人として， その犯人の性別の測定 ─ を行なえば， 測定値は，確実に「$n_{\rm m}$(=女)」である．

また， $L^\infty(\Omega)$ 内の速い-観測量 ${\mathsf O}_{\rm f}$ $ = $ $(Y= \{ y_{\rm f} , n_{\rm f} \} , 2^{Y} , F {})$ も次のように定まっているとする:

\begin{align*} & [F({\{ y_{\rm f} \} } )](\omega_n{}) = f_{ y_{\rm f} }(\omega_n{}) = {\displaystyle \frac{n-1}{99} }, \qquad \\ & [F({\{ n_{\rm f} \} } )](\omega_n{}) = f_{n_{\rm f} }(\omega_n{}) = 1- [F({\{ y_{\rm f} \} } )](\omega_n{}) \end{align*}

「誰が真犯人か?」 の情報を全く持っていない」という意味で, 等重率(定理9.18)により， 混合状態${w_0}$ $ \in {L^1}_{+1} (\Omega{})$ は，等確率による状態$w_e$ とする． すなわち， ${w_0} ( \omega_n {}) =w_e (\omega_n {}) = 1/100$ $(\forall n{})$ と定める． ここで， 2つ 混合測定 ${\mathsf M}_{L^\infty (\Omega {})} ({\mathsf O}_{\rm m} , {\overline S}_{[\ast ]}(w_e{}){}) $ と ${\mathsf M}_{L^\infty (\Omega {})} ({\mathsf O}_{\rm f} , {\overline S}_{[\ast ]}(w_e{}){}) $ を考える． このとき， 各々の平均情報量は次のように計算できる．

\begin{eqnarray*} H \big({\mathsf M}_{L^\infty (\Omega {})} ({\mathsf O}_{\rm m} , {\overline S}_{[\ast ]}(w_e{}))\big) &=& \int_\Omega m_{ y_{\rm m} } (\omega{}) w_e (\omega ) \nu (d \omega{}) \cdot \log \int_{\Omega} m_{ y_{\rm m} } (\omega{}) w_e (\omega ) \nu(d \omega{}) \\ & & - \int_\Omega m_{\{ n_{\rm m} \} } (\omega{}) w_e (\omega ) \nu(d \omega{}) \cdot \log \int_\Omega m_{ n_{\rm m} } (\omega{}) w_e (\omega ) \nu(d \omega{})\\ &=& - \frac{1}{2} \log \frac{1}{2} - \frac{1}{2} \log \frac{1}{2} =\log_2 2 = 1 \; \; \text{(ビット)} \end{eqnarray*} また， \begin{eqnarray*} H \big({\mathsf M}_{L^\infty (\Omega {})} ({\mathsf O}_{\rm f} , {\overline S}_{[\ast ]}(w_e{}){}) \big) &=& \int_\Omega f_{ y_{\rm f} } (\omega{}) \log f_{ y_{\rm f} } (\omega{}) w_e (\omega ) \nu(d \omega{}) \\ && \hspace{-4cm}+ \int_\Omega f_{ n_{\rm f} } (\omega{}) \log f_{ n_{\rm f} } (\omega{}) w_e (\omega ) \nu(d \omega{}) - \int_\Omega f_{ y_{\rm f} } (\omega{}) w_e(\omega ) \nu (d \omega{}) \cdot \log \int_{\Omega} f_{ y_{\rm f} } (\omega{}) w_e (\omega ) \nu(d \omega{}) \\ && \hspace{-4cm} - \int_\Omega f_{ n_{\rm f} } (\omega{}) w_e (d \omega{}) \cdot \log \int_\Omega f_{ n_{\rm f} } (\omega{}) w_e(\omega ) \nu (d \omega{}) \\ && \hspace{-4cm}{\doteqdot} 2 \int_0^1 \lambda \log_2 \lambda d \lambda +1 = - \frac{1}{ 2 \log_e 2} +1 = 0.278 \cdots \text{(ビット)} \end{eqnarray*} となる．したがって，この例の場合は，
$\qquad$ 「速い・遅い」よりも，「男・女」の方が目撃情報としては，かなり価値が高い
と言える．

以上のように情報理論は、一見面白そうだが、そうでもないのかもしれない。

  • 「$\log$をとる」

ことで、突然深くなるとは思えないからである。