現象から理解する：何が起こり、なぜ起こる？
二値情報源の不確実性を、平均情報量で表したものが二値エントロピーです。同じ2通りの結果でも起こりやすさが偏るほど情報量は小さくなります。
起こりにくい出来事は実現したときの驚きが大きく、予測どおりの出来事からはほとんど新しい情報が得られません。この驚きを数にしたものが自己情報量です。
自己情報量を確率で平均したものがエントロピー。0と1が半々に出る場合は最も予測しづらく、99%同じ値が出る場合よりエントロピーが高くなります。
現象を表す公式・定義
この公式を使えるのはどんなとき？
0と1が確率pと1−pで生じる二値情報源の平均不確実性を求めるとき。
何を代入し、どう使う？
pは0〜1の確率、底2の対数を用い、単位はbit/記号。各確率に自己情報量を掛けて足します。
使えない条件・検算のポイント
p=0.5で最大1 bit、p=0と1で0。0log0は極限0と定義。記号間に依存があると系列の情報量率は別途検討します。
現象を図で理解する
模式図は法則を理解するための補助です。実際に代入する数値や条件は、公式と問題文で確認してください。
式が成り立つ理由・導出の流れ
適用条件：各記号が独立に生成され、1が出る確率p、0が出る確率1−p。対数は底2。0 log₂0は極限値0と定義。
冒頭の基本式は、現象の向き・保存則・変化率から導かれます。下の例題ではどの項を残し、何を既知量とするかを順に確認します。
代表的な計算式
よくあるミス・検算の観点
- 確率pそのものとビット単位の情報量を混同しない。
- 対数の底が2のとき単位はbit。自然対数の場合はnatsとなる。
- p=0や1で0 log0をそのまま計算せず極限を使う。
単位、符号、初期条件、ベクトルの向きを最後に確認しましょう。
例題1（基本）｜何を求めるかから始める
- 1が出る確率をp、0が出る確率を1−pと定める。
- 自己情報量はI(1)=−log₂p、I(0)=−log₂(1−p)。
- 平均を取りH₂(p)=−p log₂p−(1−p)log₂(1−p)。
- p=1/2のときH₂=1bit、p=0または1で0bit。
- 導関数 H₂'(p)=log₂((1−p)/p) はp=1/2で0となり最大。
例題2（標準）｜p=0.1のエントロピーを求め、公平なコインと比較せよ。
- H₂(0.1)≈0.4690 bit。
- 1bitより小さく、出現確率が偏るほど予測しやすい。
演習問題（基本・標準・発展）
基本から段階的に考えるオリジナル問題です。内容確認中の単元には共通の復習問題も残しています。
公平なコインのエントロピーを求めよ。
手順と解説を見る
- p=1/2より−2×(1/2)log₂(1/2)=1 bit。
必ず同じ値が出る情報源のエントロピーは。
手順と解説を見る
- p=0または1。
- 不確実性がないため0 bit。
p=0.25の二値情報源のエントロピーは。
手順と解説を見る
- H₂=−0.25log₂0.25−0.75log₂0.75。
- 0.5+0.311278≈0.811278 bit。
p=0.1のエントロピーを求め、公平なコインと比較せよ。
手順と解説を見る
- H₂(0.1)≈0.4690 bit。
- 1bitより小さく、出現確率が偏るほど予測しやすい。
p=0.8とp=0.2のエントロピーの関係は。
手順と解説を見る
- H₂(p)=H₂(1−p)なので等しい。
- ともに約0.7219 bit。
0<p<1でH₂がp=0.5で最大になることを示せ。
手順と解説を見る
- H₂'(p)=log₂((1−p)/p)、p<0.5で正、p>0.5で負。
- ゆえにp=0.5で最大1 bit。
独立な二値情報源でH₂=0.811 bit/記号なら、長い系列の理想的な可逆圧縮の平均符号長はどこまで下げられるか。
手順と解説を見る
- シャノンの情報源符号化定理より、ブロック長を大きくすると記号あたり約0.811 bitに近づけられる。
- 有限長・実際の符号では整数ビット長や符号化オーバーヘッドを考慮する。
問題に添えた図は考えるための模式図です。数値や関係を判断するときは必ず問題文の条件を優先してください。
この単元の学習を記録する
例題・演習を終えたら記録しましょう。結果はこのブラウザにのみ保存され、ログインや外部送信は不要です。
未完了関連単元・参考資料
前後の単元を続けて読むと、定義から応用までのつながりを確認できます。院試の過去問は大学の公式公開先を参照し、当サイトには独自解説・オリジナル練習問題を掲載します。