情報理論
各単元は独立したページで解説しています。1ページに全単元を詰め込まず、図・式・例題・演習を1単元ずつ学べます。
情報理論の全8単元
学びたい単元を選んでください。重点単元から順次、図と解法を詳しく改善しています。
- 第1単元自己情報量学習する →
起こりにくい事象ほど、その観測がもたらす情報量は大きい。確率0の事象は観測できず、確率1の事象は情報量0。
- 第2単元シャノンエントロピー学習する →
エントロピーは自己情報量の期待値。情報源の不確実性を測る。分布が一様なとき大きい。
- 第3単元条件付きエントロピー学習する →
Yを知った後に残るXの不確実性。観測が情報を与えると平均的な不確実性は減る。
- 第4単元相互情報量学習する →
一方を観測すると他方について平均何bit分かるか。独立なら0。
- 第5単元情報源符号化・ハフマン符号学習する →
頻出記号には短い符号語、まれな記号には長い符号語を割り当てて平均符号長を削減する。
- 第6単元二元対称通信路学習する →
送信ビットが確率pで反転する通信路。雑音がゼロなら容量1、完全にランダムなら容量0。
- 第7単元通信路容量と符号化定理学習する →
信頼性の高い通信を達成できる最大の通信速度。容量を超えるレートでは誤りを無視できなくなる。
- 第8単元誤り検出とハミング距離学習する →
符号語間の異なるビット数がハミング距離。最小距離が検出・訂正能力を決める。