現象から理解する：何が起こり、なぜ起こる？
二元対称通信路（BSC）は、0/1のビットが一定確率pで反転する通信路です。入力ビットと受信ビットの関係を確率で記述し、伝えられる情報量の上限を考えます。
通信路を通る途中で0と1が反転することがあります。二元対称通信路は、0→1と1→0が同じ確率pで発生する最も基本的な誤りのモデルです。
p=0なら誤りなし、p=0.5なら受信ビットは送信ビットと無関係になります。p=1なら必ず反転しますが、受信側が反転を戻せるため容量は1に戻ります。
現象を表す公式・定義
この公式を使えるのはどんなとき？
各ビットが独立に同じ確率pで反転するBSC通信路の容量を求めるとき。
何を代入し、どう使う？
Cは容量[bit/通信路使用]、H₂(p)は二値エントロピー。まずH₂(p)を計算し、1から引きます。p=0.1ならC≈0.531です。
使えない条件・検算のポイント
反転確率に記憶がある場合、0→1と1→0で異なる場合はBSCの式を適用できません。p=0.5ならC=0です。
現象を図で理解する
模式図は法則を理解するための補助です。実際に代入する数値や条件は、公式と問題文で確認してください。
式が成り立つ理由・導出の流れ
適用条件：各ビットは独立に確率pで反転、0≤p≤1。通信路容量C=1−H₂(p) [bit/使用]。H₂(p)=−p log₂p−(1−p)log₂(1−p)、端点は極限値を用いる。
冒頭の基本式は、現象の向き・保存則・変化率から導かれます。下の例題ではどの項を残し、何を既知量とするかを順に確認します。
よくあるミス・検算の観点
- p=1ではすべてのビットが反転するが、反転を知っていれば復号できるため容量は1。
- 確率と容量の単位を混同しない。容量はbit/通信路使用。
- 通信路容量と、特定の入力分布で得られる相互情報量は同じとは限らない。
単位、符号、初期条件、ベクトルの向きを最後に確認しましょう。
例題1（基本）｜何を求めるかから始める
- 入力X∈{0,1}、出力Y∈{0,1}。誤り率pのBSCを考える。
- 各入力に対する出力の不確実性はH(Y|X)=H₂(p)。
- 入力を0/1等確率に選ぶと出力も等確率になりH(Y)=1 bit。
- 相互情報量I(X;Y)=H(Y)−H(Y|X)=1−H₂(p)。
- BSCでは等確率入力が容量を達成する。例えばp=0.1ならC≈0.531 bit/使用、p=0.5なら0。
例題2（標準）｜p=0.1のBSCで容量Cを小数第3位まで求めよ。
- H₂(0.1)≈0.4690。
- C≈0.531 bit/使用。
演習問題（基本・標準・発展）
基本から段階的に考えるオリジナル問題です。内容確認中の単元には共通の復習問題も残しています。
BSCでp=0の容量Cは何bit/使用か。
手順と解説を見る
- H₂(0)=0。
- C=1 bit/使用。
BSCでp=0.5の容量Cは。
手順と解説を見る
- H₂(0.5)=1。
- C=0 bit/使用。
BSCでp=1の場合の通信路容量Cは何bit/使用か。
手順と解説を見る
- 必ず反転するので出力を再反転すれば元に戻せる。
- H₂(1)=0、C=1。
p=0.1のBSCで容量Cを小数第3位まで求めよ。
手順と解説を見る
- H₂(0.1)≈0.4690。
- C≈0.531 bit/使用。
p=0.25のBSC容量を小数第3位まで求めよ。
手順と解説を見る
- H₂(0.25)≈0.811278。
- C≈0.189 bit/使用。
p=0.2とp=0.8のBSCで容量が同じ理由を説明せよ。
手順と解説を見る
- H₂(p)=H₂(1−p)。
- 反転ビットを既知の規則でさらに反転すれば、pと1−pは等価。
BSCでp=0.5のとき、入力の確率を変えても情報を送れない理由は。
手順と解説を見る
- 各入力に対してYは0/1等確率で入力から独立。
- I(X;Y)=0で、容量も0。
問題に添えた図は考えるための模式図です。数値や関係を判断するときは必ず問題文の条件を優先してください。
この単元の学習を記録する
例題・演習を終えたら記録しましょう。結果はこのブラウザにのみ保存され、ログインや外部送信は不要です。
未完了関連単元・参考資料
前後の単元を続けて読むと、定義から応用までのつながりを確認できます。院試の過去問は大学の公式公開先を参照し、当サイトには独自解説・オリジナル練習問題を掲載します。