情報理論

目的

日ごろ使っているインターネットや携帯電話は,情報理論に立脚している.情報理論の出現と,ディジタル技術,LSI技術,光通信技術,ソフトウェア技術等の発展により,今日のICT (Information and Communication Technology) 社会が実現していると言える.このような情報理論についてその考え方を学ぶ.情報を数学的に捉え,その量を定義することで効率の良い情報処理,情報伝送を実現できる.その基礎となる学問が情報理論である.インターネット上で利用される画像,音声の圧縮符号化,ファイル等のデータ圧縮,記録デバイスの誤り訂正,携帯電話等の無線通信で発生する誤りの訂正等,現在の情報通信ネットワークの世界は情報理論の上に成り立っていると言っても良い.本講義では確率論,確率過程の基礎および情報量の定義から始め,情報圧縮,符号理論等を学習する.

使用テキスト

教科書:三木成彦,吉川英樹,「情報理論」,コロナ社 (2000)
配布資料:このページからダウンロードし,紙に印刷,または電子媒体 (資料の第三者への譲渡・配布・頒布を禁じます) にして授業に持参してください.

受講要件と成績評価

受講要件は特にありません.成績は,出席状況,中間試験,期末試験で判定し,それぞれ順に10%,40%,50%の重みとします.60点以上が合格です.

内容
資料
イントロダクション,シラバス,二元符号と二進数
確率論の基礎
確率分布
確率過程
情報量とエントロピー
情報源モデルと通信路モデル
中間試験
中間試験の解説&相互情報量
伝送情報量と通信路容量
情報源符号化の基礎
通信路符号化の基礎と情報源符号化
拡大情報源と動的符号化
通信路符号化におけるパリティ検査とハミング符号
線型符号と巡回符号
期末試験