| 科目名 |
情報理論基礎 |
| 担当教員 |
福本 昌弘 |
| 対象学年 |
2年 |
クラス |
学部：専門001 |
| 講義室 |
Ａ１０７ |
開講学期 |
１学期 |
| 曜日・時限 |
火１,金１ |
単位区分 |
選択 |
| 授業形態 |
一般講義 |
単位数 |
2 |
| 準備事項 |
|
| 備考 |
|
| 授業の詳細1 |
授業の目的
通信や情報システムでは、ディジタル信号、アナログ信号など様々な形式の信号が取り扱われており、これらを有益な情報として利用するためには、その信号の性質や振舞をとらえ、数学的に記述することが不可欠である。情報理論は、これらの有効な一助となる。
この授業は、主に大学共通科目「数学１・２」や情報学群専門基礎科目「通信網概論」、「情報代数」、「離散数学」で修めた知識をもとに、情報通信をはじめとする情報システム全般で必要とされる、確率の数学的な基本と情報理論の基本的な概念を修得し、専門科目での応用のための基礎を築く。
この授業では、まず確率の公理や条件付き確率などの基本的なことがらを学ぶ。そして、情報量について理解し、シャノンの示した情報量や符号化に関する諸性質など情報理論の基礎を学ぶ。
キーワード
確率、条件付き確率、エントロピー、通信路容量、通信路符号化定理、情報源符号化定理
|
| 授業の詳細2 |
授業の進め方
板書と資料を用いて行なう。きちんとノートをとり、予習・復習を行うことが理解への第一歩となる。授業の進度に応じて演習を実施し、理解度を確認する。
達成目標
(1) 確率の定義をとらえられる。
(2) 情報量やエントロピーを理論的に理解できる。
(3) 通信路符号化定理をはじめ、情報通信分野で必要となる情報理論の基礎を身につける。
|
| 授業の詳細3 |
授業計画
１. 確率論の応用
確率論は、誤り訂正など情報・通信分野で広く用いられていることを知り、具体的な例により、その重要性を理解する。
２. 集合・事象
確率の概念を理解するために必要となる集合について学び、事象に関する定義を整理しておく。
３. 条件付き確率・ベイズの定理
条件付き確率について理解し、そこからベイズの定理を導く。
４. 確率変数
確率的な現象を理解するための準備として確率変数について学ぶ。
５. ベルヌーイ試行
事象として成功と失敗しかとらないような独立な試行を繰り返した場合（ベルヌーイ試行）の確率について理解し、最も基本的な確率分布である２項分布に触れる。また、２項分布を連続に近似することにより得られる正規分布について学ぶ。
６. 期待値・分散
確率分布の性質を知るための量としての期待値、分散、標準偏差について学ぶ。
７. 演習 １
確率に関する演習を行い、理解度を確認する。
８. 情報理論
エントロピーと情報理論における情報量の定義を理解する。
９. 相互情報量
結合エントロピーと条件つきエントロピーについて学び、相互情報量をについて理解する。
10. 演習 ２
エントロピーと情報量に関する演習を行い、理解度を確認する。 |
| 授業の詳細4 |
11. シャノンの通信路モデル
雑音のある通信路モデルとその性質を理解する。
12. 通信路容量
相互情報量を用いて通信路容量を求める。
13. 通信路符号化定理
通信路符号化の性質をふまえ、雑音のある通信路での伝送速度に関して学ぶ。
14. 情報源符号化定理
符号の効率を理解した上で、情報源記号を符号化する際の符号長についての条件を学ぶ。
15. 符号理論
情報を正しく伝えるための仕組みである誤り検出、誤り訂正の概念について触れる。
16. 演習 ３
通信路符号化に関する演習を行い、理解度を確認する。
17. 習熟度確認
確率と情報理論に関する総合的な課題により習熟度を確認し、修得状況の評価を行う。
自筆ノートのみ持ち込み可とする。
18. まとめ
課題の結果を確認した後、模範解答を参考にしながら本授業で学習したことを振り返
る。
|
| 授業の詳細5 |
成績評価：
総合的な課題で達成度の評価を行う。
●AA：課題の全ての問題を理解した上で正確に解ける
● A：課題の全ての問題の基本的な考え方を理解した上でほぼ正確に解ける
● B：課題の半分以上の問題の基本的な考え方を理解した上でほぼ正確に解ける
● C：課題の半分以上の問題の基本的な考え方を理解した上で部分的には解ける
テキスト：
「C言語による情報理論入門」, 久保田一, 大石邦夫, 福本昌弘 著（コロナ社, 2007.5）ISBN978-4-339-02421-0
参考書
「わかりやすいディジタル情報理論」, 塩野充 著（オーム社, 1998）ISBN4-274-13138-6
「電子情報通信レクチャーシリーズC-1 情報・符号・暗号の理論」, 電子情報通信学会 編, 今井秀樹 著（コロナ社, 2004）ISBN4-339-01835-X
|
| 授業の詳細6 |
履修上の注意：
・情報学群 『履修登録必須科目』（専門基礎科目）
・事前の履修が望ましい科目＝「数学１・２」,「情報代数」
・履修前提科目＝「通信網概論」,「離散数学」
・この授業のより詳細な情報は
http://www.info.kochi-tech.ac.jp/mfukumot/Lecture/IT/index.html
に掲載する。
オフィスアワー： 毎週火曜日 第５時限（16:30?） A418教員室
|
| 授業の詳細7 |
|
| 授業の詳細8 |
|
| 授業の詳細9 |
|
| 授業の詳細10 |
|