| 科目名 |
情報理論基礎 |
| 担当教員 |
福本 昌弘 |
| 対象学年 |
2年 |
クラス |
学部：専門001 |
| 講義室 |
Ａ１０７ |
開講学期 |
１学期 |
| 曜日・時限 |
月４,木４ |
単位区分 |
選択 |
| 授業形態 |
一般講義 |
単位数 |
2 |
| 準備事項 |
|
| 備考 |
|
| 授業の詳細1 |
授業の目的
通信や情報システムでは、ディジタル信号、アナログ信号など様々な形式の信号が取り扱われており、これらを有益な情報として利用するためには、その信号の性質や振舞をとらえ、数学的に記述することが不可欠である．情報理論は、これらの有効な一助となる．
この授業は、共通基礎科目である「微分積分学」で修めた初歩的な数学をもとに、情報通信をはじめとする情報システム全般で必要とされる、確率の数学的な基本と情報理論の基本的な概念を修得し、専門科目での応用のための基礎を築く．
この授業では、まず確率分布や期待値、分散などの基本的なことがらを学んだ上で、大数の法則や中心極限定理などの確率に関する有用な諸性質を理解する．そして、情報量について理解し、シャノンの示した情報量や符号化に関する諸性質など情報理論の基礎を学ぶ．
授業の進め方
板書と資料を用いて行なう．きちんとノートをとり、予習・復習を行うことが理解への第一歩となる．授業の進度に応じて演習を実施し、理解度を確認する．
授業の目標
(1) 確率の定義をとらえられる.
(2) ２項分布、正規分布などの基本的な確率分布を扱える.
(3) 期待値と分散や確率の法則を利用できる.
(4) 情報量やエントロピーを理論的に理解できる.
(5) 通信路符号化をはじめ、情報通信分野で情報理論を応用することができる.
|
| 授業の詳細2 |
授業計画
１．確率論の応用
確率論は、誤り訂正など情報・通信分野で広く用いられていることを知り、具体的な例により、その重要性を理解する．
２．集合・事象
確率の概念を理解するために必要となる集合について学び、事象に関する定義を整理しておく．
３．条件付き確率・ベイズの定理
条件付き確率について理解し、そこからベイズの定理を導く．
４．確率変数
確率的な現象を理解するための準備として確率変数について学ぶ．
［演習１］確率に関する基本的な概念に関する演習を行う．
５．Bernoulli試行
事象として成功と失敗しかとらないような独立な試行を繰り返した場合（Bernoulli
試行）の確率について理解し、順列と組合せの用い方を習得する．
６．確率分布
確率分布と分布関数について学び、最も基本的な確率分布である２項分布に触れる．
また、２項分布を連続に近似することにより得られる正規分布について学ぶ．
［演習２］確率分布に関する演習を行う．
７．期待値・分散
確率分布の性質を知るための量としての期待値、分散、標準偏差について学ぶ．
８．確率分布の性質
期待値や分散などの量から種々の確率分布についての性質を理解する．
９．確率の法則
確率不等式について学んだ後、独立試行に対する確率変数の和の期待値についての性質から大数の法則を習得する．
［演習３］期待値と分散、確率の法則に関する演習を行う．
10．情報理論
エントロピーと情報理論における情報量の定義を理解する．
|
| 授業の詳細3 |
11. 相互情報量
結合エントロピーと条件つきエントロピーについて学び、相互情報量をについて理解する．
［演習４］エントロピーと情報量に関する演習を行う．
12. Shanonnの通信路モデル
雑音のある通信路モデルとその性質を理解する．
13. 通信路容量
相互情報量を用いて通信路容量を求める．
14. 通信路符号化
通信路符号化の基本について学ぶ．
15. 通信路符号化定理
通信路符号化の性質をふまえ、雑音のある通信路での伝送速度に関して学ぶ．
16. 符号理論
情報を正しく伝えるための仕組みである誤り検出、誤り訂正の概念を身につける．
［演習５］通信路符号化に関する演習を行う．
17．試験
確率と情報理論に関する総合的な試験を行い修得状況の評価を行う．
自筆ノートのみ持ち込み可とする．
18．まとめ
試験の結果を確認した後、模範解答を参考にしながら本講義で学習したことを振り返る．
|
| 授業の詳細4 |
テキスト：
「C言語による情報理論入門」, 久保田一, 大石邦夫, 福本昌弘 著（コロナ社, 2007.5）
ISBN978-4-339-02421-0
参考書
「わかりやすいディジタル情報理論」, 塩野充 著（オーム社, 1998）
「電子情報通信レクチャーシリーズC-1 情報・符号・暗号の理論」, 電子情報通信学会 編, 今井秀樹 著（コロナ社, 2004）
成績評価：
5回の演習と期末試験で達成度の評価を行う.
●AA：演習の全ての課題を理解でき、期末試験の問題をほぼ正確に解ける
● A：演習の全ての課題をほぼ理解でき、期末試験の全ての問題を部分的には解ける
● B：演習の全ての課題の基本的な考えを理解でき、期末試験の半分以上を解ける
● C：演習の全ての課題の基本的な考えを理解でき、期末試験の一部を解ける
履修上の注意：
・「情報ネットワークシステムコース」専門基礎科目（履修登録必須科目）
・事前の履修が望ましい科目＝「数学１・２」
・本講義のより詳細な情報は
http://www.info.kochi-tech.ac.jp/mfukumot/Lecture/IT/index.html
に掲載する.
専門科目演習：月・木第５時限 4/10, 4/21, 5/1, 5/15, 5/26
オフィスアワー：火曜日 第５時限
|
| 授業の詳細5 |
|
| 授業の詳細6 |
|
| 授業の詳細7 |
|
| 授業の詳細8 |
|
| 授業の詳細9 |
|
| 授業の詳細10 |
|
|