情報理論とデジタル表現（’１９）：シラバス概要
■ 講座情報
情報理論とデジタル表現（’１９）
Information Theory and Digital Representation ('19)
【主任講師】
加藤 浩（放送大学教授）、
浅井 紀久夫（放送大学教授）
【教材・資料】
・インターネット視聴
■ 講義概要
情報科学の基礎として、
情報を数理的に取り扱う理論とデジタル表現に変換する方法を学ぶ。
まず、情報を量的に取り扱うことのできるシャノンの情報理論に基づき、
情報量やエントロピーなど情報の数理的扱いに触れる。
次に、デジタル情報一般について、
圧縮したり、誤りが生じたときにそれを検出・訂正したり、
情報を暗号化したりする方法について述べる。
そして、数値・文字・音声・画像・動画などのさまざまな形態の情報が、
その特性に応じてどのような方式で
デジタル情報として処理されているかを解説する。
【授業の目標】
シャノンの情報理論に基づく情報の量的な取り扱いと処理モデル、
情報の圧縮、誤り検出・誤り訂正、暗号化を実現する符号化の方法について理解する。
さらに、数値・文字・音声・画像・動画を実際にデジタル化する際に、
どのようなアイデアのもとに符号化されているかを知る。
【講義項目】
第1回 デジタル情報処理
第2回 数の符号化
第3回 情報理論のための数学１ －対数・行列・剰余演算－
第4回 情報理論のための数学２ －確率論の基礎－
第5回 情報量
第6回 エントロピー
第7回 ベイズの定理
第8回 通信のモデル
第9回 情報の圧縮
第10回 誤り検出と誤り訂正
第11回 テキストの符号化
第12回 音の符号化
第13回 画像の符号化
第14回 動画の符号化
第15回 暗号
■ 講義内容
各講義回の概要とキーワード
第1回 デジタル情報処理
アナログとの対比でデジタル情報処理の特徴と利点を解説し、
音や画像などの情報のデジタル化の例を通して
デジタル化の意味を理解する。
デジタル情報処理の例として
情報圧縮、誤り検出符号、誤り訂正符号、
プロトコルによる通信制御について概観する。
■ 【キーワード】
デジタル、アナログ、符号、標本化、量子化、情報圧縮、
誤り検出符号、誤り訂正符号、プロトコル
第2回 数の符号化
位取り記数法の概念を述べる。
次に、日常用いられる十進数と、
コンピュータと相性のよい二進数や十六進数の間における
相互変換の方法を解説する。
また、整数と小数をコンピュータ上で表現する方法を解説する。
■ 【キーワード】
位取り記数法、基数変換、二進数、十六進数、
数値表現、浮動小数点数
第3回 情報理論のための数学１ －対数・行列・剰余演算－
情報理論の理解には、いくつかの分野の数学が必要である。
第３回と第４回では、それ以降の回に必要となる数学を解説する。
今回は、対数、行列、剰余演算を扱う。
■ 【キーワード】
対数、行列、剰余演算
第4回 情報理論のための数学２ －確率論の基礎－
情報理論は、確率の理論の上に成り立っているといっても過言ではない。
今回は確率の基礎を扱う。
まず、起こりうる場合の数を数え上げる方法と、確率の計算方法を解説する。
次に、確率分布の考え方と、マルコフ過程の定義を解説する。
■ 【キーワード】
順列、組合せ、確率、条件付き確率、確率分布、二項分布、マルコフ過程
第5回 情報量
日常言語としての情報概念と、
情報理論での情報概念の違いについて明らかにする。
そして情報理論に基づき数学的に情報量を定義し、
いくつかの具体的な事例で情報量の定義が
直感ともうまく合致していることを確認する。
次に、情報量の加法性について述べ、
独立な事象ではない場合についての取り扱いについて解説する。
■ 【キーワード】
情報量、シャノン、bit、確率、条件付き確率、加法性
第6回 エントロピー
エントロピーという概念を導入し、
それが情報源から得られる平均的な情報量という側面と
確率分布の不確定さという側面を持っていることを解説する。
さらに、熱力学でいうところのエントロピーとの関係についても述べる。
次に、エントロピーの性質について解説し、
条件付きエントロピー、相互情報量、
カルバック・ライブラー情報量を定義する。
■ 【キーワード】
エントロピー、不確定さ、条件付きエントロピー、相互情報量、
カルバック・ライブラー情報量
第7回 ベイズの定理
ベイズの定理とその応用例について説明する。
基本的なベイズの定理を導入し、例題を通してその使い方を示す。
また、確率と情報量との関係をもう一度考える。
ベイズの定理の応用として、
電子メールの自動分類や不良機械の予測に関して単純化した問題を扱う。
第8回 通信のモデル
通信のモデルについて説明する。
情報をある場所から別の場所に伝達する情報伝達の基本モデルを考える。
このモデルに含まれる情報源や通信路といった構成要素と
その役割を説明する。
また、通信路を通して伝送される伝送情報量と
その最大値としての通信路容量の概念、情報源の統計的表現を導入する。
■ 【キーワード】
通信モデル、情報源、通信路、伝送情報量、通信路容量、
記憶のない情報源、マルコフ情報源
第9回 情報の圧縮
情報の圧縮について概要を述べる。
符号化の基本を説明し、符号化の種類と役割、条件を示す。
符号の木を導入し、符号が成立するための条件を考える。
次に、圧縮性能を表す平均符号長を導入し、符号化の限界について考える。
基本的な符号化方式としてハフマン符号を紹介し、その構成法を示す。
■ 【キーワード】
符号化、復号、符号、情報源符号化、符号の木、平均符号長、ハフマン符号
第10回 誤り検出と誤り訂正
通信路上で生じた誤りの影響を小さくする誤り検出と
誤り訂正について解説する。
まず、ハミング距離について述べ、
これと誤り検出、誤り訂正との関係を示す。
次に、線形符号とそれが成り立つ条件を示し、
基本的な誤り検出としてパリティ検査符号を、
基本的な誤り訂正としてハミング符号を説明する。
そして、巡回符号を説明し、その特徴を示す。
■ 【キーワード】
通信路符号化、ハミング距離、線形符号、パリティ検査符号、
ハミング符号、巡回符号
第11回 テキストの符号化
コンピュータ上で文字情報を扱う方法を解説する。
文字集合と文字コードの概念を述べ、
文字とその属性が独立していることを明らかにする。
ラテン文字や基本的な記号を表現できる文字コード、
日本語で使われる文字を表現できる文字コード、
世界中の文字を表現できる文字コードを紹介する。
■ 【キーワード】
文字集合、文字コード、ASCII、JIS X 0208、Unicode
第12回 音の符号化
コンピュータ上で音の情報がどのように符号化されているか解説する。
音データの圧縮技術を大まかに分類し、代表的な圧縮符号化方式を示す。
音の圧縮符号化として、
音楽CDなどに使われる波形符号化、
携帯電話などに応用される分析合成、
音楽配信メディアなどに利用される聴覚心理符号化について説明する。
■ 【キーワード】
音信号、波形符号化、PCM、分析合成、LPC、聴覚心理符号化、MP３
第13回 画像の符号化
コンピュータ上で画像情報がどのように符号化されているか解説する。
画像の表現方法について述べ、画像とデータ量との関係を説明する。
画像の圧縮符号化方式としてJPEGを扱い、
その処理手順や圧縮技術を説明する。
色情報を削減する手法や空間周波数への変換を用いる手法を導入する。
■ 【キーワード】
画素、色、離散コサイン変換、量子化、エントロピー符号化、JPEG
第14回 動画の符号化
コンピュータ上で動画情報がどのように符号化されているか解説する。
動画の表現方法について述べ、
動画の圧縮符号化方式を紹介する。
動画データの圧縮技術として、
フレーム間差分、動き補償予測の手法を導入する。
また、MPEGの符号化処理およびフレーム構成について概要を説明する。
■ 【キーワード】
フレーム、フレーム間差分、動き補償予測、GOP、MPEG
第15回 暗号
さまざまな暗号化の方式を学ぶ。
暗号化の基本操作である換字、転字、論理演算などを解説した後、
それらを複雑に組み合わせた共通鍵暗号方式について述べる。
さらに、一対の鍵を用いて暗号化と復号を行う公開鍵暗号方式について述べる。
加えて、暗号と関わりの深いハッシュ関数についても述べる。
■ 【キーワード】
使い捨てパッド、共通鍵暗号、ストリーム暗号、ブロック暗号、AES、
暗号化モード、ハッシュ関数、SHA-３、鍵配送、公開鍵暗号、RSA
