InformationTheory

FrontPage

情報理論の教材... 甘利俊一先生の「情報理論」の計算を Excel でやってみる。 †

準備 †

対数の公式 †

• 対数の公式を試してみる

第１章　情報の数量的認識 †

情報量 †

• 使われている場所... 必要な符号長の計算, 情報圧縮

エントロピー †

• 使われている場所... 情報圧縮

相互情報量 †

• 使われている場所... 関係の定量化, 予測値の信頼性

マルコフ過程 †

• 使われている場所... Google 検索, 音声認識, 人工知能

第２章　雑音のない通話路による情報伝送 †

通話路容量 †

• 使われている場所... ネットワーク

ハフマン符号... 最適な符号化... どのようにファイルのデータ圧縮が行われているか？ †

• 使われている場所... 情報圧縮, ネットワーク

第３章　雑音のある通話路での情報伝送 †

あいまい度・情報伝送速度・通話路容量? †

Hamming符号 †

• 受信情報の誤り訂正...FEC

巡回符号...CRC †

• 受信情報の誤り検出... CSMA/CD...LANなど。

第４章　連続情報と信号空間 †

標本化定理... CDの容量の計算? †

• 使われている場所... デジタルミュージック, スマホ, ...

関連するその他の計算 †

動的計画法 †

• 使われている場所... スマホの電波通信部分, 音声認識

ビタビアルゴリズム †

• 使われている場所... スマホの電波通信部分, 音声認識

山之上卓 / http://www.yama-lab.org/~yamanoue/wiki /