勉強会：【eLV】統計学・確率論・情報理論の考え方
【日曜eLV】 統計学・確率論・情報理論の考え方
ICTを支える「考え方」シリーズ：S03
■ 日時：2019/9/15 13:00ｰ16:30
■ 感想
→ 「ICTを支える「考え方」シリーズ」の日曜版
通常の2倍ぐらいの時間で、内容的には丁度良い感覚
交通費を考えると有料でも、このペースの回を増やして欲しい
→ 内容の理解度は80％ぐらいで
この資料を使用して自習を勧めようと言う感じになった
■ 開催・資料
（セミナ・メモ）
● 1 導入編
判断，人工知能，自律自動車，I, Robot，AIとIA
学習，かわりつつある世界の捉え方
不確実性，ICT システムと不確実性，不確実性への対応
・判断)
→ 間違いを正す手段が手段が用意されているときだけ
判断に頼ることができる
→ トロッコ問題
・AI(人工知能)/IA(知能増幅器)
→ 機械学習 →帰納的論理 → 経験的事実から法則を構成
・不確実性)
→ 不果実な事象 ＋ 想定外
→ 想定外：起こるとは考えられなかった事象
→ 帰納の限界 → 想定外を含むことが出来ない
・ICTシステムと不確実性)
→ 決定論的演算/非決定論的演算)
● 2 基礎編)
＊Rのデモを交えながらの解説になります．
確率論の考え方
統計学の考え方（応用上の注意点を含む）
情報理論の考え方
・確率論の考え方
→ 試行 → ランダム：結果集合の要素数が2つ以上
→ 確率の設定
→ 理由不十分の原則 → 無差別の原則
→ 理由がある場合
→ 客観的確率/主観的確率、
→ 推測統計(頻度論的推定、ベイズ推定)
→ 確率空間(Ω､F,P)
→ Ω：標本空間、F：事象の集合、P：確率測度
→ 空事象、単一事象、全事象、和事象、積事象、条件付確率、余事象
→ 排反な事象、独立事象
→ 大数の法則
→ ベルカーブ → 正規分布、中心極限定理
→ 確率分布
→ 確率変数 → 離散確率変数、連続確率変数
→ 確率分布/確率分布関数 → 確率的質量関数/確率密度関数
→ 正規分布の確率密度関数 → 平均値、標準偏差/分散、ネピア数(自然対数の底)
→ 正規分布から統計手法
→ 期待値重視、標準化(平均と分散を揃える)、σと確率を対応、2錠比較、対数比較
・統計学の考え方
→ 母集団と標本
→ データの収集 → データ設計、収集の手段(標本が小さい時：RCT)
→ 尺度水準 → 名義尺度、順序尺度、間隔尺度。比率尺度
→ 記述統計 → 箱ひげ図、正規分布
→ 記述統計量の可視化 → スキャッタプロット
→ 推測統計 → 頻度論推定、ベイズ推定(尤度関数)
→ 頻度論
→ 線形回帰モデル → 従属変数、切片、係数、独立変数、誤差項
残差、RSS → RSSを最小化
→ 統計的仮説検定 → 帰無仮説、対立仮説、p値 → 帰無仮説を棄却
z値を計算
→ ベイズ推定 → 事前確率、事後確率、尤度関数(二項分布)
→ パラメータ空間
・情報理論の考え方
→ 通信の問題 → Channel（通信路）
→ 情報量 → 確率空間内のここの事象を情報として扱う場合の量
→ エントロピ → 情報量の期待値 → 不確実性とエントロピ
→ 同時エントロピ、特定条件付エントロピ(条件付確率)、
条件付エントロピ(特定条件付エントロピの期待値)、相互情報量
● 3 応用編
・ 意思決定とインフォメーション・ゲイン
・カルバック・ライブラ情報量
・インフォメーション・ゲイン
● 4 まとめと主な参考資料等
以上
