勉強会:【WBA】全脳アーキテクチャシンポジウム
第4回 全脳アーキテクチャシンポジウム
脳に学ぶ統合を問い直す
■ 日時:2019/06/26 13:00ー18:40
■ 感想
→ 甘利先生の記憶に関するアーキテクチャに対する問いかけは面白かった
確かに、現在の静的な記憶モデルでは無い脳の記憶モデルについて
再度、考察していくのは面白いかも知れないと思った
→ また、松尾先生のおっしゃる高度に圧縮化された情報の解凍時に起きる
エラーと脳の創造性に対応する記憶の関係について研究するのは、
価値のあることのような気がした
→ 松尾先生が指摘された、物質→生命→文明の法則を視点に
色々な法則のあり方を考え直すことや、
人間の認識限界を含む宝くじ理論も、最近、私が考えている内容に一致して
示唆に富んでいるように感じた
(セミナ・メモ)
● 脳の基本原理をどうすれば理解できるか
甘利 俊一(理化学研究所 栄誉研究員)
・脳研究の進歩(測定技術)
・生命の誕生
→ 生命=情報+物質 → 生命科学(進化)
・物質の法則(宇宙)、生命の法則(進化)、文明の法則(社会・文化)
・数理脳科学 → 脳の基本原理
→ 進化によるランダムサーチ、使える材料の制約、歴史的な制約
→ 数理的探索、計算論的神経科学
→ 神経力学
→ 層状学習回路(深層学習)
→ パターン認識、囲碁・ゲーム、
→ 実験式:原理を発見しない → 原理の創出・理解
→ 情報表現、敵対的例題
→ 局所解と大域解 → 途中で止まる局所解が不在、パラメータ数・
→ 統計神経力学
→ 引き戻し計量(リーマン計量・距離)
→ Natural Gdient
→ 関数空間での解析 Jacot et al: Natural tangent kernel
→ 学習が線型問題
→ 自由意志:Lebetの実験
● 理解するとは何か?-- 高次元科学と記号処理
松尾 豊(東京大学)
・表現力の高い関数 → 階層が深い
・CNN, RNN
→ RNN → Transformer(ELMO) → Capsule Network
BERT → 各層の
・世界モデルの重要性
→ World Model → 生成クエリーネットワーク(GQN:Genetaive
→ 宝くじ仮説 → Lottwey Ticket Hypothesis
→ Overparameterization, Pruning
→ 構造と初期値の組合せ → 当たりくじ
・シンボル vs パターン
→ 知覚運動系と記号系
→ 意識プライヤ(発話、意識状態、表現状態)
→ 観測の予測、発話の予測
→ 言葉から想像する
→ 記号系RNN
・高次元科学(丸山宏先生)
→ 人間が持つ認知限界 → オッカムの剃刀
→ 理解とは何か
→ 記号系にとっての再現可能性
→ なぜ現実世界を理解できるのか
→ 小数パラメータの系を科学技術は捉えている
・人間の文化 → 認知運動系と記号系の乖離
● 脳型でAGIを開発する意義
山川 宏(全脳アーキテクチャ・イニシアティブ)
・脳の何を参考にしているのか
→ 理解の階層構造 外形的(直感的)、内部構造(論理的)
→ 学習とアーキテクチャのトレイドオフ(
→ AGIの中心仮説 → Ben Goe
→ 理解に基づく設計、探索/試作、脳に制約された設計
・知識の獲得と活用
→ 獲得:帰納法 → 整列構造
→ 知識の結合 → 未知の問題の解決
→ 記号AI、認知アーキテクチャ、機械学習
→ 破壊的
● パネル討論「汎用性のために脳から何を学べるか?」
モデレータ: 浅川 伸一<br>
パネリスト: 松尾 豊、甘利 俊一、一杉 裕志、山川 宏
・アーキテクチャ
→ DL(成果)
→ 人間の記憶系 → 探索、メタ学習、
→ 記憶・忘却能力 → 連想記憶モデル
→ 報酬期待値
→ 考えないで記号処理をしている
・記憶
→ 生命の記憶は、事件的に空間的に静的なモノか?
記憶の圧縮と解凍 → 記憶の変異
● WBA開発促進の概観
山川 宏(全脳アーキテクチャ・イニシアティブ)
・全脳アーキテクチャ中心仮説
→ WBRA:WBAの参照モデル
→ 帰納マップ、スタブ駆動開発、設計データの構築
→ データ記法(BriCA)
→ 全脳コネクトローム・アーキテクチャ
・計算論的認知障害
● 失語症ハンズオン報告
浅川 伸一(東京女子大学)
・失語症 → 言語治療士
● 開発方法論
大澤 正彦(慶應義塾大学)
・神経科学者からの要求
→ 論文ベース、脳の一部に関する知識
・開発者からの要件
→ 実装スキル
→ アーキテクチャ、サーキット
● コネクトーム情報学(WBCA)
岡本 洋(株式会社ドワンゴ)
・コネクトーム:全脳アーキテクチャの地図
→ リバースエンジニアニング → ブロック図
→ ネットワークのコミュニティ構造 → 複雑系のブロック図
→ コネクトーム情報学
● 海馬フレームワーク
布川 絢子(上智大学)
・神経科学 → 分子、細胞、システムレベル
・海馬 → 神経回路 → 機能統合
● 外部連携(BriCA/MAFなど)
高橋 恒一(理化学研究所)
・全脳アーキテクチャ → 高性能プラットフォーム
→ 非同期並列基盤
→ 予測的誤差逆伝搬(BP)→ リアルタイム性
● 海外連携(Animal-AI Olympics/Project AGI)
荒川 直哉(全脳アーキテクチャ・イニシアティブ)、<br>
稗田 雅昭(株式会社TOPWELL)
・Project AGI
→ 新皮質のモデル、海馬のモデル
・Animal-AI Olympics
→
● RGoal Architecture
一杉 裕志(産業技術総合研究所 人工知能研究センター)
・RGol
→ 再帰的なサブルーチン呼出が出来る
→ 記号推論、ベイジアンネット
● 新皮質マスターアルゴリズムフレームワーク
三好 康祐(narrative nights)
・新皮質Master Algorithm Framework
● 若手の会の活動(仮)
八木 拓真(WBA若手の会)
● パネル討論「今後のWBAIの研究」(仮)
モデレータ: 栗原 聡 <br>
パネリスト: 梶田 秀司、高橋 恒一、山川 宏
・知識の統合、特化の罠、実時間性、大規模分散非同期、安全性・ロバスト性’耐故障性
・ロボットの研究
・離散事象法