勉強会：Deep Learning Acceleration 勉強会（DLAccel #2）
第二回 Deep Learning Acceleration 勉強会（DLAccel #2）
■ 日時：2019/9/28 13:15ｰ17:00
■ 感想
→ 深層機械学習用のプロセッサ開発についての勉強会
基本的に「学習系」ではなく「診断系」プロセッサ
→ DLのアルゴリズムに対する深い理解が無いとついて行けない
研究者向けの最先端の内容であった
→ 成功すればビッグビジネスになる分野だけに
現行では分からなくても着いていきたいと思う
有意義な勉強会で会った
■ 開催・資料
（セミナ・メモ）
13:30-14:00
● モデルアーキテクチャ観点からの高速化 2019 @yu4u（DeNA）
・高速化
→ CNN対象 → 推論時の高速化
→ FLOPs ≠ 公職処理
・畳み込みの計算量
→ 空間方向の分解 → 畳み込みのカーネル
→ SqueezeNet → 次元圧縮
→ 空間方向とチャネル方向の分解 → Separable conv
→ MobileNet V1/V2
→ MNasNet → アーキテクチャ探索手法
→ MobileNrt V3
→ EfficientNet → 精度の高いパラメータ
→ ShuffleNet → グループ間の情報やりとり
→ ChannelNet
→ ShiftNet
→ OctNet
→ Pruning（枝刈り）
→ Unstructured/Structured Pruning
→ Optimal Brain
→ Deep Compr
→ Network Slimming
→ Channel Pruning
→ ThiNet
→ AMC AutoML for Model Comptressio and Acceleration
→ NrtAdapt
→ アーキテクチャ探索
→ NASNet
→ ENAS
→ 早期終了
→ BranchyNet → エントロピの閾値
→ 量子化 → HW化
14:00-14:30
● 分散学習を支える技術とはじめ方 @yotayotanaka（Sony）
・分散学習
→ 精度を良くする → 学習規模の拡大
→ データを多くする(画像数)
→ モデルを大きくする
→ DNN学習 → ミニバッチ学習
→ 分散学習 → データパラレル/モデルパラレル
→ データパラレル
→ 複数Workerでミニバッチ学習、データ同期
→ 学習就職、高速データ同期
→ Learning Raye Decay → LARS/LAMB
14:30-15:00
● Inside MN-2 @hirochikasai (PFN)
・深層学習基板 → 分散深層学習、ストレージ(HDFS)
・MN-2：幅広い自前設計
→ ファシリティ(ラック)/ネットワーク/ストレージ(HDFS)/PF(Kubernetesベース)
・RoCEv2
→ RDMAとGPUDirect
15:30-16:00
● XNOR-Net on VC4 @notogawa (Idein)
・XOR-Net
→ Binary Convolution Neural Network
・VideoCore IV → Rasberry Pi GPU
16:00-16:30
● マルチレイヤコンパイラ基盤による、エッジ向けディープラーニングの実装と最適化について
tkclimb (Fixstars)
・DNNモデルコンパイラ/DSLコンパイラ
・エッジディープラーニング推論
→ グラフコンパイラ
→ ノードレベル推論実装
→ モノリシック計算カーネル
→ DSLコンパイラベース
→ ONNX → 標準DNNグラフフォーマット
・DSLコンパイラ
→ IR(戦国時代)
→ 言語間のハブ・データフォーマット
→ IR、フロントエンド
・Noah IR 開発アクセラレーション
16:30-17:00
● 深層学習チップ 須藤さん（さくらインターネット）
・AIチップ
→ 学習/推論/エッジ
・垂直統合
→ 用途ごとに進化下'サーバハードを自ら設計して使う
→ コモディティ化でない → 設計会社に入社しないと情報が無い/個人の仕事がロックイン
以上
勉強会：【CSA勉強会】 説明可能なAI (XAI)
第56回CSA勉強会 「説明可能なＡＩ（ＸＡＩ）」
■ 日時：2019/9/27 18:00ｰ20:00
■ 感想
→ AIの実行がブラックボックスなのは周知の事実
その回答に対する説明責任は重要な課題である
→ ビジネス的な必然性の話がだけで終わった勉強会
講師がマーケの人だから仕様がない気はしたが
技術の話が3行だけ
→ これで有料はひどすぎる
次から【CSA勉強会】の参加はよく考えよう
■ 開催・資料
第56回CSA勉強会 「説明可能なＡＩ（ＸＡＩ）」 – csajapan
● 説明可能なＡＩ（ＸＡＩ）
概要：
昨今、拡大しているＡＩのビジネス活用において、期待される役割とそれに伴う責任の所在、
そのために必要なＡＩの思考プロセス（ロジック）の透明性について、
事例を交えて紹介していただきます。
講師： 田辺剛氏 日本電気株式会社 ＡＩアナリティクス事業部 マネージャ
・AIにもとめられる説明性
→ 労働力人口の減少 → 創造的な作業の代替
→ 人工知能 → 人間の知的活動 → 知る/分析/動かす
→ 人工知能/機械学習/ディープラーニング
→ DL → ニューラルネット処理（特徴抽出）
→ 特徴抽出のアルゴリズムがブラックボックス
→ XAI(説明可能なAI)
→ ブラックボックス問題 → 結果重視
→ XAI → DARPA → 倫理的問題（AIの結果の判断が難しい）
→ 人に対する説明方法
→ 解釈性のある手法 → 決定木、重回帰の重み付け
→ モデル事後分析 → 重要因子の説明
→ モデルの出力から推論
・産業界に求められるXAI
→ IT技術による知性の高度化
→ 知性（AA）、知識（BA）、情報（BI）、データ（DWH）
→ ROI
・事例の紹介
→ AI活用検査支援（製造）
→ AI発注最適化（流通）
→ 不正検知（金融）
→ 電力需要予測（電力）→ VPP
→ 解約予防（通信）
→ 人材マッチング（マーケティング）
● 資料
https://www.cloudsecurityalliance.jp/site/?page_id=7394
以上
勉強会：【AIセミナ】これからの製造産業のあるべき姿
【第36回AIセミナー】これからの製造産業のあるべき姿
■ 日時：2019/9/26 15:00ｰ17:00
■ 感想
→ 人工知能やIoTにてきかした製造産業について
新しい知見を得た有意義なセミナで会った
→ 特にマイクロ・ファブが３Dプリンタと融合した場合
自宅で最適な製品の設計/製造が可能になる
→ ビジネスも製品流通から知識(情報)流通主体になると思われる
このまま進んだ場合の10年後世界を考えると
ドラえもんの世界、是非、覗いて見たい夢が広がる
■ 開催・資料
（セミナ・メモ）
15:05 - 16:00
● 標準規格の浸透で進む「つながる工場」
川野俊充 （ベッコフオートメーション株式会社 代表取締役社長）
概要：
第四次産業革命を実現するとの掛け声のもとで始まったドイツ発のIndustrie 4.0．
プロジェクト開始から５年が経ち，
素形材加工装置を含む生産財の標準規格がいよいよ登場し始めてきました．
こうした動向を踏まえ，
標準規格のコンセプトをうまく活用した産業用IoTやAIの製造現場への適応事例をご紹介します．
・生産財の標準化インタフェース
・Ether-CAT → 産業用Ethernet → 同期制御/同期計測
・コネクティッド・インダストリーズ
→ Industrie 4.0 → 標準化事業 → 実証実験(クラスタ活動)：地域色
→ マスカスタマイゼーション → IIoT
→ プラットフォームの乱立 → 標準化/修練 → パートナ選択の重要性
→ Inderstory 4.0 Component
→ OPC UA → 生産財のインタフェース(XML) → 管理シェル/ゲートウェイ
→ VDMA → OPC UA CS
→ 生産機器 → Inernet機器
・駿河精機「スマート工場」：駿河CPS
→ 加工工程と加工プログラム
→ 品質管理の要因の組合せ爆発
→ 深層学習：画像・映像の良品判定
→ 強化学習：最適化加工条件 → 工程設計の自動化
→ NCコンバージョンシステム：標準化プログラム → 生鮮機器の特性に最適化
・産業用ロボットの生産財
→ 専用品に支えられたアーキテクチャ → マルチモーダルAI
→ マルチモーダル学習 → 複数センサーで同期計測/同期制御
→ Unity/ORIN/
→ 予測学習
16:05 - 17:00
● 超小型自立分散半導体生産システム・ミニマルファブの開発と、そのファブネットワーキング」
原史朗 （産業技術総合研究所 ナノエレクトロニクス研究部門 首席研究員）
概要：
ミニマルファブは、1ライン5千億円もの投資が必要な既存メガファブと比較して、
投資額1/1000、ウェハ面積1/1000で、さらに局所クリーン化によってクリーンルームを不要とする、
多品種少量デバイスに適した新しい生産システムであり、投資問題が解決できる。
ミニマルファブは、産総研を中心に企業約百社と開発を進めている。
ミニマルファブでは、装置内部の制御に恐らく世界で初めてEtherCATを本格採用した。
また、装置間、ファブ間での通信では、暗号化システムを開発し、
つながる工場を世界にさきがけて具現化しつつある。
本講演では、そのコンセプト、ビジネスモデル、開発状況、今後の予定などについて述べる。
・つながる工場
→ 内部統合/外部連携
→ 少量生産は生産性が低い → 工業生産製造ビジネス
→ マスカスタマイゼーションとスモール製造
→ 目がシステム → スモールシステム(個別カスタマイズ)
→ 無駄 → 設計検証コスト、ソフトの検証、生産機器の稼働率(混流生産)
→ ミニマル生産モデル → 研究システム＝生産システム
→ 生産サイズ、局所クリーン化
→ 量産効果 → 固定費/変動費(固定)
→ グローバルマーケット
→ 包括的権利確保戦略
→ 人財活用 → Manager/Enginer/Operator
→ ミニマルストア
→ プロセス情報の流通 → 標準化
→ プロセスの並列化
→ 顧客の多様化
参考資料：
デバイスを一つ一つ製造する超小型. 半導体生産システム・. ミニマルファブの開発と今後の展望
https://unit.aist.go.jp/rcpd/sgr/event/images/2018/2nd%205_hara%20r.pdf
21世紀型生産システム(2008年)
https://fabsystem.jp/fabsystem-report2008.pdf
以上
勉強会：【マルレク】Deep Specificationの世界
【マルレク】ソフトウェア・エンジニアリングの新しい潮流 -- Deep Specificationの世界
■ 日時：2019/9/24 19:00ｰ21:00
■ 感想
→ ソフトウェア開発の新しい徴候
SWの記述に問題が無いか(How)の検証から
SWの仕様に問題が無いか(What/Why)の記述に移行するという見方
→ AIが深化していく中で必要になる技術
10年後に価値のある技術者でいるためには必要なスキル
今から準備が必要な分野であると感じている
→ 形式手法、自動証明、欲しいSWの記述方法について
DSLとして研究していきたいと思っている
■ 開催・資料
- 講演資料 www.marulabo.net
（セミナ・メモ）
● 第一部 大規模システム開発の問題
・航空機の開発
→ 対規模事故：ボーイング737MAX → センサ異常
→ 使用ミス、コードミス → 仕様と実装の分離 → 上流/下流
→ 自動操縦
・分散システムの開発
→ Timeout/Node faluer/Msg delivery
→ Kubernetes faluer → クラスタ構成
・ハードウェア開発
→ HW設計 → 形式手法(モデルチェック) → 小さなコンポーネント
→ CPU脆弱性 → Spectre/Meltdown
→ 攻撃者 → 投機的実行
→ CPUの仕様が完全では無い → RISCV
・開発コスト
→ 開発費の高騰 → システムの変化に対応できない
→ 軍用機の開発 → 戦闘機1台 → GNP越え(既得権益)
→ DRON → 安価
・高速化
→ 人間と機械の時間のギャップ
→ 機械のコードの実行が追いつかない
→ Latency as an Effect
→ ネットワークプログラム → 実行のブロック
・開発ツールは信頼できるか？
● 第二部 Deep Specificationの世界
・ソフトウェア・エンジニアリングの展望
→ テスト・デバッグ・コードレビュー
→ 形式的手法 → プログラムの正しさを証明する
→ デバッグ/証明、テスト/仕様か、コードレビュー/仕様レビュー
・Deep Specificationとは何か？
→ 小規模な検証済みコンポーネント → 大型システムの構築
→ rich, two-sided, formai, live
→ モジュール → 動作可能な仕様
→ two-sided → CertiKOS/CompCert
→ Compsition
→ 証明エンジンの充実
・Deep Specificationのプロジェクト
→ CertikOS, Kami
→ Verified Software Toolchain
・形式的手法によるCPUとネットワークの検証
・進行中のプロジェクト
● 第三部 プログラムと論理
・形式的手法の二つの起源
・形式的手法をめぐる20世紀の「論争」
・ダイクストラの21世紀へのメッセージ
・証明支援システム Coq
・Deep Specification – Software Foundation
以上
データ構造とプログラミング（’１８）：テキスト目次
１．配列
１．１ 配列の仕組み
１．２ データの挿入・データの削除
１．３ データの探索
２．スタック
２．１ スタック
２．２ 配列を利用したスタックの実装
２．３ スタックの応用
３．キュー
３．１ キュー
３．２ キューの実装
３．３ 両端キュー
３．４ 優先度付きキュー
４．連結リスト
４．１ 連結リスト
４．２ ノード挿入
４．３ ノード削除
４．４ 連結リストの操作に関する計算量
５．連結リストの応用
５．１ 連結リストを利用したスタックの実装
５．２ 連結リストを利用したキューの実装
５．３ 連結リストの派生データ構造
６．バイナリサーチツリー
６．１ ツリーの基礎
６．２ バイナリツリー
６．３ バイナリサーチツリー
６．４ バイナリサーチツリーの走査
６．５ バイナリサーチツリーの最小値と最大値
７．バイナリサーチツリーの操作
７．１ バイナリサーチツリーの操作
７．２ バイナリサーチツリーの特徴
７．３ バイナリサーチツリーの操作に関する計算量
８．ツリーの応用
８．１ バイナリサーチツリーに対する様々な操作
８．２ 平衡木
９．ハッシュテーブルとオープンアドレス法
９．１ ハッシュ法のしくみ
９．２ オープンアドレス法
９．３ オープンアドレス法の実装
１０．ハッシュテーブルと連鎖法
１０．１ 連鎖法
１０．２ 探索、挿入、削除
１０．３ 連鎖法の実装
１０．４ 文字列データとハッシュ値
１１．再帰
１１．１ 再帰
１１．２ 再帰とスタック
１１．３ 末尾再帰
１２．ソーティング
１２．１ ソーティング
１２．２ 基本的なソーティング
１３．ソーティングの応用
１３．１ 高速なソーティング
１３．２ クイックソート
１３．３ マージとマージソート
１４．ヒープ
１４．１ ヒープの仕組み
１４．２ ヒープの操作
１４．３ ヒープの応用
１５．グラフ
１５．１ グラフ
１５．２ グラフの表現
１５，３ グラフの探索
以上
身近な統計（’１８）：テキスト目次
１．論より数字。間より統計 〜私たちの身近で活躍する統計情報〜
１．１ 情報を捉え将来の不確実性を科学する統計学
１．２ 統計学が支える諸分野
１．３ 統計学の構成
１．４ 本書の構成
２．データのばらつきの記述（質的データ） 〜度数分布表とパレート図〜
２．１ データの特徴
２．２ データのばらつき（分布）の記述
２．３ 質的データの分布の記述
２．４ 分布を解釈する２つの視点
２．５ ABC分析（パレート分析）
３．データのばらつきの記述（量的データ） 〜度数分布表とヒスとグラム〜
３．１ 度数分布表
３．２ ヒストグラム
３．３ ヒストグラムのチェックポイント
３．４ 分布を表すその他のグラフ
３．５ 統計数学は全体のばらつきの中で相対的に評価する
４．データのばらつきを数字でまとめる 〜平均値・中央値と箱ひげ図〜
４．１ 分布の特徴を表す基本統計量
４．２ 分布の中心の位置を示す指標 〜平均値・中央値・最頻値〜
４．３ 平均値と中央値の性質と読み方
４．４ 分布の形と中心を測る指標との関係
４．５ 四分位範囲と箱ひげ図
４．６ パーセント点（百分位数）
５．ばらつきの大きさを測る 〜シグマ（標準偏差）の活用〜
５．１ 偏差
５．２ 分散と標準偏差
５．３ １シグマ２シグマ３シグマの法則
５．４ 標準得点（ｚスコア）と偏差値
６．格差を測る 〜ローレンツ曲線とジニ係数〜
６．１ ばらつきの管理 〜管理図と変動係数〜
６．２ 非対称性と外れ値検出のための指標 〜歪度と尖度〜
６．３ 格差を測る 〜ローレンツ曲線とジニ係数〜
７．不確実な出来事を確率で考える 〜２項分布〜
７．１ 確率 〜経験的確率と大数の法則〜
７．２ 確率変数と確率分布
７．３ ２項分布（binomial distribution）
８．不確実な出来事を確立で考える 〜正規分布〜
８．１ 正規分布（normal distribution）
８．２ 正規分布の確率計算
８．３ 右に歪んだ分布の対称化：対数変換
８．４ 中心極限定理（平均値の分布は正規分布）
８．５ ２項分布の正規近似
９．統計を作る一部分から全体を知る 〜標本調査〜
９．１ データを作る
９．２ 標本調査
９．３ 調査の方法
１０．調査結果の誤差を知る 〜推定値と標本誤差〜
１０．１ 標本分布 〜推定量（推定値）のばらずき
１０．２ 統計的推定
１０．３ 平均と比率の区間推定
１１．標本から仮説の真偽を判断する 〜統計的仮説検定の考え方〜
１１．１ 確率を使った推論と２つの仮説
１１．２ 検定統計量とその標本分布
１１．３ 検定に伴う２種類の過誤と過誤確率
１１．４ 有意水準（危険率）と棄却域
１１．５ 検定の手順（ルール）と有意確率（ｐ値）
１１．６ ２項分布を利用した検定法
１１．７ 母平均μに関する検定
１２．データから関係を探る 〜クロス集計表の読み方〜
１２．１ 変数間の関連性の分析
１２．２ クロス集計表
１２．３ 行（列）比率とセル比率
１２．４ 関連性の分析（特化係数）
１２．５ 関連性の分析（χ2値と連関係数）
１２．６ 独立性のχ2検定
１２．７ 新商品購入率の区間推定
１２．８ シンプソンのパラドックス
１３．関係のパターンを読む 〜相関関係と傾向線〜
１３．１ 散布図での関係のパターンを見る
１３．２ 相関関係の強弱と相関係数
１３．３ 相関（係数）行列
１３．４ 相関係数を読む上での注意点
１３．５ 相関係数の有意性の検定と解釈
１３．６ 傾向線（回帰直線）を利用した予測の方法
１３．７ 寄与率
１４．時系列データの分析 〜変化の記述と将来の予測〜
１４．１ 時系列データ
１４．２ 時系列データのグラフ化と構成要素
１４．３ 指数化
１４．４ 伸び率と成長率
１４．５ 寄与率
１４．６ 移動平均と季節調整
１５．知識創造社会を支える統計 〜全体のまとめ：要点と練習問題〜
第２章 質的データの記述
第３章 量的データの記述
第４章 平均値・中央値と箱ひげ図
第５章 ばらつきの大きさを測る
第６章 格差を測る
第７章 ２項分布
第８章 正規分布
第９章 標本調査
第１０章 標本誤差
第１１章 仮説検定
第１２章 クロス集計表
第１３章 相関関係と傾向線
第１４章 時系列データの分析
略解
以上
