勉強会：Deep Learning Acceleration 勉強会（DLAccel #2）
第二回 Deep Learning Acceleration 勉強会（DLAccel #2）
■ 日時：2019/9/28 13:15ｰ17:00
■ 感想
→ 深層機械学習用のプロセッサ開発についての勉強会
基本的に「学習系」ではなく「診断系」プロセッサ
→ DLのアルゴリズムに対する深い理解が無いとついて行けない
研究者向けの最先端の内容であった
→ 成功すればビッグビジネスになる分野だけに
現行では分からなくても着いていきたいと思う
有意義な勉強会で会った
■ 開催・資料
（セミナ・メモ）
13:30-14:00
● モデルアーキテクチャ観点からの高速化 2019 @yu4u（DeNA）
・高速化
→ CNN対象 → 推論時の高速化
→ FLOPs ≠ 公職処理
・畳み込みの計算量
→ 空間方向の分解 → 畳み込みのカーネル
→ SqueezeNet → 次元圧縮
→ 空間方向とチャネル方向の分解 → Separable conv
→ MobileNet V1/V2
→ MNasNet → アーキテクチャ探索手法
→ MobileNrt V3
→ EfficientNet → 精度の高いパラメータ
→ ShuffleNet → グループ間の情報やりとり
→ ChannelNet
→ ShiftNet
→ OctNet
→ Pruning（枝刈り）
→ Unstructured/Structured Pruning
→ Optimal Brain
→ Deep Compr
→ Network Slimming
→ Channel Pruning
→ ThiNet
→ AMC AutoML for Model Comptressio and Acceleration
→ NrtAdapt
→ アーキテクチャ探索
→ NASNet
→ ENAS
→ 早期終了
→ BranchyNet → エントロピの閾値
→ 量子化 → HW化
14:00-14:30
● 分散学習を支える技術とはじめ方 @yotayotanaka（Sony）
・分散学習
→ 精度を良くする → 学習規模の拡大
→ データを多くする(画像数)
→ モデルを大きくする
→ DNN学習 → ミニバッチ学習
→ 分散学習 → データパラレル/モデルパラレル
→ データパラレル
→ 複数Workerでミニバッチ学習、データ同期
→ 学習就職、高速データ同期
→ Learning Raye Decay → LARS/LAMB
14:30-15:00
● Inside MN-2 @hirochikasai (PFN)
・深層学習基板 → 分散深層学習、ストレージ(HDFS)
・MN-2：幅広い自前設計
→ ファシリティ(ラック)/ネットワーク/ストレージ(HDFS)/PF(Kubernetesベース)
・RoCEv2
→ RDMAとGPUDirect
15:30-16:00
● XNOR-Net on VC4 @notogawa (Idein)
・XOR-Net
→ Binary Convolution Neural Network
・VideoCore IV → Rasberry Pi GPU
16:00-16:30
● マルチレイヤコンパイラ基盤による、エッジ向けディープラーニングの実装と最適化について
tkclimb (Fixstars)
・DNNモデルコンパイラ/DSLコンパイラ
・エッジディープラーニング推論
→ グラフコンパイラ
→ ノードレベル推論実装
→ モノリシック計算カーネル
→ DSLコンパイラベース
→ ONNX → 標準DNNグラフフォーマット
・DSLコンパイラ
→ IR(戦国時代)
→ 言語間のハブ・データフォーマット
→ IR、フロントエンド
・Noah IR 開発アクセラレーション
16:30-17:00
● 深層学習チップ 須藤さん（さくらインターネット）
・AIチップ
→ 学習/推論/エッジ
・垂直統合
→ 用途ごとに進化下'サーバハードを自ら設計して使う
→ コモディティ化でない → 設計会社に入社しないと情報が無い/個人の仕事がロックイン
以上
