みぞメモ

ブログ作成用のメモ登録

Project Tsurugi ユーザー会

Project Tsurugi ユーザー会

■ 日時:2020/10/27 13:00ー15:00
■ 感想

 → 現代的なアーキテクチャにあった
   RDBシステムを新規作成するPJ
   → メニコア、インメモリのアーキテクチャ
 → ノーチラスの神林さんの手動PJなので
   今後の展開が楽しみである
   久しぶりに神林節が聞けたのは嬉しかった

■ 開催・資料

project-tsurugi.connpass.com

  • Web 開催:
     → Web開催: Zoom Webinar

project-tsurugi.connpass.com


(メモ)
13:00-13:10
● プロジェクト全体状況(ノーチラス・テクノロジーズ

RDBの開発
 → 現DBがスケールしない
   → メニーコア、インメモリの合わせたDB
 → OLTP
 → OLAP


《研究開発状況の紹介》

13:10-13:20
● 全体アーキテクチャNEC

・HTAPシステム OLTP按針と任意のOLAP
 OLAP → PostgreSQL, Apach Spark


13:20-13:30 ● アプリケーション:天文データの分析(国立天文台

・高速データベースと天文台の大規模データ
 → すばるの超高視野カメラ


13:30-13:40
● データ分析技術(大阪大学

・発見的データ分析
 → 特徴的なデータを見つける
   → サンプリングベースの異常値検知技術
   → 欠損値・計測誤差の多い

・クエリワークロードの分籍
 → Cardinality estimation
   → レコードのヒット具合を推定
   → カラム間の依存関係を機械学習

13:40-13:50
● アプリケーション:災害対応(パスコ)

・大規模自然災害
 → 情報収集、断片的な情報、情報整理のプラットフォーム

・3D-TIM:3次元サーフェースモデル
 → 航空機オーブリークカメラ撮影 
 → データ取得
 → データ処理
   → 分割定義ファイル作成、CropImage、
     OpenMVG, OpenMVS
      データロード、差分抽出

13:50-14:00
● 空間情報処理技術(名古屋大学

・TIN(Triangulated Irregular Network)
 → 複雑な

・空間重点曲線(Z-oder curve)
 → N次元データをい次元に並べる
 → Z-order curve 空間索引技術
   → バウンダリにより不要な組合せ領域が発生
   → 探索領域の分割(領域の内外)

・TIN差分演算機能


14:00-14:10
● アプリケーション:バッチ処理ノーチラス・テクノロジーズ

・Wite-heavy バッチ処理RDBは向かない
 → MV(マルチ・バージョン)、Lock Free


14:10-14:20
● HTAP(Hybrid transaction/analytical processing)技術(東京工業大学

トランザクション処理(OLTP)と解析処理(OLAP)
 → 基幹系(OLTP),情報系(OLAP)
 → OLTP:行単位、OLAP:列単位
 → 同時実行制御の問題
   → Snapshot Isolation:マルチバージョン


14:20-14:30
トランザクション処理技術(慶應義塾大学

トランザクション(ACID)
 → Concurency Control, Recovery
 → 


14:30-14:40
SQL処理の実装(ノーチラス・テクノロジーズ

SQL処理をインメモリで実行

SQL処理でデータ並列


14:40-14:50 ● 不揮発性メモリの活用(NEC

Intel Optance DC Persistent Memory
 → Memory mode:DRAM, App Direct mode:ストレージ


14:50-15:00
● 質疑など  


以上