Project Tsurugi ユーザー会
Project Tsurugi ユーザー会
■ 日時:2020/10/27 13:00ー15:00
■ 感想
→ 現代的なアーキテクチャにあった
RDBシステムを新規作成するPJ
→ メニコア、インメモリのアーキテクチャ
→ ノーチラスの神林さんの手動PJなので
今後の展開が楽しみである
久しぶりに神林節が聞けたのは嬉しかった
■ 開催・資料
- Web 開催:
→ Web開催: Zoom Webinar
(メモ)
13:00-13:10
● プロジェクト全体状況(ノーチラス・テクノロジーズ)
・RDBの開発
→ 現DBがスケールしない
→ メニーコア、インメモリの合わせたDB
→ OLTP
→ OLAP
《研究開発状況の紹介》
13:10-13:20
● 全体アーキテクチャ(NEC)
・HTAPシステム OLTP按針と任意のOLAP
OLAP → PostgreSQL, Apach Spark
13:20-13:30
● アプリケーション:天文データの分析(国立天文台)
・高速データベースと天文台の大規模データ
→ すばるの超高視野カメラ
13:30-13:40
● データ分析技術(大阪大学)
・発見的データ分析
→ 特徴的なデータを見つける
→ サンプリングベースの異常値検知技術
→ 欠損値・計測誤差の多い
・クエリワークロードの分籍
→ Cardinality estimation
→ レコードのヒット具合を推定
→ カラム間の依存関係を機械学習
13:40-13:50
● アプリケーション:災害対応(パスコ)
・大規模自然災害
→ 情報収集、断片的な情報、情報整理のプラットフォーム
・3D-TIM:3次元サーフェースモデル
→ 航空機オーブリークカメラ撮影
→ データ取得
→ データ処理
→ 分割定義ファイル作成、CropImage、
OpenMVG, OpenMVS
データロード、差分抽出
13:50-14:00
● 空間情報処理技術(名古屋大学)
・TIN(Triangulated Irregular Network)
→ 複雑な
・空間重点曲線(Z-oder curve)
→ N次元データをい次元に並べる
→ Z-order curve 空間索引技術
→ バウンダリにより不要な組合せ領域が発生
→ 探索領域の分割(領域の内外)
・TIN差分演算機能
14:00-14:10
● アプリケーション:バッチ処理(ノーチラス・テクノロジーズ)
・Wite-heavy バッチ処理にRDBは向かない
→ MV(マルチ・バージョン)、Lock Free
14:10-14:20
● HTAP(Hybrid transaction/analytical processing)技術(東京工業大学)
・トランザクション処理(OLTP)と解析処理(OLAP)
→ 基幹系(OLTP),情報系(OLAP)
→ OLTP:行単位、OLAP:列単位
→ 同時実行制御の問題
→ Snapshot Isolation:マルチバージョン
14:20-14:30
● トランザクション処理技術(慶應義塾大学)
・トランザクション(ACID)
→ Concurency Control, Recovery
→
14:30-14:40
● SQL処理の実装(ノーチラス・テクノロジーズ)
・SQL処理をインメモリで実行
・SQL処理でデータ並列
14:40-14:50
● 不揮発性メモリの活用(NEC)
・Intel Optance DC Persistent Memory
→ Memory mode:DRAM, App Direct mode:ストレージ
14:50-15:00
● 質疑など
以上