みぞメモ

ブログ作成用のメモ登録

勉強会:Apache Kafka Meetup

Apache Kafka Meetup Japan #6 @Yahoo! JAPAN

■ 日時:2019/4/09 19:00ー22:30
■ 感想

 → Kafka は、分散・並列ブロック処理
   Cloud 時代には押さえておきたい技術
 → みぞラボで実験したい優先技術候補

■ 開催・資料

kafka-apache-jp.connpass.com


セミナ・メモ)

● Dissolving the Problem: Kafka is more ACID Than Your Database

● ログ監視システムにおける時刻ベース遅延の可視化

・ログの品質管理システム
 → 不正ログのフィルタリング
 → Kafka logu → オフセットの管理
   → ログの時間遅延 → ログ流量、処理速度
   → タイムスタンプの管理 → 時間ベース
 → 複数パーティション同時購読

● Elastic StackでKafkaをモニタリング!

・Elastic stack → Brats/Logstash
 → 外形監視、メトリック、ログ

● 大量トラフィックを受けるトピックのレプリケーションボトルネック

● 有価証券情報システムにおけるKafka利用事例

以上