絶品ゆどうふのタレ

ふと気づいたことを綴るだけのメモ

AWS Summit 2015 - Day2 - クラウドを活用したIoT/M2Mソリューション

AWS
  • AWS 榎並さん

IoT/M2Mとは

  • Internet of things
  • machine to machine communications

  • このセッションの中では同じような扱いで話す

  • IoT市場の規模

  • 様々なマーケットで利用可能

  • Amazonでも色々

    • Drone
    • echo
    • dash

  • イベント会場の騒音チェックをしてみた

    • 騒音センサーからデータを送る

なぜAWSでIoT/M2M

  • 低コストに始めたい
  • いざ始めてスケールしなきゃいけない、ということになった場合にそれができる
  • グローバルにいろんなリージョンがある
  • 好きにつなぎあわせて課題を解決できる

メリットの有るシステム

  • デバイスインターフェース

  • 収集

    • S3 / Kinesis / DynamoDB
    • ファイル・ストリーム・トランザクションのそれぞれのタイプに対応
    • S3をデータの集積ポイントに
    • Kinesis自体は、一旦データを保存し、最小限のかたちで構成する
      • その上で、各クライアントライブラリを使って処理するアプリを用意する
      • 最近、max 1MBのデータまであげられるようになった
  • 処理
    • Lambda/KCL Apps
    • Lambdaはイベント処理のためのコンピュートサービス
  • 分析
    • Redshift
      • データウェアハウスサービス / Postgres互換
    • 最大2PBのデータ容量まで拡張
    • EMR
      • Hadoopのホスティング
      • Bootstrap Action
        • EMR構築時にインストールできる
        • spark / prestoなどなど
      • 他のストレージに対して処理することもできる
        • Amazon Kinesis インテグレーション
        • Hiveのクエリなども書ける
        • S3インテグレーション
        • S3でデータを永続化し、必要なときに処理する

データ処理パターン

  • 分析方法策定の流れ

    • 目標定義
    • KPI策定
    • 施策策定
    • 実装
    • テスト

  • ダベンポートによる分析の分類

  • 適材適所でサービスを利用

  • Sparkについて

    • 大規模データをオンメモリで処理する分散処理基盤
    • RDDを用いた反復処理
    • SQL / Stream / 機械学習など複雑な利用用途も可能
  • Amazon Kinesis インテグレーションでSpark利用可能

まとめ

  • AWSのメリットを生かす
  • データ処理は重要な機能
    • データ特性とクエリ特性を考慮して設計する