Senbay Kit

概要

映像とセンサデータの同期はコンテキストアウェアアプリケーションに不可欠ですが、既存手法は複雑なインフラを必要とします。Senbay Kitは、スマートフォン上のリアルタイム映像処理によりアニメーション2Dバーコードを用いて、収集したセンサデータを映像フレームに埋め込むプラットフォームです。

アプローチ

• センサフェデレーテッドビデオ（MobileHCI 2018, UbiComp 2015）: スマートフォンでの録画中にアニメーションQRコードとしてセンサデータを映像フレームに直接埋め込み、既存の動画共有サービスを通じた容易な共有を実現
• マルチプラットフォーム: iOS・Android・macOS・UnixベースOS・Webブラウザに対応
• データ統合: コンテキストアウェアアプリケーション、統合データ記録、センサデータベースの映像編集のための映像とセンサデータの単一ストリームへのシームレスな統合

結果

• 市販スマートフォン上での映像フレームへのセンサデータのリアルタイム埋め込み・抽出を実証
• 追加インフラなしに既存の動画共有プラットフォームを通じた「センサフェデレーテッド」ビデオの共有を実現
• コンテキストアウェアビデオアプリケーション、同期データ記録、センサ駆動ビデオ編集等の多様なユースケースに対応

意義

Senbayは、センサデータと映像の統合のための軽量・インフラフリーなソリューションを提供します。アニメーションQRコードと既存の動画共有プラットフォームを活用することで、研究者や開発者がスマートフォンのみで同期マルチセンサビデオデータの取得・共有・再ストリーミングを容易に行えるようにします。