ソフトウェア
Senbay Kit
アーカイブ 2015年 - 2020年

Senbay Kit

リアルタイム映像処理によりアニメーション2Dバーコードを用いてセンサデータを映像フレームに埋め込むプラットフォーム。iOS・Android・macOS・Web対応。

iOS Android macOS Web
映像処理 センサデータ オープンソース

概要

映像とセンサデータの同期はコンテキストアウェアアプリケーションに不可欠ですが、既存手法は複雑なインフラを必要とします。Senbay Kitは、スマートフォン上のリアルタイム映像処理によりアニメーション2Dバーコードを用いて、収集したセンサデータを映像フレームに埋め込むプラットフォームです。

機能

  • センサフェデレーテッドビデオ: スマートフォンでの録画中にアニメーションQRコードとしてセンサデータを映像フレームに直接埋め込み、既存の動画共有サービスを通じた容易な共有を実現
  • マルチプラットフォーム: iOS・Android・macOS・UnixベースOS・Webブラウザに対応
  • Senbay Studio: Senbay動画をリアルタイムでデコード・可視化する無料のmacOSアプリ。最大15種類のセンサデータを同時表示
  • SenbayKit-Browser: Webブラウザ上でSenbay動画からセンサデータを直接デコードするJavaScriptライブラリ。画面キャプチャからのライブデコードにも対応
  • データ統合: コンテキストアウェアアプリケーション、統合データ記録、センサデータベースの映像編集のための映像とセンサデータの単一ストリームへのシームレスな統合

結果

  • 市販スマートフォン上での映像フレームへのセンサデータのリアルタイム埋め込み・抽出を実証
  • 追加インフラなしに既存の動画共有プラットフォームを通じた「センサフェデレーテッド」ビデオの共有を実現

意義

Senbayは、センサデータと映像の統合のための軽量・インフラフリーなソリューションを提供します。アニメーションQRコードと既存の動画共有プラットフォームを活用することで、研究者や開発者がスマートフォンのみで同期マルチセンサビデオデータの取得・共有・再ストリーミングを容易に行えるようにします。

リポジトリ

SenbayKit

センサデータをアニメーションQRコードとして映像に埋め込み・復元するためのコアSDK。iOS・Android・macOS対応。

SenbayKit-Browser

Webブラウザ上でSenbay動画からセンサデータを直接デコードするJavaScriptライブラリ。画面キャプチャからのライブデコードにも対応。

SenbayLive

SenbayKitを利用したライブストリーミングのサンプルアプリケーション。

動画

主要論文

2018 Honorable Mention Award

Senbay: A Platform for Instantly Capturing, Integrating, and Restreaming of Synchronized Multiple Sensor-Data Stream

Yuuki Nishiyama, Anind K Dey, Denzil Ferreira, Takuro Yonezawa, Jin Nakazawa

Proceedings of the 20th International Conference on Human-Computer Interaction with Mobile Devices and Services Adjunct

2015

Senbay: Smartphone-Based Activity Capturing and Sharing Using Sensor-Federated Video

Yuuki Nishiyama, Tadashi Okoshi, Yin Chen, Takuro Yonezawa, Jin Nakazawa, Hideyuki Tokuda

Adjunct Proceedings of the 2015 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2015 ACM International Symposium on Wearable Computers