イヤホンを用いたサイレントスピーチインタフェース

概要

既存のウェアラブルサイレントスピーチインタラクション（SSI）システムは、専用デバイスが必要で語彙数も限定的です。本プロジェクトでは、市販イヤホンを用いたSSIシステムを開発し、手や声を使わない目立たないテキスト入力を実現しています。(1) 訓練時に未出現の単語への汎化認識、(2) 音声認識と同時のユーザ本人認証、という2つの課題に取り組んでいます。

アプローチ

• ReHEarSSE（CHI 2024）: イヤホン型超音波SSIシステム。ユーザが無声で単語を綴る際、超音波反射を利用して耳道形状の微細な変化を検出し、自己回帰的特徴量を抽出。CTC損失と文字・文字遷移を考慮した中間埋め込みを用いた深層学習モデルにより未知単語への汎化を実現
• HEar-ID（UbiComp 2025, Best Poster Award）: ReHEarSSEを拡張し、市販ANCイヤホン上で単一モデルによるユーザ認証とサイレントスピーチ認識の同時実行を実現。低周波ウィスパー音声と高周波超音波反射の両ストリームを共有エンコーダに入力し、対照学習ブランチで認証、SSIヘッドでスペリング認識を実行

結果

• ReHEarSSE: 訓練データに含まれない未知単語に対して89.3%の認識精度を達成し、辞書に掲載されるほぼ全ての単語をカバー
• HEar-ID: 50単語の認識となりすまし拒否を両立し、市販イヤホン上で高いスペリング精度と頑健な認証性能を実証

意義

本研究は、市販イヤホンがハンズフリー・ボイスフリーのテキスト入力の実用的なプラットフォームとなりうることを実証しています。既存SSIシステムの語彙制限を克服し、ユーザ認証を統合することで、日常環境における安全でスケーラブルなサイレントスピーチインタフェースの実現に道を開きます。