音声によるインクリメンタル検索

galatea

擬人化エージェントの研究から派生したアイディアだが、ちょっと前に作って放置していたデモをビデオにしてみた。

  • 西本 卓也 他: "探索的検索のための音声入力インタフェースの検討," 情報処理学会研究報告 2008-HCI-127(2), pp.9-14, Jan 2008.

ビデオの作り方に関するメモ。Snagit 9 でデスクトップをビデオキャプチャしたら、ちゃんとマイク入力も取り込んでくれる。VideoStudio 12 で編集。タイトルだけのところは黒の「カラークリップ」で作る。キャプチャした映像は画面サイズが不均一なので、オーバーレイトラックに乗せる。最後は1280x720のWMVに落として、YouTubeにアップロード。

考えていただきたいポイントは「ユーザが入力したいものの名前を言っている間に、常に意味のある反応をし続けること」の効果である。前半ではそれが無効になっており、後半では有効になる。
このこと自体は多くの研究で主張され続けてきたが、具体的な手段についてはいろいろあっていいはずだ。だからこのデモでは「選択肢そのものをつかんで触る」というインタラクションと組み合わせてみた。

スライドと予稿はこちら。

この研究そのものは中断しているが、少なくとも「常に情報を受け取りながら意味のある反応を実時間で行う」という目標は、擬人化エージェントの制御に必要な要素だと考えている。
お弁当を選ぶだけなら話は簡単だが、一般的に「意味のある反応」のための実時間制御を作り込むのは簡単ではない。現在取り組んでいる手法について、近いうちに御報告できると思う。