ひまかん Advent Calendar 5日目: クエストスコープ

技術系集団であるひまかんがこれまでに作ってきた作品の紹介や、技術ネタ、ライフハックなど、ノンジャンルな記事を埋めていくアドベントカレンダーです。
ひまかん Advent Calendar 2015

クエストスコープ

Yahoo! JAPAN で開催されたハッカソンイベント、 Open Hack Day 3 で作った作品です。
Open Hack Day 3 チームページ

手軽にVRを楽しめるガジェットのハコスコを使って、スマホのカメラから見た景色をRPGのゲーム画面風にする、というアプリです。
具体的には

• 映った人(=村人)の顔認識をする
• そこから年齢や性別を測定
• 性別や年齢で村人のメッセージが変わる
• ランダムで村人ではなく敵と判定される
• 声で呪文をかけたり
• これらの画面をゲームっぽくビジュアライズ

残念ながら発表動画も発表資料も見つからず、アプリも最新のSDKではビルドできなかったので、具体的なイメージを何ひとつ見せることができません。。

顔認識にはReKognitionという顔認識サービスを使いました。顔の画像からその人物の年齢や性別を推定する機能があるAPIです。無料アカウントだとわりとすぐ制限に引っかかります。12/6現在は新規ユーザーの募集は止めているみたいです。精度もまあまあで、出力結果自体は面白かったのですが、外部APIで顔認識させるのはやっぱりパフォーマンスが気になりますね。特にVR系はじっと待ってるわけにはいかないので。

呪文などの音声コマンドにはオープンソースの音声認識ライブラリのJuliusを使いました。手抜きしようとしてiOS向けのラッパーライブラリを使うも、なかなかビルドが通らず、かなり時間を使ってしまいました。

今もし同じネタでやるならこんなことを盛り込みたいです。

• Google Cloud Vision API使って顔でも物でも検知していろいろやりたい。
• もっとファミコンっぽい画面作りをこだわりたい。例えば映像を輪郭検知してドット絵風に変換するみたいな。マインクラフト風な画面もよさそう。

今回はアイディアをうまく昇華させることができず、満足いく結果にはならなかったですね。次回また頑張ります。
あと、こういうまとめ記事はすぐ書いたほうがいいと思いました。24時間でやったことなんて半年も経つと全然思い出せないし、資料も見つからないし。

追記：
スライド見つかりました。