スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

MMDAgent対応アプリを作ってみる

【MMDAgent対応アプリを作ってみる】
ひょんなことからAndroidアプリ開発の講習を受けることになり、どうせならということでMMDAgent対応アプリを作ってみることに。

で、とりあえず仮組みしてみたのがこちら。

MMDAgent対応アプリ画面

画面上のボタンを押すとMMDAgentに命令が送られるといういたってシンプルなものです。
基本的には現在公開しているソケット通信プラグインを使って、Android側からイベントを受信しています。
天気やTODOについては非公開のプラグインを使ってます。

eclipseのエミュレータやWifi経由のローカルでの実機テストでは、とりあえず動作しました。
MMDAgent側の公開設定やドメインとかきちんと設定してやればそれなりに動きそうです。
今回はローカル内での利用が目的なのでIPアドレスとポート番号を直接指定してますけど。

あとはMMDAgent側で処理した結果、いわゆる音声をwav形式でHTTPによりやり取りできるようになると面白そう。

まあ、作ってみたかっただけなのでこの先公開するか、発展させるかも未定ですが。
MMDAgentを使った1つの例ということで。

結局何がしたかったかというと、音声認識に頼らない安定した入力が欲しかった。

テーマ : プログラミング
ジャンル : コンピュータ

プラグインのバージョンアップ

【プラグインのバージョンアップ】
VOICEROIDプラグインをバージョンアップしました。
今回からOpne_JTalkとの共用や使用するVOICEROIDの選択ができるようになっています。
詳しい設定方法などは同梱のREADME.txtを読んでください。

VOICEROIDプラグイン Ver. 0.3.0.0 : ダウンロード

テーマ : プログラミング
ジャンル : コンピュータ

MMDAgentとKinect

【Kinectを使ってみる】
Kinect for Windows SDKがリリースされてから早数ヶ月、Kinect本体も手に入ったのでMMDAgentのKinectプラグインを作ってみました。
実際には2月中旬から手を付け始めて、最近になってようやくまともに動くようになったんですけどね。
動作については、久しぶりに上げた動画を見てください。





プラグインはKinect for Windows SDK v1.5で製作しています。
Kinectの特徴であるスケルトントラッキング(モーションキャプチャ)からの情報を元に、ジェスチャに反応させてみたり、手先の位置情報に追従させてみたりしました。

Kinectを使うメリットとしてはモーションキャプチャによるジェスチャに対応できることや、マイクアレイの音源方向特定による複数人に対応したイベント処理ができるようになるなどがあります。
もともとMMDAgentには「耳」となる音声認識が付いていますが、「目」となるKinectを導入することでさらに可能性が広がると思います。

ただし、ネックになるのは価格と開発環境かと思います。
Kinect1台2万円程度と考えると一般ユーザーにとっては敷居が高いかも知れません。コスト面を考えるなら、低価格のwebカメラに対応して画像処理でいろいろするほうがいいかもしれません。
最近webカメラの画像から表情トラッキングする研究とか発表されてましたし。

その辺を考えて作ってみたのがOpenCVプラグインだったりします。
あれから開発が進んでないんですけどね。

あとはKinectの開発環境の問題。
OSがWindows 7であることや、開発はVisual Studio 2010(Express Editionを含む)でしか行えないことなどが上げられます。
このためMMDAgent自体をVisual Studio 2010でビルドする必要があります。

問題点はあるにしろ、Kinectは夢が広がるデバイスですので余裕のある方は使ってみてはいかがでしょうか。

テーマ : プログラミング
ジャンル : コンピュータ

MMDAgentでボイスチェンジャー

【MMDAgentでボイスチェンジャー】
今回はMMDAgentの変わった利用方法の紹介。
MMDAgentの音声認識と音声合成を利用して、ボイスチェンジャーもどき作ってみる。

元ネタはちょむPさんのツイートから。

技術的には3月の初めくらいに試していたものだけど、ちょむPさんのツイートを見て思い出したので。

・必要なもの
1. MMDAgentのサンプルが動く環境
2. Plugin_Ril.dll DL:http://www.nicovideo.jp/watch/sm17157849
3. 専用スクリプト DL:ダウンロード

・設定手順
1. 上記のものを用意する。
2. Plugin_Ril.dllをMMDAgentのPluginフォルダにコピーする。
  このときPlugin_VIManager.dllを削除しておく。
3. 専用スクリプトをMMDAgent.exeと同じ場所にコピーする。
4. あとはMMDAgentを起動して、マイクに向かってしゃべる。
  すると音声認識した結果をそっくりそのままメイちゃんがしゃべってくれる。
  モデルを変更したいときは専用スクリプトの8行目のファイルパスを修正してください。
  あと、環境によっては音声認識がループしてしまう可能性があるので、音量等は各自調整してください。

・その他
Plugin_Voiceroid.dllを併用すると結月ゆかりさんなどのVOICEROIDにボイスチェンジ可能。
VOICEROIDプラグイン Ver. 0.2.0.0 : ダウンロード

・使いどころ
ニコニコ生放送などのアバターに・・・?


5/20追記
専用スクリプトを修正しました。
音声認識した結果全てをオウム返しするよう修正しました。

テーマ : プログラミング
ジャンル : コンピュータ

音響モデルネタ

【音響モデルネタ】
最近OpenJTalk_windowsなるソフトが公開されました。
OpenJTalkをWindows上で面倒な設定をせずに簡単に利用できるソフトです。
このソフトしゃべらせた内容のログを出力する機能があります。
重要なのはこのログのなかに読み上げたセリフのフルコンテキストラベルがあることです。

いままで音響モデルを作るときはATR503文の読み上げデータが必要でした。
これは学習時に必要なフルコンテキストラベルが自作できなかったからです。
このため音声データをラベルに合わせる必要がありました。

しかし、OpenJTalk_windowsのログからフルコンテキストラベルを取り出せば任意の音声データから音響モデルを作れるようになるわけです。

手順としては音声データを用意して、音声データのセリフをOpenJTalk_windowsで読み上げさせログを出力させます。
出力させたログからラベル部分を抽出して、各ラベルを作ります。
あとは音響モデルを自作するときと同じようにJuliusでラベリング後、学習させるだけです。

で、実際に適当に用意した音声データから音響モデルを作ってみたわけです。
結論から言うと、この方法で任意の音声データから音響モデルを作れます。
ただし、音声データの選別やラベルの作成など結構手間がかかります。
自分は250個くらいデータを用意したあたりで挫折しました。
興味のある方はやってみてください。

テーマ : プログラミング
ジャンル : コンピュータ

プロフィール

CUBE370

Author:CUBE370
MMDAgent用の誰得プラグインを作ってます。
MMDAgentに関する情報や自作プラグインについて書いてます。

技術的なことはwikiのほうにまとめてます。
http://cube370.wiki.fc2.com/

つぶやき
最新記事
最新コメント
最新トラックバック
月別アーカイブ
カテゴリ
FC2カウンター
検索フォーム
RSSリンクの表示
リンク
ブロとも申請フォーム

この人とブロともになる

QRコード
QR
上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。