MIDI to OSC Deviceの試作とUnityを用いたVJについて 6 (まとめ)

2013.11.04りんご飴音楽祭@渋谷WWWでのAZUMA HITOMIさんのVJの技術的なことについて書きました。やっつけで作るとまとめが大変だとわかりました。書いてるうちに渋谷2.5Dでも少しVJしました。

まとめ

ハードからPCまで、雑ですが構造だけ書いた感じです。

• MIDI to OSC Deviceの試作とUnityを用いたVJについて
• AVR100円マイコンと小型LinuxボードによるMIDI→OSC変換 (前半)
  • システム概要
  • MIDI信号のBaudRate変換
• AVR100円マイコンと小型LinuxボードによるMIDI→OSC変換 (後半)
  • BeagleBone BlackのセットアップとUART受信
  • BeagleBone BlackによるOSCの送信
• MIDI→OSC変換基板の筐体製作と小型WiFiルータと組み合わせた遠隔操作
  • 小型WiFiルータ周りのあれこれ
  • BeagleBone Black遠隔操作のあれこれ
• 3DゲームエンジンUnityでのOSC受信処理とVJへの応用
  • 3Dゲーム開発環境Unityについて
  • Unityでマルチディスプレイを使用したVJについて
  • UnityでのOSC受信

今後の課題

今のところ、VJソフトが付け焼き刃ですので、もっと色んなモデルやシェーダを作り、Unityを活かしたいと思っています。（Linuxの開発環境マジでおねがいします！）
また、操作性が非常に悪いので、そのへんも課題です。どうせなら操作もOSCかNIDでやりたいな。タブレットのマルチタッチをOSCで送るとかも便利そう。
また、デバイス側ですが、かなり処理能力的に余裕があると思っていて、様々な発展が可能と目論んでいます。BeagleBoneBlackはRaspberry PiやArduinoより遙かに重い処理が回せるはずです。
例えばKinect,XtionなどのNIDでモーションキャプチャしてOSCに乗せて飛ばすとか。実はUnityからOpenNIを呼んだVJはすでにやったことがあるのですが、OpenNIがARM対応したことですし、今後無線化してみたいと思います。

Demo

今回使用した1シーンをUnity Web Player向けにビルドしてみました。
キーボードの数字キーでなんか飛び出します。MIDIのNoteOnの代わりと思ってください。GUI領域のスライダで回転スピードが変わります。って全然MIDIのデモになりませんが、ご了承ください。。

Comments are closed.