プログラミング・Webサービス

QuartzComposerとKINECTでビジュアルエフェクト

  • 閲覧数: 9126
  • 8

作品画像

  • C.120x80.1357c0d7dfd3cffc2194db7127bf236e

作品説明

QuartzComposerとKINECTをつかってシャレオツ映像をつくりたい。QuartzComposerもKINECTハックもややいまさら感がありますが、どちらも面白い道具なので、使い方を勉強したいとおもいます。KINECTハックは公式SDKがマイクロソフトから提供されていますが、win専用だったり、開発がC++やC#で僕には難易度が高い。。また、KINECTをビジュアル的にで使いたいので、リアルタイムでエフェクトが作れるQuartzComposerで、今回は動かしたいと思います。そしてついでに、MIDIコントローラーでKINECT画像を動かしてみました。QuartzComposerにKINECTを読み込むパッチは今回使ったもの以外にもいくつかあるようです。今回使ったパッチはKINECTのRGBイメージを読み込めなかったので、色がありません。カラーで表示したかったなぁ。

レシピ

必要なモノ

<ハード>
・Mac(自分のはMacBookPro2010 Lion)
・KINECT for XBOX(KINECT for Windowsってのもあるが微妙に仕様が違う。今のところMacで動かすのは難しいっぽい)
・MIDIコントローラー(自分のはKORG nanoKONTROL2。適当な安いやつでいい )

<ソフト>
・QuartzComposer(リアルタイムビジュアルツール Appleのフリーソフト)
・Xcode(MacOSやiOSの開発環境)
・X11(よくわかんない。なくてもいいかも?)
・MacPorts(パッケージ管理システム)
・OpenNI(KINECTとかNatural Interactionのためのフレームワーク
・NiTE(OpenNI拡張?)
・SensorKinect(KINECT非公式ドライバ)
Synapse for Mac(QCにKINECT映像を認識させるためのソフト)
・Synapse Quartz Composer example project + plugins(QCにKINECT映像を読み込むためのパッチ)
・_1024_KinectPrimitivePoints(QCに読み込んだKINECT映像をシャレオツに加工するパッチ)

作業工程

1,X11インストール
・X11はLion以前のOSならすでにインストールされているはず。Mountain Lionはプリインストールされていないので、こちらからLDする必要があります。

2,Xcodeインストール
・AppStoreか、AppleDeveloperからDLしてインストールする。OSが古いとAppStoreの最新版はインストールできないかも。AppleDevからDLしてください。
・Xcode起動→メニューのPreferences→downloadからCommand Line Toolsをインストールする。

3,MacPortsインストール
・MacPortsをこちらからDLしてインストールする。(ページの上の方にDLリンクがあるので、自分のOSに合ったリンクをクリックしてください)
・MacPortsを最新の状態にアップデートする。ターミナルを開いて下記のコマンドを実行。
sudo port selfupdate
・libtoolをインストールする。同じくターミナルを開いて下記のコマンドを実行。
sudo port install libtool
libusb-devel +universalをインストールする。同じくターミナルを開いて下記のコマンドを実行。
sudo port install libusb-devel +universal

4,OpenNI、NiTE、SensorKinectをインストール
公式サイトから個別にDLできますが、普通の手順でインストールしてもMacがKINECTを認識してくれません。なにやらそれぞれのソフトどうしのバージョンの組み合わせがシビアなようです。最新のver2.xはそもそもKINECTに対応していない?ようです。なのに古いver1.xがDLできません。幸いにも古いバージョンで、しかもうまく動く組み合わせを一括でアップしてくれている方がおりますので、こちらから下記をDLしてください。ここの工程で1日ハマった。。

OpenNI_NITE_Installer-OSX-0.24.zip

・DLしたソフトを解凍する。
・ターミナルを開き、DLしたフォルダに移動する。コマンドは以下を参考にしてください。
cd /Users/[ユーザー名]/Desktop/OpenNI_NITE_Installer-OSX
・下記コマンドを実行して、インストールする。
sudo ./install.sh

5,Quartz Composerインストール
Quartz ComposerもAppleDeveloperからDLしてください。dmg形式なので開けば使えます。

6,Synapse for Mac、Quartz Composer example project + pluginsをダウンロード
こちらから、上記の2つをLDして解凍してください。
・解凍したpluginsフォルダの中の、下記を/Library/Graphics/Quartz Composer Plug-Ins/ にコピーする。
Synapse Kinect.plugin

7,_1024_KinectPrimitivePointのダウンロード
こちらからDLする。
・解凍したフォルダ内の下記のプラグインを同じく/Library/Graphics/Quartz Composer Plug-Ins/にコピーする。
_1024_KinectPrimitive.plugin

※以降はQuartz ComposerにKINECTの映像を読み込む手順

8,KINECTのUSBをMacに接続する

9,工程6でDLしたSynapseを起動する
ウインドウが立ち上がり、KINECTの深度映像が表示されます。これを起動させておかないとQCで画像が取得できません。

9,Quartz ComposerにKINECTの画像を表示させる
とりあえず、_1024_KinectPrimitivePointについてくるサンプルプロジェクトに、KINECTの映像を読み込ませてみます。
・_1024_KinectPrimitive_00.qtzを開く。
・以下のパッチをダブルクリックして[TrackBall]までもぐります。
[Fog] → [3D Transformation] → [TrackBall]
・PatchLibraryから[Synapse Kinect]をエディタにドラッグする。
・すでにエディタ上にある[kinect copy]パッチと入れ替える。

以上の方法で、KINECTからの画像が映るはずです。工程9の段階でKINECTの映像が写っていなければソフトのインストールのところで問題が起きてます。

10,MIDIコントローラーを接続
MIDIコントローラーをMacに接続。機種によってドライバのインストール等が必要かと思います。

11,Quartz ComposerをMIDIコンで操作する
同じく_1024_KinectPrimitivePointのサンプルプロジェクトで動かしてみます。
・トップの階層にある[Fog]をダブルクリックします。画面にはパッチ[3D Transformation]があるはずです。
・PatchLibraryから[MIDI Controllers Receiver]をエディタにドラッグする。
・上記パッチを選択した状態で画面上部の[Patch Inspector]を押す。
・設定ウインドウが開くので、プルダウンから[settings]を選ぶ。
・[Learn Controller to Observe]ボタンを押す。
・MIDIコンの適当なフェーダーを動かす。
・[MIDI Controllers Receiver]パッチに項目が増えるので、それと[3D Transformation]のRotationYを接続。

Goodシャレオツ!
これで、登録したフェーダーを動かすとKINECTの映像が回転するはずです。
QCを使いこなせれば、KINECTと組み合わせてもっと面白いできるかも。
この手順は自分の環境でうまく行った方法なので、場合によっては必要ない手順や、逆に必要な手順が発生するかもしれない。興味のある方は参考にしてください。

コメント (0件)

コメントはまだありません