JavaScript + WebGL で iPhone の Animoji のような顔認識ができるライブラリの登場
jeelizWeboji は Web カメラの映像を WebGL と Deep Learning によって表情認識し,その結果を 3D や 2D の表情として表現できるライブラリです.
THREE.js ベースの 3D のデモ では実際に,Web カメラを使って自分の顔を狐の 3D モデルにマッピングするのを確認できます.
使ってみたところでは,WebGL で GPU にオフロードされているので,想像以上にスムースに動作し,ひっかかりもなく表情認識がされているように思います.
THREE.js は WebGL の分かりづらく面倒な API を高レベルの API でラップしてわかりやすくしているライブラリで,多くの Web ページで Web 上の 3D 表現のために使われています.
今回も 3D モデルを THREE.js のメッシュに変換するツールがあるので,こちらのライブラリを使うことでより簡単に 3D を扱うことができますね.
SVG ベースの 2D のデモ もあり,こちらも同様ですが,2D のベクター画像をマッピングできるので,3D とはまた違った表現をすることができそうです.
ライセンスは Apache ライセンスで,商用・非商用問わず利用することができるので,多くの場面で活躍することができます.
Deep Learning の肝となるスクリプトは minify されて同梱されており,ニューラルネットワークモデルも用意されています.
Deep Learning のような機械学習の知識やモデル生成のコストを意識することなく利用できるのが嬉しいところですね. すべてクライアントサイドで動作するので,サーバーサイドが必要ないものもポイントです.
コメント
コメントを投稿