JavaScript + WebGL で iPhone の Animoji のような顔認識ができるライブラリの登場 jeelizWeboji は Web カメラ の映像を WebGL と Deep Learning によって 表情認識 し,その結果を 3D や 2D の表情として表現できる ライブラリです. THREE.js ベースの 3D のデモ では実際に,Web カメラを使って 自分の顔を狐の 3D モデルにマッピングする のを確認できます. 使ってみたところでは,WebGL で GPU にオフロードされているので,想像以上にスムースに動作し,ひっかかりもなく表情認識がされているように思います. THREE.js は WebGL の分かりづらく面倒な API を高レベルの API でラップしてわかりやすくしているライブラリで,多くの Web ページで Web 上の 3D 表現のために使われています. 今回も 3D モデルを THREE.js のメッシュに変換するツール があるので,こちらのライブラリを使うことでより簡単に 3D を扱うことができますね. SVG ベースの 2D のデモ もあり,こちらも同様ですが, 2D のベクター画像をマッピングできる ので,3D とはまた違った表現をすることができそうです. ライセンスは Apache ライセンスで,商用・非商用問わず利用することができる ので,多くの場面で活躍することができます. Deep Learning の肝となるスクリプトは minify されて同梱されており,ニューラルネットワークモデルも用意されています. Deep Learning のような機械学習の知識やモデル生成のコストを意識することなく利用できるのが嬉しいところですね. すべてクライアントサイドで動作するので,サーバーサイドが必要ないものもポイントです.
Any技術
Web やスマホアプリ,国内海外問わず,気になったエンジニア技術を調べたり翻訳したりします.