弱いAIの最前線、Googleによるオープンソース「MediaPipe」がいい感じでした。TensorFlow.jsを使っているので、ブラウザ上でサクサク動作します。
「MediaPipe FaceMeshtest」 src on GitHub
こちら開くとカメラが起動し、認識した顔の形を3Dモデルとして表示します。口を開けたり、眉を動かしたり、ウィンクしたりしてみましょう。なかなかの正確さと、追従性です！
Vチューバー的なアニメーションに使うことはもちろん、顔の場所や、口の開ける量などの一部をコントローラーとして使ったアプリや、ゲームへの応用も良さそうですね。
カメラ画像はブラウザ内でのみ処理されていることを、Chromeの「検証」の「ネットワーク」を見て確認できます。ネットワークがなくても気軽に使えるってことですね！
Fri Night
