原因は、顔認識APIを使っていること。顔がある程度はっきり写らないとメガネになりません。そこで、体認識を使って顔の位置にメガネをつけてみたいと思いました。しかし、MediaPipe Poseは一度に1つの体しか認識しません。そこで、まずは物体認識Coco-SSDを使って人を認識させました。
「MediaPipe Pose + Coco-SSD」 src on GitHub
人(person)として認識した部分を切り取り、体をMediaPipe Poseで認識させ表示するアプリができました。
「Object Detection (coco-ssd) test」
こちらが物体認識のテスト。80種類で分類してくれます。人だけに絞るともっと高速化できるかも?(参考、tfjs-models/coco-ssd at master · tensorflow/tfjs-models)
ちなみにこの画像はAI、ChatGPT4oで生成してもらいました。便利!
AIライブラリ、いろいろ組み合わせるとますますおもしろくなります。