視線入力、アイトラックをMediaPipeで実現

2024-09-17

楽しい人気ライブラリ「MediaPipeを使ったメガネアプリ」に続き、Apple Vision Proの基本操作であるアイトラック（視線入力）を実験してみました。

「MediaPipe test」 src on GitHub
目の周りのポリゴンから、左右端の座標を取得、瞳の座標がどの位置にあるかを３次元ベクトルの計算ライブラリ V3.js に内積 dot を加えて、pointOnLine として実装。