福野泰介の一日一創

楽しかった高専DCON2022と、開催決定した高専DCON2023。 半導体不足の中、マイコンを使ったハードウェアづくりの替わりに、使わなくなったPCやスマホの再利用もプロトタイピングや、小規模展開には使えるので視野にいれるのもいいでしょう。

JavaScriptやTypeScriptで実装可能なブラウザで動く機械学習ライブラリ、TensorFlow.jsのサンプルに掲載されていたオブジェクト検出（コンピューターによる物体識別と位置検出の組合わせ）COCO SSDを使って、遊んでみました。高専DCONでのオブジェクト検出は、YOLOv4が活躍してました。

「Object Detection (coco-ssd) test」
サンプルアプリを開くと、Webカメラと接続しリアルタイムに認識している様子を確認できます。いろんなものを見せて遊んでみましょう。

「Object Detection (coco-ssd) test」
JPEGファイルをドロップするとその画像を使ってオブジェクト検出します。ちゃんと人を3人、持っているハードウェアを68%の確率で携帯電話と識別しました。

ファイルドロップ用のライブラリ「setDropImageFileListener.js」を使って、簡単認識！ import { setDropImageFileListener } from "https://js.sabae.cc/setDropImageFileListener.js"; setDropImageFileListener(document.body, async (img) => { videomode.checked = false; await tick(img); });

「Object Detection (coco-ssd) test」
大人数の認識実験。取りこぼしもありますが、部分的に写っているだけでもそこそこ人認識してくれます。ヘルプのうちわはワイングラスとして認識。

こちらTensorFlow.jsのサンプルとして提供されている、80に分類する学習済みのモデルを使っての判定です。 別途いろいろと学習させたデータを使ったオブジェクト検出もやってみたいですね。 フォトグラメトリと組み合わせて、いろんな角度、いろんな背景での写真を生成して水増しして学習させるのも良さそうです。

DCON2022で経済産業大臣賞を獲得した、大島商船高専チームは、キクラゲをBlenderで生成してレイトレーシングでレンダリングした画像を使って学習させていました。便利なツール、組み合わせるともっと便利に！

links
- VC5人が本気で質疑、司会にヒャダインさん＆こじるりさん、高専DCON2022全チームの動画リンクとオープンデータ