福野泰介の一日一創 - create every day

Hana道場、若宮さんと学ぶIoTとIchigoJamプログラミングと地域フィールドラボ第5期スタート!

2018/07/12
#sabae #IchigoJam #codefor #docs 

Apple社長による紹介で世界的にも有名な、若宮正子さん、ご来鯖!
iPhone「82歳日本人開発者」は何がスゴイのか | スマホ・ガジェット | 東洋経済オンライン | 経済ニュースの新基準

若宮さんの興味はスマホアプリに留まることなく、電子工作、IoTも!
鯖江、Hana道場にて、IchigoSodaで体験、はじめてのIoTプログラミングで一緒に電子工作・プログラミング・ネットワークを学びました。

アイロンビーズでつくったアクセサリー、お土産にいただきました!


Code for Japan、地域フィールドラボ(旧コーポレートフェローシップ)の第5シーズン、大鵬薬品の三浦さんを迎えてスタート!
地域フィールドラボ(旧コーポレートフェローシップ)事業・派遣職員辞令交付式 | 『さばえ.jp』百さんのブログです
国際的にも経験豊かな三浦さん、鯖江のまちをより健康に!メガネづくりと、IchigoJamマスターしたいと嬉しい抱負!


早速、Code for Sabae イベントとして、Hana道場イベントへご案内。
竹部さんより、Hana道場の想いの紹介!


地域フィールドラボ三浦さんとデジタルクリエイター若宮さんの共同作業!
インターネットは100億台のコンピューターの集合。基本はたった2台をつなぐこと。


わかった!という喜びに年齢は関係ないですねっ


10歳〜82歳まで幅広い参加者、アイデアソンも楽しい!

困っていることと、改革案
ビジネスホテルみたいな鍵がほしい(抜くと全部消えるけど、冷蔵庫とかはは消えない)
耳が遠くなってピンポンが聞こえない(部屋内のキラキラが教えてくれる)
眠ったら自動的に消えるエアコン
体温計を使うのが面倒(コップを握ったら体温が分かる、はぶらしに内蔵!?)
血圧計の計測が面倒(簡単管理、お医者さんに見せられる)
雨が降ったら自動的に取り込んでくれる
孫の離乳食の温度管理(乗っけたら適温教えてくれる)
電話するのを忘れちゃう(電話自動発信)
マップアプリの東西南北を間違える(逆走を教えてくれる)
冷蔵庫の余り物管理(何があるかわからなくなる、自動管理、在庫管理)
食べ過ぎ防止アプリ(カロリー、糖質管理アプリ)
眠れないシニアはとても多い
介護する側、寝ている間にどこか行ってしまう(動いたら教えてくれるIoT)
田んぼの水位管理をしてほしい(水を出すのをスマホで出す、管理)


IchigoJamでイノシシを狩る、勝山の谷川さん。IchigoSodaを組み込んだ独自の通知装置を披露!
今年のイノシシ鍋もおいしくなりそうっ


IchigoJamでプログラミング」「親子でベーシック入門」の著書で、元担任の先生、あっしーこと蘆田さんと!
IchigoJam Tシャツがまぶしい!


この日、永平寺町エボリューション大使というカッコイイ役に就任した、あみるも合流!


福井の幸とともに懇親会!
福井エボリューション、加速中。


今回の資料、ブラッシュアップしてオープンデータ化!( PDF/ Keynote/ ppt
持ち帰り資料と合わせて活用ください!( PDF/ word

(追記)

2018.7.13 市長室訪問! 3色揃った IchigoJam Tシャツ

漢字を点字で表す方法「六点漢字」日本語点字体系オープンデータと点字変換アプリ

2018/06/07
#braille #opendata #codefor 

Code for Nerimaでお会いした、長谷川貞夫さん。点字で漢字を表す方法、六点漢字を含む、日本語点字体系のオープンデータ化が実現しました!
漢字の点字表現「六点漢字/日本語点字体系」と点字アプリケーション - GitHub

まずはその対応が確認できるシンプルな変換アプリと共に公開しました。
数字モードや、カタカナモードなど各種切り替えなどは未実装ですが、オープンデータなオープンソースみんなで育てていきましょう。

tenji converter - 点字変換 六点漢字 日本語点字体系対応版

攻殻機動隊のようにテキストを感じる可能性を教えてくれた、長谷川さん浅井さんCode for Nerima に感謝! データ、コード、人でつながる地方と地方。ネットワークの可能性は広大です。

links
- 六点漢字 - ウィクショナリー日本語版
- 六点漢字の自叙伝 (作者、長谷川貞夫さんによる自叙伝)

デジタル色メガネで見よう colorsight - テクノロジーと高専生とアフリカと

2018/06/02
#megane #kosen #IchigoJam #codefor #JS #africa 

Code for Sabae発、WebMeganeがCode for Nerimaに飛び火。
WebMegane(色覚体験)

WebMegane、色を文字化してみました。

colorsightsrc on GitHub in JS
時計表示のおまけ付き! 簡単なJavaScriptで改造可能です!


マダガスカル、モロッコからの留学生へIchigoSodaレクチャーする高専生!


夜は高専インターンOG/OBと!

高専生による高専生のための、最高のインターンを目指す、jig.jpインターン、申込み期限間近!
学生インターンプログラム2018~全国高専生向けjig.jpインターンシップ募集開始のお知らせ~

How to make the Inclusive City - Learn Braille (点字を学ぼう) on IchigoJam / Alphabet(+和文)

2018/05/15
#IchigoJam #IoT #js #africa #codefor #nerima 

インクルーシブシティとは、いろんな壁を越えて誰もが豊かに暮らせる都市。
The Inclusive City makes everyone happy.

「はじめのいっぽ」は関心。
The first step is the interest.

見えなくても聞こえなくても伝わる、点字を学習するプログラムを作りました。
I made a program to learn braille, characters for everyone.


キーボードで打つと、対応する点字が表示されます。(A-Z版とひらがな版、プログラムは後半に)
You can check the braille with typing A-Z or Kana of Japanese.
(RUN on Ichigojam web)


アフリカ各国からのインターン生と、お互いの紹介とIT使った社会発展に向けたディスカッション。
Mutual introduction and discussion to improve this society with IT with interns from Africa.


アフリカと日本、つなぎましょう!
Let's connect Africa to Japan.


Code for Nerima では、体表点字の開発者、長谷川さんに見てもらえました。
I met Mr. Hasegawa, an inventer of braille with motors at Code for Nerima.


コードでつながる練馬と鯖江。
Sabae(Fukui) connected Nerima(Tokyo) with the code.


Code for Nerima 青木さん作のデジタルメガネ体験。メガネ新ジャンル、熱い!
I enjoyed the digital eye-glasses by Mr. Aoki. It's hot to create new glasses!


インクルーシブシティづくり、ぜひご一緒に!
Let's create the inclusive city!

点字学習プログラムのつくりかた on IchigoJam
How to make to learn braille on IchigoJam

点字をデータ化する(点字 - Wikipedia
Make the code(number) from the braille (braille - Wikipedia)

?`100000 32

10 00 00 - braille in binary (2進数化した点字) → 32

10 LET[0],32,40,48,52,36,56,60,44,24,28,34,42,50,54,38,58,62,46,26,30,35,43,29,51,55,39 100 K=INKEY():IF K=0 CONT 105 ?CHR$(K) 110 IF K<65 OR K>90 GOTO100 120 B=[K-65] 300 ?BIN$(B,6) 390 GOTO 100

タイプすると対応する点字コードを表示
Show the code by typed character.

300 FORI=0TO5 310 LC 5+I%2*4,2+I/2*4 320 ?CHR$(232+B>>(5-I)&1) 330 NEXT 60 CLS 70 VIDEO3 105 LC5,0:?CHR$(24,K);

点字っぽく表示を工夫してできあがり!(24=特殊キーコード、行削除)
Make up the display to finishi!(24=special key code, delete line)

ひらがなバージョン。
Japanese Kana version.
(RUN on IchigoJam web)

10 LET[0],`100,`101,`110,`111,`011:'AIUEO 20 LET[5],`001,`101,`110,`010,`011,`111,`100:'KSTNHMR 30 LET[12],`010010,`010011,`010110:'YYY 40 LET[15],`0010,`0110,`0111:'W 50 S="AIUEOKSTNHMRYYYW" 100 K=INKEY():IF K=0 CONT 105 ?CHR$(K); 110 N=-1:FORI=0TOLEN(S)-1:IF ASC(S+I)=K N=I:NEXT:ELSE NEXT 120 IF N<0 GOTO100 130 IF N<5 B=[N]<<3:GOTO300 140 K=INKEY():IF K=0 CONT 145 ?CHR$(K) 150 IF N=8 AND K=ASC("N") B=[17]:GOTO300 160 M=-1:FORI=0TO4:IF ASC(S+I)=K M=I:NEXT:ELSE NEXT 170 IF M<0 GOTO100 180 IF N<12 B=[M]<<3+[N] 190 IF N=14 B=[12+M/2] 200 IF N=15 B=[15+M/4] 300 ?BIN$(B,6) 390 GOTO100 60 CLS 70 VIDEO3 105 LC5,0:?CHR$(24,K); 300 FORI=0TO5 310 LC 5+I%2*4,2+I/2*4 320 ?CHR$(232+B>>(5-I)&1) 330 NEXT

ローマ字で打つと対応する点字が出ます。
This program shows in braille by your type in Roman letters.

濁点半濁点などへ拡張してみましょう。容量不足対策はこちら。
Let's make extension versions! If you want to more memory...

?FREE() 362 ?"10 LET[0]";:FORI=0TO17:?",";[I];:NEXT:? 10 LET[0],4,5,6,7,3,1,5,6,2,3,7,4,18,19,22,2,6,7 20 30 40 ?FREE() 480

118byte縮みます。
You can save 118byte.

links
- Programming for Rwandan kids! Open Teaching Materials
- デジタル指点字はじめのいっぽ「数字」の点字表現を体得する読み上げ学習マシーン

大事なことは何回言ったか? UDトークで簡単イベント全文自動書き起こし

2018/03/28
#opendata #codefor 

Code for Shinjuku - SPARQLでマップハンズオン!で初体験したUDトークによる自動全文書き起こし。
Code for NerimaUDトーク青木さんより、データをオープンデータとしていただきました!

おもしろい!


単語をグラフっぽく表示したもの!

自分でも何かやってみようと、解析はじめに形態素解析をしてみようと探してみつけたJUMAN++、600MBの辞書付きですがブロードバンド時代、ダウンロードは一瞬です。

JUMAN++ 早速インストール (for Mac)

wget http://lotus.kuee.kyoto-u.ac.jp/nl-resource/jumanpp/jumanpp-1.02.tar.xz tar xJvf jumanpp-1.02.tar.xz cd jumanpp-1.02 ./configure make sudo make install

動作確認してみます

echo "IchigoJamを食べる" | jumanpp IchigoJam IchigoJam IchigoJam 未定義語 15 アルファベット 3 * 0 * 0 "品詞推定:名詞" を を を 助詞 9 格助詞 1 * 0 * 0 NIL 食べる たべる 食べる 動詞 2 * 0 母音動詞 1 基本形 2 "代表表記:食べる/たべる ドメイン:料理・食事" EOS

半角区切りで、次のように形態素に分解してくれます
0 表層形
1 読み
2 見出し語
3 品詞大分類
4 品詞大分類ID
5 品詞細分類
6 品詞細分類ID
7 活用型
8 活用型ID
9 活用形
10 活用形ID
11 意味情報 未定義語の場合 "品詞推定:名詞" など推定が入ったりする

テキスト化されたものをjumanppに食べさせて、名詞と未定義語を頻出単語順に並べてみました。

1 データ 146回
2 こと 87
3 の 66
4 形 53
5 もの 44
6 オープン 41
7 アプリ 41
8 方 40
9 SPARQL 34
10 ところ 30

データと146回も言ってたんですね!(登場名詞数は700ほど!)

特徴ある名詞や、名詞間の近さなどを使って、重要語のリアルタイム解説とかおもしろそうです。

先日の電脳メガネサミット、書き起こしの第一弾が公開されたので、合わせてどうぞ!
『電脳コイル』の世界は実現可能か? 日本発、メガネ型ウェアラブル端末の“いま”に迫る - ログミー

新宿&品川 SPARQLでマップ! 5つ星オープンデータ x Googleマップ かんたんアプリづくりハンズオン with UDトーク - Code for Shinjuku x Nerima

2018/03/27
#opendata #web #codefor 

オープンデータの真価が発揮される横展開。標準化への道筋はすでにできているので活用しましょう!
Code for Shinjuku x Code for Nerima x Code for Sabae 連携イベント!


主催、Code for Shinjuku 代表、新宿区議 伊藤 陽平さん!
本イベント、なんと、リアルタイム字幕付き!


個人だと無料で使えちゃう、このシステム「UDトーク」開発者で、Code for Nerima 代表、青木秀仁さん!


実際にHTMLやJavaScript、SPARQLクエリーを触っておらうハンズオン。
話している事をリアルタイムにしっかり拾って、字幕表示、スゴイ!
(photo by Code for Shinjuku Naoko Asai)


web発明者ティム氏提唱、日本政府が共通語彙基盤(IMI)として推進する、5つ星オープンデータ
東京都では、新宿区、品川区、総務省統計局が5つ星オープンデータによるデータ提供を行っています。

ハンズオン資料
GoogleマップとはじめてのSPARQLクエリー(プログラム、GitHubにも置きました)
ハンズオンプログラム(サンプルソース)のダウンロード
http://sabae.cc/temp/mapap-tokyo.zip(APIKEY追記、応用例追加)

5つ星オープンデータへのアクセス方法の標準、SPARQL(スパークル)。
主語、述語、目的語で、すべてのデータを整理するというアイデアを押さえたら、あとはいろいろ試すのみ!

こちら応用例として、新宿と品川の5つ星オープンデータから保育園、幼稚園を検索してきてアイコン表示するマップアプリです。
アイコン画像を変えたり、HTMLをいじって文章を足したり、CSSをいじってデザインを変更したりと簡単なところから改造してみましょう!

PC上で試したら、次はぜひweb公開!無料でサイト公開ができるサービス、GitHubがオススメです!
自分の名前が入ったドメインを作成したら、GoogleマップのAPIKEYを取得して、HTMLファイル内の ?key= 部分を書き換えればOK!

GitHubアカウントの作り方と、APIKEYの取得方法
参考:「【2018年度版】Google Maps の APIキー を簡単に取得する – ねんでぶろぐ


UDトーク」懇親会へ向けての相談会話もしっかり拾っています!
早速インストール、字幕化、Code for Sabaeイベントでも、外国の人とのコミュニケーションにも、いろいろ使ってみます!


新宿区でオープンデータを推進する、総合政策部情報システム課長の熊澤さんからも恊働呼びかける力強いメッセージ!


Code for の "C" - 青木さん開発の「声シャッター - ハンズフリー&かんたんカメラ」で撮影

日本の課題は、世界の未来の課題。
「ゾンビ施設」増殖で地方は大変なことになる | 国内経済 | 東洋経済オンライン | 経済ニュースの新基準
年間500校もの学校が廃校になる日本。顕在化していない問題はまだまだ多量にでるでしょう。
それでも前へと進むため、オープンデータとコンピューターパワーを活用しましょう!

2018年度、品川区でも Code for Tokyo 連携オープンデータ推進企画、進行中。
今年は子供の力もプラス!? 品川区ハッカソン「しながわっかそん」の新展開、新連携も楽しみです。

新宿区、練馬区、品川区、大田区、渋谷区、八丈島!
東京のつながり、地方と東京のつながり、まず人がつながり、データがつながる5つ星オープンデータ!

links
- 大事なことは何回言ったか? UDトークで簡単イベント全文自動書き起こし

まちづくりTRPG、SIM石川2030体験会 in 鯖江 - Code for Sabae

2018/03/18
#opendata #sabae #codefor #event 

2016年の勝手表彰で出会ったSIM熊本2030
その派生版、SIM石川2030体験会が、鯖江市めがね会館、jig.jpの本店所7Fセミナールームにて開催!

石川県から運営の方がご来鯖!感謝!


厳しくなる一方といわれる「財政」
そもそも財政とは、市民の共同のお財布。使いみちは市民を代表する議会でチェックするシステム。
少子高齢化で、社会保障費が上がる中、どの事業を残していくか!?
プレイヤーは、架空の市のさまざまな事業を担当する局長となり、局の職員、市民、議員、市長の顔を思い浮かべながら、いかに議会で説明し納得してもらえるかを相談しながら、2030年のまちをみんなで創るゲーム。 人間同士の会話とルールに沿って遊ぶ「対話型」、まさにTRPG


まるで石川県な、架空のI市。お菓子、飲み物を用意して楽しく進めましょう。


市長からの辞令交付からスタート!都市・建築局長を命じられました。


1テーブル6人の局長と、議会役のゲームマスターの7人で進みました。
5年を1単位としたラウンドを3回行い、事業を削ったり、新事業をやるやらないを決めて、議会役へ説明。
説明しきれず否決されてしまうと赤字として、最後のラウンドで精算しなくてはいけません。
人の担当事業だと、厳しいこと行っていると、ラウンド後の人事異動で、その局を担当することになったりと割りとリアルな感じが楽しい。


目の前の事業のことばかり追ったばかりに、気がつけば理想のまちとは程遠いという、ゲームでよかった体験ができます。


最終ラウンドが終わって、やってくる新規事業を創るチャンス!最後にそれぞれのチームから発表です。

各チームの成果物
価値:伝統文化+イノベーション(起業、先端医療)
キャッチフレーズ:文化と魔法のまちI市
事業名:ハリーポッター育成学校
内容・コンセプト:全世界から最先端の技術を学びに子供が集まる全寮制の学校を創る(ボーディングスクール)

キャッチフレーズ:400年後を生きるまち
事業名:400年を振り返る県民総会議
内容:伝統文化に起業への人的支援→物事を作る人が育った

価値:日本が大事にしてきた人らしく生きられる、ベースと農業、伝統が残るまち
キャッチフレーズ:人らしく
事業名:子供、農業教育
内容:農業の価値に気づく

価値:安全・安心に暮らせる福祉の充実(企業立地と学生の働く場+住む所+仕事+おもしろい人)
価値:キャッチフレーズ:Re:Live 〜あなたの人生に合った生き方を〜
事業名:街ing(住宅マッチング事業)
内容:若い人が集まるのは仕事、住む所、面白い人、もの、こと(伝統)、自分に合った人生、人生のリノベーション、住宅と仕事と人をマッチング


あなたのまちの2030年、成り行き任せで大丈夫!?
ランチ会や、飲み会でもライトバージョン、家からちょっとずつ進められるオンラインバージョンを考えてみるのもおもしろそう!

LED2つで文字を読む、子供でも作れる2点式体表点字電脳メガネ

2018/02/20
#codefor #IchigoJam #sabae #maker #megane 

効率優先の大量生産マス戦略から、きめ細かく行き届く少量多品種時代へ。
誰もがちょっとずつがまんして使い、時には使えない人を産むマスプロダクトから、誰にとっても使いやすく誰もが公平に向き合えるユニバーサルデザインプロダクトがどんどん誕生する、多様性ある社会を創りましょう。

字幕や他言語など、アクセシビリティがテーマのひとつ、Code for Nerima
登壇された長谷川貞夫さんによる、画期的な点字リーディングシステム「体表点字」が凄い!
高額になりがちな点字ディスプレイと違って、使うデバイスは2つの振動子のみ。200ミリ秒単位に6点で表す点字を上から順に作動することで人に伝えます。
情報処理学会第4回アクセシビリティ研究会で発表する長谷川貞夫さんの動画公開 | 多様性を育む読書環境をデザインする有限会社読書工房


勢いでつくった、振動子の代わりにLED2灯使った簡易版「体表点字メガネ」試作一号機。
バーサライタのように、タイミングがとれた信号を見ると脳内に自然と点字が浮かびあがってきます。

プログラムづくりの前にデータづくり。点字を使いやすい数に変換しておきます。
6点の点字で表すアルファベット、上から順に横に数えて、6bitの数にしたものがこちら。

ABCDEFGHIJKLMNOPQRSTUVWXYZ 32,40,48,52,36,56,60,44,24,28,34,42,50,54,38,58,62,46,26,30,35,43,29,

これをIchigoJam BASICの配列を使って、まずはA〜Zまで順に流してみました。

1 'TAIHYO-TENJI A-Z 10 LET[0],32,40,48,52,36,56,60,44,24,28,34,42,50,54,38,58,62,46,26,30,35,43,29,51,55,39 15 OUT3:WAIT60:OUT0 20 FOR I=0 TO 25 30 WAIT60:N=[I]:?:?CHR$(65+I) 40 O=N>>4:GSB@W 50 O=N>>2:GSB@W 60 O=N:GSB@W 80 NEXT 90 GOTO10 100 @W:OUT1,O&2:OUT2,O&1:?BIN$(O,2):WAIT6:OUT0:WAIT6:RTN

点字を画面にも表示しています。指で認識しやすいような工夫が見られます。
(RUN on IchigoJam web)

体表点字とするためのデバイスを準備します。

電脳メガネ化するためにコードをのばして、LEDをはんだづけ、根元は4ピンのピンヘッダーにはんだづけしてホットボンドです。 (今回使ったIchigoJamは、NextStepさんのKumaJam!)

繰り返し見ていると、だんだん慣れてくる体表点字。モールス信号が左脳式シリアル信号だとすると、体表点字は右脳式パラレル信号な次世代モールス。大きなパフォーマンスアップが期待できそうです!

振動モーターをFET、モータードライバ、MapleSyrupにつないだり、サーボを2台使うのもいいかも。 鯖江産ウェアラブル対応めがね、neoplugを使うと、取り外し可能な体表点字デバイス化の実現も簡単です。

点字、ものにしてみませんか?
Braille for All - 点字をみんなのものにするプロジェクト

下記イベントで体験いただけます。

2018.2.22開催「電脳メガネサミット
2018.2.24開催「こどもプログラミングサミット

links
- ICT時代だからこその「ヘレンケラースマホ」(1/4):NICT
- 点字ファイルをユニコード点字に変換するプログラム
- 点字リーダー 一日一創2012
- 点字ライター 一日一創2012
- 2進数とプログラミングで解く点字 - IchigoJam

オープンデータでもらえる検索、みんなで育てる鯖江AIスピーカーづくりスタート - 鯖江第4期コーポレートフェローシップ成果報告会

2018/01/30
#opendata #sabae #codefor 

「障がい者に寄り添うオープンデータの活用」をテーマにした、鯖江市第4期目となる「Code for Japan コーポレートフェローシップ」成果報告会。

3ヶ月間の本事業、昨年11月の市役所のヒアリングから始まり、11/20アイデアソン、1/14ハッカソンと開催され、本日成果発表を迎えました。

「やるなら名高い所で」うれしい話。福井国体、障スポは2018年今年開催、オリパラも2年後に控え、誰にとってもやさしいオープンデータ整備の先駆けとしていいタイミング!


フェローからの提案
- オープンデータによる広報
- 多様な障がいと個別に向き合い技術で解決を探る
- 心のバリアフリーまずは職員から!


ハッカソンの様子、地元ケーブルテレビ取材を受け、放送&ネット視聴が可能です。
鯖江市、牧田さんからのコメントも!


もらえる検索(鯖江編)
オープンデータによる広報の一環、障がい者への支援、給付金のオープンデータが公開され、その検索アプリ「もらえる検索(鯖江編)」ができました。 ベースとなった「もらえる検索」を鯖江特化にし、より一段細かいカテゴリーで絞りこめるようにしています。


富士通 デジタルフロント事業本部 デジタルイノベーター推進統括部長の半田さんにもお越しいただきました!
デジタルイノベーターは今年も500人増とのこと!スゴイ!


なんと西山公園道の駅にしゃべるレッサーパンダくんが居ました!
「ぼくにはなしかけて!まねっこするよ♪」トコトコ歩くのもかわいい!
アイデアソンで登場した「おたすけパンダPちゃん」の実現にぴったり!


早速、Hana道場で分解されるレッサーパンダくん


マイクからの録音しピッチを上げて再生、を繰り返すコンピューターと電子回路が出てきました。
スピーカー、マイク、トコトコモーター回路を活かす形で、改造すればできそうです!


鯖江市長とがっちり握手!


おつかれさまでした! at 鯖江市役所 情報統計課

links
- CodeForJapanコーポレートフェローシップ事業|『さばえ.jp』百さんのブログです
- 富士通 x 鯖江市 x Code for Japan! 障害者をテーマにスタート「第4期コーポレートフェローシップ in 鯖江」とPython3で市役所スクレイピング
- 障がいをテーマにアイデアソン! コーポレートフェローシップとアイデアソンお助けアプリ
- 音声認識AI窓口、AI移動支援のプロトタイピングと筋ジストロフィー - 障がい者に寄り添うハッカソン

音声認識AI窓口、AI移動支援のプロトタイピングと筋ジストロフィー - 障がい者に寄り添うハッカソン

2018/01/14
#sabae #codefor #opendata #maker #python #AI 

鯖江市の第4次障がい者計画「あるがままに 自分らしく いきいきと ともに暮らせる まちづくり」
障害の理解と、課題に対するアイデアソン、ハッカソンなど、継続的なものづくりがポイントです。

Code for Fuchu連携で、COTTONさくらんぼの岩間由里子さんからも情報提供。 筋ジストロフィーで手足に障害があり、2cm四方を範囲としたスライドと押し込み動作だけで使えるスマホを熱望。オープンデータ化と、使う人に合わせたアプリの横展開、必須ですね!

実際に、指一本でスマホ操作にチャレンジしましたが、指を画面から離せないという条件は厳しく、通常操作が無理でした。 調べるとiPhoneの3Dタッチなど、タッチパネルの力のかけ具合は、mouseforce系のAPIをブラウザ上で取得もできるので、いろいろ実験してみたいと思います。
iOS9で追加されたForceTouch(3DTouch)をJavaScriptで操作してみる | WebDesign Dackel
また、日本筋ジストロフィー協会でも「ワンキーマウス試作報告」の事例が掲載されていました。


主催、Code for Japan コーポレートフェローシップ、鯖江市臨時職員三ツ山さん(富士通)

アイマスクをつけてアイデアソン。
目に優しく、耳が研ぎ澄まされ、隣のテーブルの会話もよく聞こえちゃいます。
声でジャンケンして、ファシリテーターを決め、アイデアのディスカッションスタート。 まとめるための紙が使えない点が心配でしたが、みんな条件が同じなので、ひとつひとつ整理して進める意識を共有できて意外といい感じです。

つづいて、障害体験。高齢者シミュレーショングッズを借りて、重りをつけたり、膝の動きを制限する器具を付けて歩き回ってみます。 普段の何でもない生活の難易度がアップするので、刺激が欲しい人にもオススメです!

制限された視野をシミュレートするメガネ。

アイマスクをして、杖をもって点字ブロックを辿るチャレンジ。
センサーやGPSをつけた、IoT白杖をお互いつくって、難易度高いコースで対戦などできると楽しそう。

「Webアプリはじめのいっぽ」でHTMLの基本を覚えて、ハッカソンタイム!

WebRTCを使って、世界中どこからでもサポートできる!(featuring SkyWay
スカイボイス

アイマスクとスマホを装備をして自販機での買い物チャレンジ!

先のアイデアソンで登場した「おたすけパンダ」と「Pくん」の実現、AIチャットによる市役所窓口デモ。
おたすけパンダPくん

鯖江市も公開した、給付金オープンデータによる質問応答機能のデモに加え、音声認識と音声合成を使った窓口も実験。

Google Cloud Speech APIを使うと、高精度な音声認識が簡単に実現できます。
1回(15秒)$0.006(=約0.6円)の有料APIですが、1ヶ月60分、最大240回まで無料で使えます。
APIKEYを取得してみましょう。

とりあえず、音声認識とそれに対する回答するシンプルなデモスクリプト aichat.sh for Mac を作成。
(参考、GoogleのSpeech APIを使ってみた - Qiita

read -p "hit to start" rec --encoding signed-integer --bits 16 --channels 1 --rate 16000 test.wav ffmpeg -y -i test.wav -ar 16000 test.flac echo -e "{\n 'config':{\n 'encoding':'FLAC',\n 'sampleRate':16000,\n 'languageCode':'ja-JP' \n }, \n 'audio': { \n 'content': '`base64 test.flac `' \n } \n }\n" > sync-request.json curl -X POST -H "Accept: application/json" -H "Content-type: application/json" --data @sync-request.json https://speech.googleapis.com/v1beta1/speech:syncrecognize?key=【APIKEY】 > response.json python3 talkresponse.py ./aichat.sh

* rec は、音声操作ツール sox に含まれます

音声認識結果 response.json から、認識した文字列を読み取り、会話するプログラム talkresponse.py for Python3 がこちら。(Open JTalkをimportしてます)

# coding: utf-8 import jtalk import sys import time import json import urllib.request cnv = { "おはよう" : "おはようございます", "今日の天気は" : "たぶん晴れです", "こんにちは" : "こんにちは", "がんばって" : "がんばる!", "かわいい" : "ありがとう", "ありがとう" : "どういたしまして", "免許返納について教えて" : "つつじバスとか確かお得に乗れるよ。詳しくは鯖江市のサイトを見てね", "読み書きが苦手です" : "読み書きの苦手なお子さんの相談講座が、3月11日にありますよ", "プログラミングを勉強したい" : "イチゴジャムがオススメ!ハナ道場へどうぞ", "うまいもの" : "サバエドッグ", "甘いもの" : "冬のかんみといえば、みずようかん!", "鯖江のうまいもの" : "サバエドッグ", "鯖江の美味しいもの" : "サバエドッグ", # "鯖江商店街、ミート・アンド・デリカささきの、サバエドッグ", "鯖江と言えば" : "メガネ!鯖江駅から徒歩10分、めがね会館へどうぞ!", "鯖江市長の名前は何ですか" : "まきのひゃくおです", # 写真でるといい } def a(): with open('response.json', 'r') as f: data = json.load(f) s = data['results'][0]['alternatives'][0]['transcript'] print(s) # 認識できた文をとりあえず表示 for t in cnv: if t == s: jtalk.jtalk(cnv[t]) # 対応する回答があった! return if s.endswith("て"): jtalk.jtalk("わかった!") # todo ちゃんとやってあげるプログラムを書く return jtalk.jtalk("ごめんなさい!よくわからないから勉強しておくね。") # todo わからなかった質問を記録しておき、しかるべき人に通知するプログラムを書く a()

とりあえず、いい加減なAIができました!

オープンデータを学習させて、文脈に応じた回答を考えるなど、おもしろそうです。
音声認識&音声合成部分を切り出したデバイスにするために必要なメモリ量は、16kHz、16bit、15秒で約469KB。 ちょっとメモリ大きめのマイコンがあれば、いけそうですね!

ハッカソンの様子が公開されました!

Tweet
クリエイティブ・コモンズ・ライセンス
この作品は「Creative Commons — CC BY 4.0」の下に提供されています。
CC BY 福野泰介 - Taisuke Fukuno / @taisukef / high-res profile image