本日の「CyberValley, Japan」、データは「はかったもの」と説明すると分かりやすいことを発見。

コロナ対策ダッシュボード」でいつの間にか人気ページとなっていた、Google社による都道府県別予測データ表示アプリ

スマホのGoogleマップなどで測られた人の移動データと、各都道府県が計って、厚労省が集計したコロナデータ。 これらを元にGoogle社が予測モデルを設計し、コンピューターで計算した予測データは、どの程度当たるのか興味があったので、発表当時からのデータを収集し、オープンデータ化、予測と結果を表示アプリを公開しています。

COVID-19 Japan 都道府県別 感染者予測と結果
2020/12/18予測の東京、後半の増加は予測されていた以上となりました。
今回、Twitterでご要望いただき、日別の新規患者数結果のバーグラフ表示を追加しました。赤の新規患者数は左軸、青の現在患者数は右軸をご覧ください。


東京の予測は現状の2万人から7万人にもなる予測・・・。こうなっては大変です。


2020/12/18予測の福井、後半予想を上回る感染者が出ました。


福井のこれからは、減少傾向という予測。この予測を下回るくらいでいきたいですね。

いろいろ、はかろう!

黒が目立つ新型コロナウイルス対策ダッシュボード、黒になった後の都道府県に非常事態宣言が出されているので、先行指標として機能してそうです。

黒からの回復の条件は2つ、患者数の減少か、対策病床数の増加。対策病床としては、対策病床数と宿泊療養施設を含めています。これらの数の推移を患者数と合わせて追えるアプリを作りました。
対策病床数推移(厚労省オープンデータ)東京版
8月後半に増加して以来、病床も宿泊療養施設も増やしてはいないようです。


対策病床数推移(厚労省オープンデータ)福井版」 福井県、抑えられています。お住まいの都道府県のチェックをどうぞ。

政府提供オープンデータAPIポータルについて書いたところ、6つ挙げた課題の内、API一覧と元データの明示の2つが解消。 エラーとなるAPIはそのままでしたが、明示されたCSVをダウンロードし、神戸市の三宮歩行者数データをグラフでビジュアライズするアプリを作りました。

三宮歩行者数推移(神戸市オープンデータ使用)」(データ5M、表示まで時間がかかります)
4月の緊急事態宣言後、じわじわと歩行者数が増え、10月以降はほぼ元通り、年末年始でも大きな減少は見られません。


9箇所の設置場所、それぞれを見ることができます。1時間ごとのデータは重いので、前処理して軽くする。特定時間だけで見るなど、プログラムや、ソフトウェアでうまく解析するといいでしょう。 オープンソース on GitHub です。ご自由に活用ください。

登録とAPIキーが必要なオープンデータAPIポータルに代わって、全件CSVで自由にアクセスできるように環境を作ってみます。 3時間置きに全データを取得し、UTF-8のCSVデータとして、GitHubにアップし、公開するようにしました。

オープンデータ一覧」(CSV on GitHub)
オープンデータとして公開されているCSVファイル、文字コード(charset)が、SJISかUTF-8か2種類あるところが注意です。


SJISのCSVを読み込んでしまうと、このように文字化けします。BOM付きのUTF-8のCSVがスマホのブラウザで直接読んでも、Excelで開いても文字化けせずオススメなのですが、なかなか現状の習慣を変えるのは大変そうです。 人が変わらないなら、ソフトウェアで変えましょう。コンパクトな文字コード変換、SJIS.js を作りました。

import { SJIS } from "https://code4sabae.github.io/js/SJIS.js"; const bin = // some Uint8Array const s = SJIS.encode(bin); // or SJIS.encodeAuto(bin) console.log(s);

これだけでOK!
TextEncoderが使えないサーバーでもブラウザ上でも使用可能です。75KBとそこそこコンパクト。

import { CSV } from "https://code4sabae.github.io/js/CSV.js"; const s = await CSV.fetch(url);

ついでに、CSVのfetchで、SJISかどうかを自動判定するようにしました。
もう、CSVなら何でもokです!


あいづ呑んべぇ文化支援プロジェクト - api.opendata.go.jp
前回作成のアプリと見た目は変わりませんが、データソースが違います。


あいづ呑んべぇ文化支援プロジェクト - データセット - DATA for CITIZEN
今回はデータ提供元である、会津若松市のオープンデータのホスティング先、Data for CITIZENから直接取得する形としています。

すべてデータ出典元から取れればいいかというと、実は更に課題が2つあります。

1. CORS対応していないことがある。
オリジン間リソース共有 (CORS)はブラウザからドメインを超えてデータを取得できる仕組みです。 ただ無尽蔵に取得できるようにすると、意図しないアクセスが発生してしまうので、データ所有者による他のドメインから取得できるような設定が必要です。具体的には、こちらのような感じです。

HTTP/1.1 200 OK Date: Mon, 01 Dec 2008 00:23:53 GMT Access-Control-Allow-Origin: *

2. SSLが古く取得できないことがある。
セキュアな通信を実現するいわゆるSSLは、現在TLS1.3です。ただ、セキュリティに課題がある古いTLS1.2を使っている自治体がまだ存在します。 TLS1.2で提供されるデータを取得しようとするとエラーが発生して取得できないことがあります。セキュリティとして意味をなさないので、早急にデータ提供元の対応が必要ですが、しょうがないのでセキュリティを落として取得する形にして対応しています。

もし、上記2点がクリアになれば、現存のオープンデータAPIポータルも、今回の3時間置きアップシステムも必要なく、単純にCSV一覧のみがあればいいだけとなります。
システムは必要なく、普通にwebサーバーにCSVファイルを置くだけでいいので、低コスト!

結論、CSVオープンデータではじめて、5つ星オープンデータにしましょう!

寒波による秋田県で大規模停電。東北電力の停電履歴(1/7,8)がすごいことに。 電気は大事なインフラ、復旧までにどのくらい時間がかかるのかウォッチしようと、オープンデータを探すも提供はなし、ウェブサイトのデータの利用も事前承諾が必要とのこと(停電情報・留意・免責事項|東北電力ネットワーク)。 こちらは別途、お願いすることにして、気象庁の警報・注意報をまとめてみました。

WARN Japan 気象警報ダッシュボード
気象庁 | 気象警報・注意報」からリンクされている全国各地の情報を約10分置きにチェックして、CSVデータとしてまとめ、GitHubにアップしています。 もちろん、手動ではなく、JavaScriptでプログラムしたソフトウェアくんにがんばってもらっています。(src on GitHub)


気象庁警報注意報CSVオープンデータ(非公式2次加工)
全国の地域別の警報、注意報を扱いやすいCSVデータにしています。どうビジュアライズするかは、活用するみなさま次第! データ活用や、始まったばかりの「WARN Japan 気象警報ダッシュボード」へのコントリビュートなどを通じて、データに強い国、日本を作りましょう!

各都道府県と厚生労働省からデータを集約することと扱うデータがセンシティブなので、学生が参加するにはちょっと敷居が高いかもしれませんが、こちらはシンプルなので参加しやすいはず。 高専生の方「2021年冬jig.jpインターンプログラム」でも腕試ししてみませんか?


めがね会館前の雪景色!

GitHubが活躍した1年でした。経済産業省も全角半角や法人番号などのモジュール「IMI Tool Project 」としてGitHub公開。そのたぶん第二弾「Digital Service Playbook」をハックします。


経済産業省 Digital Service Playbook 参照リンク一覧
本文章作成に参考にされたリンクを抽出し、CSVオープンデータ化、検索できるアプリとしました。


経済産業省 Digital Service Playbook 0.9.0
経済産業省DX室のメンバーによる、デジタルサービスを生み出すうえで大事にしていることが詰まったドキュメント。


meti-dx-team/METI-Digital-Service-Playbook
まずは、GitHub公開というオープンな第一歩がうれしい! 次はより使いやすく。PDFからMarkdownなど、オープンデータ同様、レベルを上げていきましょう。 章別データとして分かれていると、プルリクなどの修正もしやすく、いろいろ活用の幅が広がります。

links
- 福井県長期ビジョン オープンデータ | vision on GitHub

内閣官房IT室による「Open Data API Portal」が発表されたので、緯度経度付きのデータ「あいづ呑んべぇ文化支援プロジェクトのAPI」を使って、簡単な地図アプリにしました。

あいづ呑んべぇ文化支援プロジェクト - api.opendata.go.jp」(src on GitHub)
Open Data APIは、ユーザー登録し、APIKEYの取得が必要な、REST APIで、アクセスするとJSONが返ってきます。APIKEYは秘密にする必要があるため、HTML+JavaScriptで書くwebアプリに直接入れるわけにいきません。全APIをアクセスし、CSVとJSONにするプログラムを作って、クママップのCSVを地図化するタグと、CSVを検索可能な表にするcsv-viewerタグを使って作りました。


あいづ呑んべぇ文化支援プロジェクト - api.opendata.go.jp」(src on GitHub)
ピンをタップすると他の項目を見ることができます。いろんなサービスがありますね!それぞれお店のURLもあるとうれしいところ。


APIからCSV/JSONを作成する download.js の他に、apikey.txt を設定し、opendataapi.js を起動すると、APIKEYをつけてアクセスしてくれるプロキシーツールも作りました。

$ deno run -A opendataapi.js

として起動し、localhost:3002 に対して、apikeyなしにアクセスするとJSONが返ります。お手軽!


APIKEYは「Open Data API Portal」でユーザー登録し、アプリを登録し取得します。

感想
なぜ、独自APIの3つ星オープンデータなのか?
なぜ、情報共有基盤 imi.go.jp を使った、5つ星オープンデータではないのか?

課題
1. 安心して使えない

どなたでも無料でご利用いただけますが、サービスの品質や可用性、提供期間などについて一切の保証はありません。(このサイトについて
本サービスの運用上必要と判断した場合には、登録者のAPIキーの利用に一定の制約(アクセス回数、アクセス時間の制限等)を設けることがあります。(利用規約 サービスの変更、制限等 第11条2

2. 独自API
単純なユーザー登録、APIKEY、JSONが返ってくる独自API。データ活用をすすめるべくアクセスしやすさ、質が求められている今すべきは標準語彙の使用。APIを用意するのであれば、標準API、SPARQLを使ってほしかった。

例、項目名がURLではないところ。共通語彙基板でもschema.orgでもなく、同じコロナの患者データであっても共通化されていない。

3. APIが貧弱
単純な全件取得しかできない?CSVをわざわざAPIにする意味がない。

最初の試みとして、地方公共団体(10団体)が公開している新型コロナウイルス感染症関連のオープンデータ(CSV ファイル)をWeb API 化し、集約して公開しています。これによって、オープンデータの見つけやすさ・使いやすさを向上し、活用が促進されることを目指しています。 (「オープンデータAPIポータル」を開設しました | 政府CIOポータル

4. API一覧をAPIで取得できない
APIs | Open Data API Portalから人の手でたどるしかない。

オープンデータの見つけやすさ、使いやすさを向上し、活用を促進することを目指しています。(Get Started | Open Data API Portal
公開されているリストを手作業でまとめた、CSVを作りました。現時点で取得したCSV/JSONのURLを記載したCSVを生成し、一覧 api.opendata.go.jp 表示アプリを用意しました。
→ 2021.1.5 一覧取得API追加されました

5. 元データが明示されていない

元のCSVファイルも引き続き利用可能(Open Data API Get Started
APIの説明に、元となるCSVファイルの明示、最終更新日、更新頻度が公開されていない。ちゃんと使うなら、元CSVファイルを使ってほしいということ??
→ 2020.12.26 明示され、取得時に元ファイルにアクセスと追記され、解決しました

6. エラーになるAPI
三宮エリアの人流データ解析に使用している人流データ」に、アクセスするとエラー
「{"fault":{"faultstring":"Hosted target error","detail":{"errorcode":"messaging.adaptors.http.flow.HostedTargetError"}}}」
定期的な生存確認などがあるといい。

UTF-8 CSVオープンデータで始めて、標準語彙やschema.org、SPARQL APIで活用を!

links
- 我慢の年末年始の人通りは減ったのか?神戸市歩行者数オープンデータのグラフ化と国営オープンデータAPIポータルの意義

高専機構の環境報告書2020が紙で届きました。
低炭素で持続可能な社会をいかに創るか、その報告に紙が使われてしまうのが悲しいです。
全大学が作成する環境報告書、そのすべてが何百部か印刷されていることでしょう。

どの大学が一番温暖化ガスを削減したか、データで比べてみたい時、すべての報告書を見てピックアップするしかありません。もし、オープンデータで整った形式で機械的に取得できれば、コロナ対策ダッシュボードのように一目瞭然です!

ぜひ環境報告書オープンデータを高専から!


高専初の「環境報告オープンデータ」で、環境報告書をDX!

温暖化対策、高専としての今年度目標達成を確認しました。気象庁(*1)によると世界の平均気温は1890年から100年あたり0.74℃ペース、1990年後半からはそれを上回るペースでの上昇が続いています。高専における削減目標が、京都議定書後継のパリ協定(*2)で約束した日本の温室効果ガス削減目標、2030年に2013年比で26.6%減、産業部門で6.5%減(*3)と整合性あるものとを確認しました。

一方、環境関連科目数の増加にも関わらず、共同研究数や受託研究数が減少傾向である点から、地域における高専とのミスマッチを感じました。南北に長い日本の環境問題対策は、地域内での連携が重要ですが、本報告書で示されるデータからは地域差を確認することができません。そこで、地域と高専との連携を強める「環境報告オープンデータ」を提案します。これは環境報告書を作成するために使用する各拠点の各種データをCSVオープンデータ化し、環境報告書と合わせて公開するものです。

「環境報告オープンデータ」は、印刷を主目的とした検索性に乏しい紙ベースのPDF報告書を、コンピューターで処理しやすく二次利用するためのルールを明確にしたオープンデータを中心としたデジタルファーストに改めます。オープンデータは事前申請不要で、表計算ソフトですぐに閲覧・検索・加工・公開できるため、小中学生の調べ学習や、環境問題に関心高い近隣の企業・行政・住民による活用が期待できます。また、高校の情報で必修化されるレベルのプログラミングでwebアプリ化(*4)することも容易なため、各高専生が自分の学校のデータを使ったゲームづくり、実験検証などにも活用可能です。

最も省エネな高専はどこか?削減率ナンバーワンの高専はどこか?その要因は何か?その地域の気象変動の影響はどの程度か?どの施策がどう程度効いたのか?環境報告オープンデータは、全国55拠点を使った多様なチャレンジと、更に付加価値高いデータを生み出すきっかけとなります。

また「環境報告オープンデータ」が他の学校・行政・企業でも行われることで、地域間・同業種間との比較・可視化・分析が自動化され、日本全体の環境問題への取り組みを加速できます。現在、高専・大学・企業・行政から出される環境報告書は、PDFとしてダウンロード・閲覧できますが、さまざまな形式の表・グラフから目的の数値をすべて抜き出すのは大変な手間がかかります。

高専発の「環境報告オープンデータ」を、ものづくり好きな小中学生や現役高専生に対する環境問題への関心を大いに高め、世界に貢献する高専へと成長するきっかけにしていただければと思います。

*1 気象庁 | 世界の年平均気温
https://www.data.jma.go.jp/cpdinfo/temp/an_wld.html
*2 今さら聞けない「パリ協定」 ~何が決まったのか?私たちは何をすべきか?~|広報特集|資源エネルギー庁
https://www.enecho.meti.go.jp/about/special/tokushu/ondankashoene/pariskyotei.html
*3 2015年(平成27年)7月17日 地球温暖化対策推進本部決定
https://www.kantei.go.jp/jp/singi/ondanka/kaisai/dai30/yakusoku_souan.pdf

*4 2015年 日本の約束 部門別の温室効果ガス削減目標オープンデータのグラフ化
https://fukuno.jig.jp/2976

温室効果ガス 削減目標 - 2015年 日本の約束草案より


リサイクル適性A - 紙の製造、印刷、冊子化、輸送、再利用処理、合計消費エネルギーと資源はどのくらい?データで見て、一歩一歩、理想の社会に近づけていきましょう。SDGsにもシビックテック!

links
- その他施設等に係る情報公開 - 高専機構(環境報告書2020 PDFで読めます)

こどもも大人も一緒に楽しい「こどもロボコン」

越前がにロボコン」は、福井県情報システム工業会の30周年記念イベントとして2017年スタートし、総務省地域ICTクラブ事業で加速、世界大会を目指して、こどもプログラミング実業団による拡大と、横展開を画策中。

システムはオープンソース、ルールや素材もオープンデータなので、ライセンスフリーでどなたでもどの地域でも手軽に始められます。


Kanirobo Course VR」(src on GitHub)
オープンデータとして公開されているコースの画像。適度な大きさに縮小して、画像をテクスチャーとして a-plane に設定。コースできました!高さは長机と合わせて0.7m。


Kanirobo Course VR」(src on GitHub)
激レアメタル、レアメタルも仮配置。越前がにロボコンのコースの作り方を見て寸法を入れればすぐにVRで再現できてお手軽!配置するだけなら、JavaScriptも使いません、HTMLだけでできて楽しいですよ!


魚津市長へ提案、カニロボコン in 富山、即「やりましょう!」いただきました!


魚津市「紅ズワイガニ」参戦!福井・石川・富山、日本の西海岸で繰り広げられるプログラミングeSports「かにロボコン」、いよいよ世界大会開催へ! – about yrm
市長もプログラミング!日本の西海岸、Cyber Valley


地域で生まれるプロダクト、オトナとコドモの秘密基地「IchigoBase」福井にオープン! – about yrm
福井駅前、祝、IchigoBaseオープン!福井銀行本店含め、福井市にも楽しいものづくりスポット広がっています。


PCN福井 新製品発表会
2020.12.27、今年最後のイベント。松田さんによる講演「全部IchigoJam BASIC! プログラミングでSTEAMな学びBOOK」、「ミニ こどもプログラミングサミット 2020」も開催。鯖江商工会議所1Fのステキ会場、SCCへどうぞ!

鎌倉幕府成立前、平安時代の終わりを決めた「壇ノ浦の戦い」の地、下関。

ここが835年前の歴史的戦いの場、壇ノ浦!現地に来ると興味が出てくるのが不思議です。


れきし乱マップ
そこで、クママップ緯度経度データ付きCSV表示のマップ表示コンポーネント map-gsi-csv.jsをアップグレードして使用。


れきし乱マップ
源平の戦いこと、「治承・寿永の乱」の戦いの地は福井にもありました。戦いの地「乱CSVオープンデータ」には2件しか入れていませんが、歴史好きの方ぜひ、追記ください。


設営完了!いいロケーション!


Oculus Quest 2を実験するのにもいい広さ!VRや、MRでその場での壇ノ浦再現も楽しそう。


さすが、PFUのHHKB、MacBookのキーボード上に敷くアクリルボードが便利とのこと!


高専生、工学系大学生の楽しい集い、1泊2日のハッカソン、スタート!


技術の無駄遣い、よいテーマ!


会場、uzuhouse


1F、2Fはステキカフェ


おいしいサルサなパンとコーヒー


赤間神宮、ハッカソン会場のすぐ向かいでした


壇ノ浦を望む、赤間神宮の水天門


別角度から


下関市役所、発見!


新幹線、新下関駅


新下関駅、構内


佐々木小次郎 vs 宮本武蔵、巌流島もここ!

二度目の参加、一般社団法人九州ニュービジネス協議会主催「第20回九州・大学発ベンチャー・ビジネスプランコンテスト(最終審査会)」。前回のNICT賞はIoT x 放牧養豚の「Pioneer Pork by 宮崎大学の有方さん」。起業家甲子園で審査員特別賞を受賞、起業し、おいしい豚肉の販売が始まってます!(Pioneer Pork)


九州のチカラここに集結!昨年度より、全国へのもうひとつの道NICT賞、新設!


観客はなし、オンライン参加も含め、配信も合わせたハイブリッド開催。


九州のチカラここに集結!


NICT賞として選んだのは「有明高専チーム」


「Wall Art Online - 新時代の「巣籠り生活」を促進する住宅コンサルティングビジネス


ディスプレイデバイスメーカーと住宅メーカーをつなぐ「Wall Art Online」
テレワークが広がる中、家に最高の就業環境を作ってしまうニーズ、増えそうですね。


ターゲットは新築計画中の世帯年収600万円程度の30-40代子育て世代とのこと。


福岡県、有明高専の寮がある熊本県荒尾市の浅田市長は、なんと有明高専出身!
本プランの実現に向けた、地元の企業との連携を含め、コンテストの結果に関わらずやる意思!

まず荒尾市で展開を考えた場合のマーケティングデータをオー���ンデータから探してみます。


熊本県荒尾市GDP
荒尾市の「市内総生産」オープンデータ(2011年度)を使って、分野別のGDPを円グラフ表示するアプリを作成。単位は億円に合わせました。サービス業の内訳や分野別の就業人数がわかると、分野ごとの生産性を計算でき、具体的な提案に繋げられそうです。福井県や、鯖江市でもデータ探してみます。


まずは、Excel形式のオープンデータを、CSVへと加工します。


arao_fukuoka.csv
CSV UTF-8で保存、すっきりシンプルになりました!汎用的な形式にしたので、人口データも加えておきます。UTF-8のCSVならスマホでも読めますよ!


コロナだけじゃないリスク、インフルエンザは減っているか?福岡市オープンデータ編
福岡市のインフルエンザオープンデータ、相変わらずほぼ0更新が続いていました。全国でも57件、昨年同期間77,425件の1300分の1!
全国インフルエンザ報告数(厚労省)
インフルエンザをほぼ0に抑え込んでも広がってしまう、COVID-19、恐るべし。ニューノーマル、創りましょう!


北九州高専、なんと校長先生が応援にいらっしゃってました!しかも、本江校長、富山高専のOB!


工場内の悩みをIoTとロボットとARで解決するプランを発表する北九州高専生!自分たちで実際作って試すのが一番ですね。


応援にかけつけた有明港先生達、最年少は2年生!全国に向けて気合充分!


歴代受賞者によるトークセッション。有明高専の指導教員、野口さんもなんと本コンテストのOB!起業経験を持った、母校高専の教員とはステキすぎる環境!Pioneer Porkの有方さん、熱いメッセージが最高でした。


会場外にはLEDのクリスマスツリー(めがね会館でもやりました


博多駅B1Fで食べたかった水炊きを、19:30の終電まで残り30分で食べ、余った10分でお土産購入。(256人を超えるいいね!


また来ます!

Tweet
クリエイティブ・コモンズ・ライセンス
この作品は「Creative Commons — CC BY 4.0」の下に提供されています。
CC BY / @taisukef / アイコン画像 / プロフィール画像 / RSS