#go / 福野泰介の一日一創 / Create every day by Taisuke Fukuno

緯度経度やGeo3x3の用に、地球上の場所を表す方法「ジオコードシステム」はいろいろあります。地理院地図でも参照可能な「場所情報コード/uPlace」を調べて実装、緯度経度地図に組み込みました。

「緯度経度地図」
マップを動かすとリアルタイムに緯度経度、Geo3x3、uPlaceが変わります。uPlaceは約3m単位で論理場所情報コードで表示しています。Geo3x3はこの地図での細かさに合わせてlevel20としています。

uPlace 場所情報コードは2種類あります。
1. シリアル付き場所情報コード、細かい緯度経度と所有者をデータベースに登録申請できます
2. 論理場所情報コード、申請不要で緯度経度と高さ情報で生成できます（精度約3m）

ブラウザとDenoで使えるESモジュールとして実装したので、下記のように簡単にエンコード、デコード可能です。(src on GitHub)

import { uPlace } from "https://taisukef.github.io/uPlace/uPlace.js"; const code = "00001B000000000309DF3925687B1D00"; const pos = uPlace.decode(code); console.log(pos); const code2 = uPlace.encode(35.942729, 136.198835, 8); // めがね会館8F console.log(code2);

3m精度で建物の階数指定できるので郵便や配達などにも便利そうです。

uPlaceは128bit/16byte/16進法32文字の ucode system の一種。場所情報コードの仕様書を元に実装し、deno test でテストできるテストコード uPlace.test.js も書いたので割とちゃんと動きます。（参考、テスト駆動開発(TDD)で安心、JavaScriptプログラミング！Denoでwebアプリ開発編）

下記、uPlace.js内デコードする部分のJavaScriptのコードです。JavaScriptでのビット演算は32bitまでなので、緯度経度部分を分割するひと手間かけてます。

32文字の固定長で長いプリフィックスがあるので、他のコードと間違いにくいところが結構いい感じです。大まかに示したり、より高い精度で示すことはできないので、そんな場合はGeo3x3が便利です。位置情報、DXしましょう！

2021/5/12、UNVT（国連ベクトルタイル）ワークショップ日本語版開催！
「UNVTワークショップ日本語版　公開録画 | 512」

CC0にしたGeo3x3、より使ってもらえるためには、いろいろなプログラミングへのサポートが大事かも？サポート言語を一気に14言語まで増やしました！

JavaScript / TypeScript / C / C++ / C# / Swift / Java / Python / Ruby / PHP/ Go / Kotlin / Dart / Rust で、使えます！
それぞれの言語の学習サンプルとしてもご活用ください。

「Geo3x3 - src on GitHub」

「CyberValley サイバーバレーは、E379219」
2.26金曜日18:30-、サイバーフライデーとして、鯖江商工会議所 SCC B1Fでミートアップ！
コンピューター好きのみなさん、ぜひどうぞ！

金沢と言えば金箔！国内生産シェア99%と、鯖江近辺のメガネ以上！(* 金沢箔技術振興研究所より)

金沢駅内のお店「カフェ・アルコスタツィオーネ」で買える金澤箔ソフト！銀箔もシェア100%！

そんな金澤の金箔に危機が！？

〜ミッション〜
ある日、金沢で金がとれなくなってしまった！
正義の味方「加能ガニロボ」よ！月まで行って金をとって来てくれ‼
（加能ガニロボットコンテストルールより）

ということで、金沢の将来、こどもの手にかかってます！

参考に、こちらは福井県福井市で開催された、越前がにロボコン2019での、高学年部門、決勝動画！

カニだけに横展開して、今年は金沢でも開催、加能ガニロボットコンテスト！
本日の実行委員会にて、ロゴデザイン、役割、当日進行が決定！かわいいロゴ、公開、お楽しみにっ

会場はまちなか、金沢駅から徒歩15分、近江町市場すぐそば！（加能ガニを予習）

創ろう、プログラミングで未来を創るこどもたち！

12/26(木)は金沢へ！
加能ガニロボコン（午前）
第5回こどもプログラミングサミット（午後）

IchigoJam ap / webも、自動起動に対応！（@ARUN、apはコントロールキーを押しながら起動にも対応予定）
LED1、LEDの代わりに、IchigoJam ap / web では、画面の枠が反転（液晶画面の明かりはだいたいLED）

IchigoJam 1.4では、@ARUNを先頭に加えてファイル0に保存で、ボタンを押さなくても自動起動！

1 @ARUN 10 LED1:WAIT10 20 LED0:WAIT10 30 GOTO10

カニロボなど、ロボットや、デバイス、キラキラ飾り付けにどうぞ！

反響あったパスワード付きZIPファイルの話、GPUを使った高速化、やはりありました！(Thanks! @JG1WWKさん)
「パスワード付き ZIP ファイルを hashcat + JtR + GPU で総当たりしてみる - CUBE SUGAR CONTAINER」

300万円するGPU、NVIDIA Tesla V100 を使うと、なんと秒間280億探索！
Go言語で作成しMacのCPUで動かした速度の16万倍のスピード！
一般用 RadeonⅦ や GTX1080TiFHC- でもこの半分程度の性能がでることにも驚きます。

ここで使われている hashcat というツールは、MacのGPUでも動きます。
PKZIP2が現行バージョンでは動きませんでしたが、同じアルゴリズムと思われるSHA2-256でのベンチマーク結果は・・・

hashcat -b ========================= * Device #1: Intel(R) Core(TM) i5-7360U CPU @ 2.30GHz, skipped. * Device #2: Intel(R) Iris(TM) Plus Graphics 640, 384/1536 MB allocatable, 48MCU Hashmode: 1400 - SHA2-256 Speed.#2.........: 127.8 MH/s (46.40ms) @ Accel:32 Loops:16 Thr:256 Vec:1

127.8MH/s、1秒に1.278億探索と高価なGPUの1/200ほどですが、Go言語のCPU版と比較して700倍！
さすがGPU！サクッとプログラムして使えるようにもなってみたいところです。

ZIPファイルでなくとも、サーバーやPCにハッシュ化されているパスワードにもリスクはあります。
「2019年10月16　“脱帽です”―9億3,000万ハッシュ/秒でようやく判明したケン・トンプソンのパスワードは…？：Linux Daily Topics｜gihyo.jp … 技術評論社」
偉大なハッカーの過去設定された記号付き7文字パスワードが4日間で破られたとのこと。
パスワードの使い回さなくとも、短いパスワードはハッシュ値からパスワードが特定され、気が付かない内にアクセスされる恐れがあります。

圧倒的なGPUパワーの前ではありますが、クラウドを使った実装編として、さくらのクラウドから仮想コアを借りて実験！
結果、MacBookPro Corei5 の倍のスピード！前回見積もり15,000円の半額でいけそうです！

次に、仮想20コアを借りてみます！

こちら残念ながら1仮想コアの倍にもなりませんでした。今の作りではメモリが競合してしまってだめなのかも。
こちらは前回見積もりを下回るため、今回のプログラムには向かないことが分かりました。

サーバーの解約も管理画面からボタンひとつで簡単！
GPUサーバーを借りる「」や「Google Cloud」も熱いですね！
8GPU搭載した1PFLOPS級を、10台借りれば京にも匹敵するコンピューティングパワーが使えてしまいます！

記号を使ったパスワード生成のため、ASCIIコードから記号を調べるのに、使用した IchigoJam web
スペースからチルダまで、ちょうど32文字ありました。数字アルファベット大文字小文字と加えて、94種類。1文字増える毎に94倍探索に時間がかかるようになります。13文字使うと10の25乗通りとなり、少し盛って秒間1兆回のアタックにも1兆秒(=3年くらい)耐えられる強度となります。

ただし、この強度はアルファベット小文字のみの18文字と同程度なので、記号が使える使えないの環境さを気にするよりは、ちょっと長めなパスワードがオススメです。ただし、意味ある単語のつながりだと、辞書攻撃され、圧倒的に弱くなるので注意。強いパスワードづくりには、こちらのツールをどうぞ！「パスワードメーカー」推奨、20文字パスワード！

こちらパスワードに記号を使った場合の探索コードにして、分散起動にも対応させたGo言語のコードです。

package main import ( "flag" "fmt" "github.com/yeka/zip" "io/ioutil" "log" "os" "time" "sync" ) // make zip file with password // rm test.zip | zip -e --password=9999999 test.zip test.txt // rm test.zip | zip -e --password=passw test.zip test.txt // go run getpassword.go -f test.zip const LETTERS = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ !\"#$%&'()*+,-./:;<=>@[\\]^_`{|}~" // 10 + 26 * 2 + 32 = 94 //const LETTERS = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ" // 10 + 26 * 2 = 62 //const LETTERS = "0123456789abcdefghijklmnopqrstuvwxyz" // 10 + 26 = 36 beam5:313sec? //const LETTERS = "0123456789" // 10, beam6:5.7sec, beam7:55sec func MakePassword(n int) string { plen := 1 nlen := 1 nl := len(LETTERS) for { nlen *= nl if n <= nlen { break } plen += 1 } b := make([]byte, plen) for i := range b { b[i] = LETTERS[n % nl] n /= nl } res := string(b) return res } func Check(wg *sync.WaitGroup, filename string, start int, skip int) { defer wg.Done() var err error r, err := zip.OpenReader(filename) if err != nil { log.Fatal(err) } defer r.Close() f := r.File[0] if !f.IsEncrypted() { println("this zip file is not encrypted") return } fmt.Printf("Check %d skip %d\n", start, skip) tstart := time.Now() for i := start; i < 100000000; i += skip { pw := MakePassword(i) //time.Sleep(1 * time.Second) //println(pw) f.SetPassword(pw) r2, err := f.Open() if err != nil { print("ignore pw") } buf, err := ioutil.ReadAll(r2) if err != nil { r2.Close() continue } println("Password: " + pw) println(buf) r2.Close() break } println("Check end") tend := time.Now(); fmt.Printf("%fsec\n", tend.Sub(tstart).Seconds()) os.Exit(0) } func main() { var ( filename = flag.String("f", "test.zip", "a filename of zip") ncpu = flag.Int("n", 1, "cnt of go routien") ncpuoff = flag.Int("off", 0, "offset of start") maxcpu = flag.Int("max", 0, "step of search") ) flag.Parse() if *maxcpu == 0 { *maxcpu = *ncpu } var wg sync.WaitGroup for i := 0; i < *ncpu; i++ { wg.Add(1) go Check(&wg, *filename, i + *ncpuoff, *maxcpu) } wg.Wait() }

子供にも大人にも広めていきたい、圧倒的コンピューティングパワーを使った楽しいものづくり！
（追記、OpenCL/C言語 GPUプログラミングはじめのいっぽ on Mac）

今週末「NT鯖江」にて、モノの名前が見えるメガネ「monoglass」や、最新 IchigoJama 1.4 など、出展します！

強いパスワードを作成するアプリを作りましたが、実際現代のパソコンでパスワードを突破するのにどの程度の時間がかかるか検証してみました。

手頃で高速でマルチコアに強そうという理由でGo言語を使ってみた結果、1秒間に18万パスワードをトライできる性能となりました。数字7桁のパスワードなら1分、8桁でも遅くとも10分で突破できます。

パスワードトライ中、全CPUフルに使い切ってます！
goルーチンを使って、1,2,3,4,5・・・と増やしてみたところ、Core i5の2コア4ハイパースレッディングでは、3が最も速いという結果となりました。ただ、最速でも1スレッドの2倍弱にしかなりませんでした。そもそも、今回のプログラムは無駄が多いので、パスワードトライに特化してメモリの動的確保を0にすれば、更に10倍くらい速くもできるはず。 GPUをうまく使えば、飛躍的な高速化ができるかも？

アルファベット小文字＋数字の36種類使ったパスワードの場合、数字のみ8桁の10の8乗と比較し、10の12.4乗と1万倍時間がかかります。10万分=70日=2ヶ月ちょっと、そこそこかかりますが、超重要なファイルであれば待てない時間じゃないですね。

パソコンを動かしっぱなしにするのは困る場合、クラウドを使うのも手です。さくらのクラウド、仮想1コアならなんと1時間9円で借りられます。 100コア借りて、仮に同じ性能がでれば1000分、17時間で結果が得られて、15,300円。（実性能を測ってみました、追記）

仮想20コアだと割安です。20コアを5台借りた場合、13,005円！（追記、そう単純ではありませんでした）

無限にアタックできてしまうZIPファイルなどにかけるパスワード、少なくとも20桁くらいにはしておきたいですね。
「強いパスワードを作ろう「パスワードメーカー」パスワード付きファイルのリスク計算」
→ さくらのクラウド、実際に仮想20コアを借りてみた編（追記）

ZIPファイルのパスワード取得プログラム（マルチコア対応 Go言語版）

package main import ( "flag" "fmt" "github.com/yeka/zip" "io/ioutil" "log" "os" "time" "sync" ) const LETTERS = "0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ" // 62 //const LETTERS = "0123456789abcdefghijklmnopqrstuvwxyz" // 36 //const LETTERS = "0123456789" // 10 func MakePassword(n int) string { plen := 1 nlen := 1 nl := len(LETTERS) for { nlen *= nl if n <= nlen { break } plen += 1 } b := make([]byte, plen) for i := range b { b[i] = LETTERS[n % nl] n /= nl } res := string(b) return res } func Check(wg *sync.WaitGroup, filename string, start int, skip int) { defer wg.Done() var err error r, err := zip.OpenReader(filename) if err != nil { log.Fatal(err) } defer r.Close() f := r.File[0] if !f.IsEncrypted() { println("this zip file is not encrypted") return } fmt.Printf("Check %d\n", start) tstart := time.Now() for i := start; i < 100000000; i += skip { pw := MakePassword(i) //println(pw) f.SetPassword(pw) r2, err := f.Open() if err != nil { print("ignore pw") } buf, err := ioutil.ReadAll(r2) if err != nil { r2.Close() continue } println("Password: " + pw) println(buf) r2.Close() break } println("Check end") tend := time.Now(); fmt.Printf("%fsec\n", tend.Sub(tstart).Seconds()) os.Exit(0) } func main() { ncpu := 3 var wg sync.WaitGroup flag.Parse() filename := flag.Arg(0) for i := 0; i < ncpu; i++ { wg.Add(1) go Check(&wg, filename, i, ncpu) } wg.Wait() }

仮想コア1(=n)のクラウド、3台(=max)で分散させて動かすには、下記のようにオフセット(=off)を指定して動かします。

cloud0$ go run getpassword.go -f test.zip -n 1 -max 3 -off 0 cloud1$ go run getpassword.go -f test.zip -n 1 -max 3 -off 1 cloud2$ go run getpassword.go -f test.zip -n 1 -max 3 -off 2

見つかったらメールでお知らせや、自動的にクラウドを解約しておくなどもプログラムしておくといいですね！

昨日に続き、食がテーマだったjigインターン2019、成果発表会紹介2チーム目。
今度は外食での悩みをモダンに解決するプロダクト。

チームnpm派「めしめーと」
箒コウモリ（香川高専高松キャンパス）、でみ（舞鶴高専）、watano（茨城高専）、はたはた（津山高専）

せっかくなら美味しいものを開拓したい外食。でも、レビューが当てになるとは限らない。そんな時、自分と味覚が近い人を頼ろう！
食べたものを投稿・チェックインすると、同じ好みな人をリコメンド。フォローすると優先的にタイムラインに並び、使うほどにヒット率上昇。

しゃもじをポインターとして解説する、はたはた。フロントエンドはモダンなフレームワーク Vue.js

GitHubのリポジトリから動かしてみました！（Foodmates-client (fixWholeDesignFinally) / server）

幻の第4スプリントで、箒コウモリ（ホウモリ）がマージした、レスポンシブデザインバージョンで、スマホでもタブレットでも見やすい！

バックエンドは、Go言語(golang)で開発、データベースとしてMySQL、環境構築にDockerを使用。

ナウなDBの使い方を確認するため、Foodmatesのサーバー側を抜粋した、GoでMySQLにデータをいれてみるサンプル作成。
料理を、名前、価格、URLの3項目で、登録日時付きで、どんどん登録するシンプルなデータベースです。(src on GitHub)

package main import ( "fmt" "os" "time" "errors" "github.com/jinzhu/gorm" "github.com/joho/godotenv" _ "github.com/go-sql-driver/mysql" ) type Food struct { ID int `gorm:"primary_key" json:"id"` CreatedAt time.Time `json:"created_at"` Name string `gorm:"default:''" json:"name"` Price int `json:"price"` URL string `json:"url"` } var db *gorm.DB func InitDB() { USER := os.Getenv("MYSQL_USER") PASS := os.Getenv("MYSQL_PASSWORD") PROTOCOL := "" DBNAME := os.Getenv("MYSQL_DATABASE") CONNECT := USER + ":" + PASS + "@" + PROTOCOL + "/" + DBNAME + "?charset=utf8mb4&parseTime=True&loc=Local" var err error db, err = gorm.Open("mysql", CONNECT) // github.com/go-sql-driver/mysql if err != nil { panic(err.Error()) } db.LogMode(true) db.AutoMigrate(&Food{}) } func TruncateTables() { rows, err := db.Raw("SHOW TABLES").Rows() if err != nil { panic(err.Error()) } defer rows.Close() for rows.Next() { var table string if err := rows.Scan(&table); err != nil { panic(err.Error()) } db.Exec("TRUNCATE TABLE " + table) } } func GetDB() (*gorm.DB, error) { if db == nil { return nil, errors.New("can't get database") } return db, nil } func Finalize() error { err := db.Close() return err } func ShowAllFoods() { db, err := GetDB() if err != nil { fmt.Println(err) return } var foods []Food db.Table("Foods").Find(&foods) fmt.Println(foods) } func AddFood(name string, price int, url string) error { db, err := GetDB() if err != nil { return err } db.Create(&Food{ Name: name, Price: price, URL: url, CreatedAt: time.Now() }) return nil } func main() { err := godotenv.Load(".env") if err != nil { fmt.Println("Error loading .env file") return } InitDB() TruncateTables() AddFood("サラダ焼", 120, "https://www.sanrokusyoten-316.co.jp/products.html") AddFood("サバエドッグ", 280, "https://www.meat-sasaki.com") AddFood("眼鏡堅麺麭", 864, "http://echizen-yumekobo.com/?pid=52337987") ShowAllFoods() }

GORMを使うと、Go言語の構造体として定義したFoodを、db.AutoMigrate(&Food{})で呼び出せば、いい感じにテーブル生成をやってくれます。*GORM - ORM (Object-relational mapping / オブジェクト・リレーショナル・マッピング) for Go

MySQLのセットアップ、Mac編（参考、Mac へ MySQL を Homebrew でインストールする手順 - Qiita）

brew update brew install mysql

MySQLにデータベースを1つ作成

mysql -uroot -p [dbrootpass] create database [dbname] create user '[dbuser]'@'localhost' identified by '[dbpass]'; grant all on *.* to '[dbuser]'@'localhost'; GRANT ALL PRIVILEGES ON [dbname].* TO '[dbuser]]'@'localhost'; exit

Go言語の設定ファイル「.env」にDB設定を記述

cat > .env <<EOF MYSQL_USER=[dbuser] MYSQL_PASSWORD=[dbpass] MYSQL_DATABASE=[dbname] EOF

Go言語のライブラリを取得

go get github.com/go-sql-driver/mysql go get github.com/jinzhu/gorm go get github.com/joho/godotenv

あとは動かすだけ！

go run fooddb.go [{1 2019-09-08 13:24:51 +0900 JST サラダ焼 120 https://www.sanrokusyoten-316.co.jp/products.html} {2 2019-09-08 13:24:51 +0900 JST サバエドッグ 280 https://www.meat-sasaki.com} {3 2019-09-08 13:24:51 +0900 JST 眼鏡堅麺麭 864 http://echizen-yumekobo.com/?pid=52337987}]

MySQLを初めて使ったのはもう20年前くらいかも・・・。
環境構築も、ライブラリも、便利になっていい感じですね！

めしめーとのプレゼンハイライトです！

ご飯で繋がるSNS! goとvueで実装されていて、モダンでいいですね！ #jigintern2019 pic.twitter.com/z4IxignP5u
&mdash jig.jp intern 2019 (@jigintern) September 6, 2019