2016-09-17

OCR・スキャン・業務自動化の技術についてのまとめ

まとめ

目的
背景
スキャンして入力を自動化する技術とは
スキャナとOCR技術
データを抽出する技術
クライアント（ブラウザ）操作技術
まとめ

目的

これまでは人間が目で見てデータ入力していた作業を、スキャンしてプログラムで入力する業務自動化の技術について実際のところどうなの？っていう疑問を解消するための記事です。エンジニアとビジネスの２つの視点から、自分のビジネスで使えるかどうかの役に立てれば幸いです。

背景

非定型の日本語帳票をスキャンして自動的に処理するプロジェクトをやりました。

スキャンして入力を自動化する技術とは

人間がやっていたデータ入力の作業を細分化すると、目で見たものを脳で判断して手で入力する３つの作業に分かれます。これをテクノロジーに変換すると別に新しい技術でもなんでもなく以下の通りになります。

目＝スキャナとOCR技術
脳＝データ抽出技術
手＝クライアント（ブラウザ）操作自動化技術

プロジェクトにおいて問題になるのは「OCR技術の画像処理」と「キーワード抽出の開発工数」の２つです。他はすでに解決済みの課題なのでなんとかなります。

スキャナとOCR技術

OCR精度９９％の嘘

OCRで文字を識別することは約９９％の精度で可能です。ここがよく騙されるポイントですが、エンジニアとして言わせてもらうと完璧にキレイな画像データで９９％になるということです。決してJPG画像を２〜３回保存しなおしてもやもやしている画像データで９９％の精度が出るということではありません。ここがすごく大事で、僕がやっていたプロジェクトもFAXされて劣化したものからOCRしなければならない状況で、実際５０％の精度もありませんでした。なぜならFAXの標準のdpi*1は100dpiとか200dpiでかなり劣化してしまいます。

参考：

世界No1のOCR

OCRソフト｜FineReader 12｜読み取り精度世界No1の OCR ソフトウェア

名刺のスキャンとクラウド管理サービスSansanの資料

OCRは古い技術

FAXのような低解像度画像データは難しい

FAXのような低解像度のデータをいかに高精度にOCRさせるかは画像処理技術にかかっています。具体的にいうと文字とそうでないものをピクセル単位で取り除き、OCRしやすい画像データを作ることに成功するかどうか分かれます。

一般的な画像補正（精度は劇的に改善しないけど・・・）

傾き補正
用紙方向補正
ノイズ補正
歪み補正
手ブレ補正
色彩補正
背景色補正

でも、本当に必要な画像処理は「人間と同じように必要な情報以外のピクセルデータを無視する技術」でまだまだ解決されていない問題の１つです。あのGoogleでも日本語OCRの精度はまだまだです。

Googleドキュメントに200dpiの帳票データをOCRさせた結果

f:id:kitahashi-ryoichi:20160917201219p:plain

新しいGoogleドライブで画像やPDFをOCRにかける方法 | 経験知

本は９９．９％の精度でOCR出来る

本のようにキレイな紙の上に整ったフォントであればOCR精度は99％近くになります。しかし、実際ビジネスの現場で問題になっている紙は処理している時に汚れるし、手書きだったり、非定型だからこそ人間がやっているということが多々ありますよね。

健康診断データの入力業務なんかは手書きでも自動化できる

ここまで出来ない出来ない言ってきたのですが、ここ数年でディープラーニングが盛り上がって手書き文字の識別精度が解決された影響で手書きでも定形帳票であれば自動化できるようになりました。AI insideなんかを使ってOCRをした結果を元に自動的に入力させる先行事例もあります。

AI insideマーケティング株式会社

データを抽出する技術

プログラムを書けばOCRした文字データから欲しいデータを抽出することができますが結構難しいです。そこで使えるのがBPM*2製品などに付いているスキャンしたデータをかんたんに抽出できるソフトウェアがあります。Robotic Process Automationとか言われている領域で日本製品ではないためちょっと敷居は高いです。

Forms Processing Solution - OCR, OMR, ICR, Barcode and PDF Capture | Lexmark United States

コファックス (Kofax) | 情報キャプチャ、ビジネスプロセス管理、およびダイナミック案件管理ソフトウェアのパワフルな組み合わせ

Scanning Software Features - Document Capture Solution - OCR Scanner

データ抽出の開発は２種類

定形帳票と非定形帳票の２種類で全然難易度が変わるので、開発コストも大きく変わります。定形帳票であれば場所は特定できているので、あとはOCR結果を取ってきてフォーマットするだけなのでノンコーディングでもできるため安価で平易です。非定形帳票の場合は、キーワードから場所を特定したり、その近くの文字列から結果を取るとか、単位違いや装飾フォントなんかを全部ロジックで組み立てて高い精度が出るようにチューニングしないといけないため難易度が高く高価です。具体的な金額で言うと、定形帳票は１人月＝１００万程度ですが、非定形帳票はスクラッチ開発とほぼ同じなので１０人月＝１０００万とか軽く１０倍以上の金額差になります。

定形帳票に出来れば開発コストは安い

開発コストが違いすぎるので、非定形で行っている業務が定形にできないかはまず考慮すべき最初のステップです。もしくはパターン対応して、ある程度定形に落とし込むアプローチも効果的な場合があります。

データ抽出が出来ても人間がチェックする工数は残る

いくら自動的に入力ができても人間がチェックする工数は残ります。というのもスキャンもデータ抽出ロジックも１００％ミスがないことはないので必ず人間がチェックします。実際の業務でもダブルチェックするのは当たり前なので品質を担保したい場合は避けられないコストと言えるので頭の片隅にはおいておく必要があります。このチェック工数を最小限にするにはUIの再定義とか別のコストがかかるので要注意。

クライアント（ブラウザ）操作技術

エンジニアがよく知っているブラウザテスト自動ツールといえば「Selenium」ですが、ブラウザ操作の自動化は歴史が古くだいたいどんなクライアントでも自動化させることが可能です。Windowsアプリケーションであっても、ブラウザであっても自動化ソリューションは豊富にあります。問題は自動化する手順を人間が書くのが楽かどうかだけです。

この記事を見れば非エンジニアでも具体的にどういう技術なのかの理解が深まるとおもいます。

5分でわかるSelenium IDEの使い方 - Qiita

スキャンの方でも出てきたKofaxなんかはノンコーディングでブラウザ操作が自動化できるKapowというソフトも持っています。

http://www.kofax.jp/data-integration/

まとめ

非定形・400〜600dpiのキレイな状態でスキャンできる場合は自動化が実現可能になる。画像データの解像度を担保出来ない場合は事前の画像処理技術なしに自動化は技術的に不可能である。非定形の場合はスクラッチ開発と同様のコストがかかってくるので自動化に数億レベルのメリットが有る場合に自動化の選択肢になる。一方、定形の場合はノンコーディングで小さく始められるため数百万円の規模でも十分にペイできる。

*1:dots per inchの略で1inchの中にどれだけ表現できるかということ。だいたいスキャナの最大dpiは600~1200dpi

*2:ビジネス・プロセス・マネジメント

2016-09-09

MacでPDFを画像ファイル(jpg)に一括変換する方法

Macで開発

目的

Macで大量のPDF形式の画像ファイルをjpgに変換できるようになる。

全体の流れ

コマンド類のインストール
コマンドの実行

手順

１．コマンド類のインストール

pdfimagesをインストール

brew install homebrew/x11/xpdf

ghostscriptをインストール

brew install ghostscript

２．PDFから画像ファイル(jpg)に変換する

jpgファイルに変換する

pdfimages -j hoge-001.pdf hoge-001

>hoge-001-0000.jpgファイルが作られます

３．ループ処理で大量のPDFを画像ファイル(jpg)に変換する

hoge-001.jpgからhoge-002.jpgのように連番でPDFファイルがある場合

for i in $(seq -w 1 100); do echo $i; pdfimages -j hoge-${i}.pdf ${i}; done

結果

001-0000.jpg

002-0000.jpg

003-0000.jpg

...

連番の0000を除去したい時はこんな感じでゴリゴリ変えちゃう

for i in $(seq -w 1 100); do echo $i; pdfimages -j hoge-${i}.pdf ${i}; mv ${i}-0000.jpg ${i}.jpg; done

PDFの元がグレースケールのモノクロデータだった時

pdfimagesでjpgに変換しようとするとpbmファイルになります。これだとダメなのでImageMagickでpbmからjpgに変換します。ただし、グレースケールの場合は白黒が反転する仕様なので、元に戻さないといけません。

ImageMagickのインストール方法

brew install imagemagick

pbmからjpgへの白黒反転とJPG変換方法

convert -negate 001.pbm 001jpg

PDFの元がPPMファイルだった時

これまたスキャナによってはたまにあるppmファイルですが、Imagemagickで同じように変換します。ImageMagickが拡張子から自動で判別してくれるので以下のようにコマンドを叩きます。

ppmからjpgへの変換方法

convert 001.ppm 001.jpg

JPGじゃなくてPNGや他のにしたい時

ImageMagickは拡張子を自動で判別して変換してくれるので変換先を変えれば変わります。ただし変換するごとにJPG,PNG,GIFなどの不可逆圧縮は画質が劣化していくので注意が必要です。逆にTIFFファイルなんかは可逆圧縮なので劣化することはありません。

PNGに変換する方法

convert 001.jpg 001.png

まとめ

pdfimagesとImageMagickでPDFから画像ファイルに変換することができる。一括変換ツールは有料でいくつかあるけれど、フリーのコマンドだけでかんたんに変換できます。かんたん！

2016-09-08

iPhone7に搭載されたApplePayとFelicaで財布が要らなくなるかも？

Web

ついにiPhoneがおサイフケータイ（Felica）に対応します。ヤッター！

Felicaとは

Felicaとは、電子マネーやクレジットカードなど複数のサービスを１つのデバイスでまとめて管理できる機能です。具体的にいうとSuicaとnanacoをiPhone7一台の中に入れることができて、コンビニで決済するときにSuicaでーといえばSuicaで決済され、nanacoでーといえばnananoで決済されるようになります。

ApplePay＋Felicaで財布が要らない？

さらに、Felicaと合わせてリリースされるApplePayはクレジットカードを登録できるので、ApplePay対応の端末があればiPhone7だけで決済ができ、財布が要らなくなる時代がついにくるかも！？とフィンテック業界は色めきだっているのではないでしょうか。

iPhone 7のFeliCa対応がもつ大きな可能性、おサイフヘビーユーザーがiPhone購入を本気で検討する理由（ライター笠原一輝） - Engadget Japanese

財布なしで買い物出来るマーク

このマークが付いている所ではApplePayとFelicaが使えて財布が要らなくなります。

シンプルなApplePayのロゴ

財布が要らないだけじゃなく、iPhone7にもっといろいろ集約される！

今回のFelica搭載で、Suicaを使った自宅の鍵解錠システムとか、レジ情報をFelicaで冷蔵庫アプリに登録してみたいなIoT的未来が見えてきます。いろんなスタートアップが便利なサービスをいっぱい作ってくれるのではないでしょうか？

参考

Qrio Smart Lock（キュリオスマートロック）製品情報 | Qrio製品情報

IoT冷蔵庫の中にはビジネスチャンスが転がっている｜ビジネスモデルの破壊者たち｜ダイヤモンド・オンライン

性格診断で自分の強み・弱み、チームメンバーの強み・弱みを把握してみよう

Web

f:id:kitahashi-ryoichi:20160830155151p:plain

無料性格診断テスト、性格タイプ詳細説明、人間関係およびキャリアのアドバイス | 16Personalities

16Personalitiesとは

１０分程度かんたんな質問に応えるだけで、自分の性格がかなりの精度で分かるサービスです。本当にぞっとするぐらい当たるので一度やってみるとおもしろいと思います。

この16Personalities性格診断テストは、読者から非常に正確で、「ちょっぴりゾッとする」と言われています。

僕は”論理学者”

性格診断をすると１６タイプに分類してもらえて、性格や行動パターンなどが見れます。性格診断のベースになってる技術は「MBTI」と呼ばれるものでかなり歴史は古いツールで有名なものになります。

MBTI（Myers-Briggs Type Indicator）は、ユングの心理学的類型論（Psychological Types)をもとに、1962年に米国のブリックス（Briggs,K）とマイヤーズ^[1]（Myers,I）によって研究開発された、人と人との違いを知ってお互いに尊重しあうことを目的に作られた、類型論に基づいた、自己理解メソッドである。

https://ja.wikipedia.org/wiki/MBTI

性格診断のメリット

自分に向いている職業や職種が分かる

「INTP 適職」とかで探すと出てくると思いますが、かなりあたっていると思います。INTPだとIT、専門職、教育、ファイナンスとかが出てくるのですがどれも何となく好きだし、今はエンジニアなので当たってると思います。

自分に合わない人が分かる

無性に合わない人いますよね？

これまた「INTP 相性」で検索すると相性の良いタイプと悪いタイプが見れます。無性に相性が悪いなーと感じた時は、この相性の悪いパターンを覚えておくだけでうまく調整出来る可能性があります。INTPと相性が悪いのはESFJで、16personalitiesだと領事官タイプがダメなようです。ESFJは社交的でチアリーダーとかアメフトやってたムードメーカー的な人たちで、論理的に考えたり予測するのが苦手なのを受け入れて補い合うようにすれば良いチームプレイができるとかそういうことが出来ると思います。

大好きなTaylorSwiftがESFJだったので目の前が真っ暗になった・・・。

ちなみに妻に性格診断させてみたら相性抜群でした。

やっぱそういうのあるのかな？

ぜひ、試しにやってみてください。

無料性格診断テスト、性格タイプ詳細説明、人間関係およびキャリアのアドバイス | 16Personalities

2016-06-29

SoftBank Airで自宅のwifi環境を低価格で構築できる裏技

Wi-Fi

この記事の前提条件

Softbankのスマホを２台以上契約している方

この記事のメリット

月々たった1500円で自宅の高速インターネット環境ができてお得

フレッツ光やADSL、WiMAXよりも早くて安い。

Softbank Airとは

www.softbank.jp

f:id:kitahashi-ryoichi:20180309115625p:plain

SoftBank Air ならかんたん置くだけ、工事不要ですぐにWi-Fiが使えます。自宅で手軽にWi-Fiを楽しみたい方におすすめです。

工事不要で光並の261Mbpsの高速インターネットが利用できる家庭用Wi-Fiサービスのこと。普通に契約すると月額5000円弱と他のモバイルインターネットサービスよりもお高い値段設定ですが、ソフトバンクの携帯を持っていると1台あたり月額2000円引きというトンデモキャンペーンがあります。

家族２人でソフトバンクモバイルだったら月額4000円引きなので、なんと・・・実質負担はたったの1000円弱になります！

www.softbank.jp

実際はそんなにうまい話はなくて、iPhoneを契約している場合はパケット定額サービスを利用していることが多くて、その場合だと割引増額キャンペーンで月額1522円引きになります。それでもメリットがある選択肢ですね！

ホワイトプランなら、2年間毎月500円 → 1,522円に割引額を増額します。

競合サービスとの価格比較

フレッツ光　最安値月額1679円　

ホワイトBB（ADSL)　月額1866円

WiMAX 最安値月額2104円

Softbank Air 月額1500円〜2000円（家族でiPhone2台の場合）

フレッツ光が一見安いですが、開通工事が必要なため面倒くさい！工事費用が請求されることもあるし手放しでは喜べない。ADSLはその点工事がいらないけど電話回線を使う、まぁ固定回線がなければ全然ADSLでも良いよね。WiMAXを契約すれば家でも外でもネットが使えるようになる。単身だとトータルコストではこれが一番安くなるかもしれない。面倒な工事とかもなくカフェでMacBook開いてドヤれることもできる。

工事とかやってもいいよって方にはフレッツ光を、ADSLよりも早くてSoftbankユーザーだったら、Softbank Airがオススメ。引っ越しても大丈夫。

参考資料

価格.com - フレッツ光｜プロバイダ料金比較

ホワイトBB | オプション・割引 | 料金プラン | モバイル | ソフトバンク

【6月版】今月の最安はこれだ！WiMAX 2+の料金比較まとめ – 最安でWiMAX 2+を契約する方法 ≫ 使い方・方法まとめサイト - usedoor