はじめに
人間は怠惰である。
それを念頭に置かずに、扱う人間の頑張らねばならないシステム・業務はすぐに廃れる。
そうやって人間は多くのプロジェクトを断念してきただろう。
データ収集でも同様、人間の頑張りに頼りすぎたため、仕組みが破綻したケースも多いだろう。
そもそもデータがないことはザラである。
がんばってデータ分析をかけようとして、「こんなクソデータで分析なんてできるか」と頭に血が上り、声を荒げたことがある人は多いだろう。
本稿は、クソデータに怒ったひと、そのつもりはないのにクソデータを作ってしまった悲しき人に向けたポエムである。
クソデータに苦しんだことが無い人だけがこの記事に石を投げてほしい。
データ収集のよくある流れ
人間がデータ収集をしようと考えるとき、
最初は皆、息巻いて頑張るのである。
Excelにデータを入れていく。それもとりあえず何でもかんでも入れていくのだ。
1セル1情報という原則を守らず、1つの列にテキストと数字が混在し、ラベルデータが揺らぎまくっていても、なんでもかんでも入れていく。
この時入力している彼はデータの入れ方など考えてはいない。
すると、以下のようなことが起こる。
- 空欄がある
- 網羅的になってない
- 時期がわからない
- バージョンがわからない
- データの母数が少ない
- セル結合がされている
- 表記ゆれがある
- 紙やメモからデータを収集しているため書き方が人それぞれ異なり、データ抽出ができない
- フォーマットがないから自動でデータを取ってこれない
- データ検証が行われていない
最後に挙げたデータ検証ができていないとデータとして使い物にならずに検算するところからもう一度やらねばならないということが起こる。
二度手間でしかない。
これは残高データなどで見られることである。
会計人材だったら、こうしたエクセルにキレたことがある人は多いだろう。
データを分析したいのに分析の前に貰ったデータが以上のすべてを満たしていたらどうだろう?
頭を抱えてその場にうずくまることしかできなくなるのではないか。
データ収集の事例は、人間の知識をモチベーションを過度に信頼したことで起こることである。 もし、知識が足らない人が自由に入力したり、モチベーションが落ちた時の入力のことを考えられていないのである。
人間の頑張りは有限
人間には限界があるということを忘れてはならない。
- 業務量が多すぎて処理できない時もある
- 個人の技量によってもクオリティに差が出ることもある。
- モチベーションが続かない時もある。
- 少しくらい雑に済ませてサボってしまいたいと思うこともある。
- 情報を書いた紙をどこかに無くしてしまうこともある。
このように愚かな人間によるどうしようもないことは往々にして起こる。
全ての人が自分の業務の最下流を意識して毎回毎回面倒な入力作業を丁寧に それも超高クオリティで行ってくれるなんて思わない方がいい。
「50mを全力で走るペースでフルマラソンを走れ!」など言われてもそんなこと無理に決まっている。歩いていても問題なく動くシステムでなければ実務上では意味がない。
人間の頑張りなどすぐに限界が来てクオリティを維持できなくなってしまうものなのだ。
だからこそ、どんな時でさえ分析ができるように機械にデータ収集をさせるのだ。
フォーマットを作り、「入力箇所を少なくする・入力する形式をあらかじめ縛っておく」 などをして、入力者の出来に関係なく正しく入力させるのだ。
紙やメモで情報を残すなど最初から絶対にさせてはならない。
そのために仕組みとシステムに頼れ
人間の頑張りだけでは限界がくると説明した。じゃあどうすればいいのか。
その答えの一つは、人間の頑張りに頼らない仕組みとシステムを構築することになる。
つまり、業務自体を圧迫するような面倒くさいシステムではなく、業務の一環として組み込めるシステムを用いて、結果的に自然と情報が集まるようなものである。
例えば、支払管理システムを例にだそう。
各営業担当者が受け取った請求書を特定のシステムにアップロードすることで、OCR機能により以下のような情報が自動的にDBに蓄積されるとしよう
- 支払先情報
- 支払期限
- 支払金額
- インボイス番号
経理担当者のみがこれらの情報を手入力するのはとても骨が折れるが、営業担当者がスキャナーを用いるだけで、自動的にこれらの情報がDBに蓄積されるならとても楽になるだろう。
経理担当者からしたら自動的に上がる情報をチェックするのみ、営業担当者は脳死でシステムにアップロードするだけなのだから。
結果として無駄な業務量は減り、次の顧客対応など他にリソースを割くことができるようになる。
それだけでなく、分析をする側の人にとっては初めから決まった形でデータが集まるということはデータ加工がそれだけラクになる。
今まで、分析をするためにデータの加工からやっていたため現実からズレた結果が出ることもあったが、より早く正確な分析が可能になる。
このように、人間が頑張ってクオリティの高いものを生み出し続けようとするのではなく、仕組みやシステムに頼り、ラクな状態でさえしっかりとしたデータを取り、業務が回る当たり前の状態をつくることこそが重要なのである。
人力でそれが難しい。面倒くさがるしミスって当然なのだから。
いつでも同じクオリティを出し続けられる仕組みやシステムの方がそれに向いている。
人はもっと違う人にしかできない業務に勤しむべきだ。
おわりに
そもそもデータ収集の知見がなく、やってはいけない方法を取るかもしれないという 無能のリスクもある。
そうでなくとも忙殺されるタイミングもあるし、 いつもモチベーションが高い状態で仕事に臨むわけではないだろう。
そんな人間の愚かさと私たちは向き合わなければならない。
体勢が整っていない時でさえ正常にシステムが動くように ビジネスは設計しなくてはならない。
そうでなけれはビジネスは長続きしないのである。
人間は愚かであると念頭に置くことがビジネスを設計すること上で何より大事なことである。