データ収集の答えは一つではない
数年前から企業のさまざまなダッシュボード構築をお手伝いをするようになった。
大抵、対象企業のデータ/システム環境を診断させていただくのだが、ほとんどの場合、組織の中のデータは雑然としている、というのが率直な感想だ。
その雑然としたデータを、これまでは手動でデータを集め、Excelなどで集計してきた、というのもよくある話で、これまた気質なのか、とても作業的には辛いのだけど、ある程度やりきってしまう。
昨日、数年のうちに世界のデジタルデータが40ゼタバイトになる、というような話を聞いた。世界までいかなくても、企業内のデータだけでもアップアップで、もはや手動でなんとかやろう、というレベルではなくなっているし、いかんせんデータが意味を持つように、まとめるのに時間がかかってしまうので、ビジネス上の重要な判断をするためのデータが手元になかなかやってこなく、スピードが出ない、ということになる。
本当にあるある話なのだ。
これは今に始まったことでもなく、ずっとビジネスにおける課題だったと考えられる。
「データは大事なのはわかっているのに、なんでこんなに時間がかかるんだろう？」
まず、データはよほどすべてが標準的な規格で統一した世の中でもない限りは、やはりいろいろなデータの形式、内容、視点が存在することになるので、結局はこれからも「あの手この手」で集めて処理することになるのだ。
でも大事なことは、「あの手この手」の選択肢がいろいろと増えてきて、技術者でないビジネスユーザーでも以前ほどは難しくなくなってきたという点だ。たとえばダッシュボードであれば「コネクター」という、メニューに沿っていけばデータを取得できるような機構がある。裏ではAPIが使われることが多いのだが、プログラミングの必要がなく使うことができる。
CSVやテキストデータをDropboxやBoxなどのファイルストレージに置くことができれば、自動的にデータを取りに行ってデータベースに格納してくれるような機構もある。
メールに添付されたファイルを特定のメールアドレスに送れば取り込んでくれる仕組みもある。
使っていないパソコンがあれば、ネットにつながっている以上は、その中の特定の場所にあるファイルを自動的に取ってきてくれたりもする。
最近ではRPA（Robotics Process Automation）という、業務の自動化や効率化に向けたソフトウェアロボットがさまざまな業界で普及し始めている。例えば何らかのウェブサービスの管理画面に、通常は人間がログインして操作するのを、ソフトウェアに憶えさせて、代理で自動操作するというものだ。単純作業であればこういう取り組みを使うほうが効率的で、人間はより必要とされる業務に時間を費やせるようになる。
長い期間、手動でやっていると、それが当たり前の感覚になってしまうが、一度立ち止まって、今の環境でいいのか、もっと何かできないのか、疑ってみよう。意外と答えはあるはずだ。
先を見越したデータ活用を実現するための3つのアドバイス
先々を見越した取り組みにおいては、三つのことをよく話す。1つ目は、今後選ぶシステムは他のシステムとの連携やデータ出力を柔軟にできるものを選ぶことだ。付き合っているパートナーがデータ管理を担っている場合、そのパートナーが柔軟にデータを提供できる環境、ポリシーを有しているかを見極めることがとても大事だ。
2つ目は、異なる出所のデータを統合するニーズはどんどん高まっている。そのため、データを一定の規則に基づいて変形し、利用しやすくする、すなわち「正規化」を常に意識してデータやシステムを設計する能力が大事だ。同じデータの粒度にそろえたり、紐づけるデータ項目を合わせたり、データ形式を合わせたり（例えば日付のフォーマットなど）、そういう類のことだ。
3つ目は、社内ポリシーやセキィリティ等に対する共通認識も含め、整備すること。これも同時にやる必要がある。
このあたりを意識して取り組んでおくと、驚くほどデータの環境を整えたり、実際にデータを活用するのがとても楽になる。次回データを取り使う際に、ぜひ気にしてほしいと思う。
facebook
X (twitter)
LINE
