今はビッグデータの時代と言われ、そのデータをどうにか活用しようと、大企業とベンチャー企業を中心に、しのぎを削っています。非常に面白い構図です。

日本社会の場合、世界で戦っているような超有名な製造業やIT企業と、ここ10年ぐらいに創業したAI（人工知能）・機械学習・データ分析系のベンチャー企業が躍動しています。

世界的な傾向なのかもしれません。その中で、置いてけぼり感のあるのは、そこそこの社歴のある中堅・中小企業でしょう。

さらに面白いのは、「小さい企業≒大企業の下請け」という構図が、このビッグデータという社会では、それほど当てはまらないということ。AI・機械学習・データ分析系のベンチャー企業には、古くからある大企業にはないものを持っているからです。

実際は、ベンチャー企業というよりも、その創業者や経営陣が、古くからある大企業にはないものを持っています。大企業からは多くの場合、的確な指示を出すことができません。大企業主導でやるならば、そういう人を他社から引き抜き社内に抱え込むか、ベンチャー企業そのものを買収した方がよいでしょう。それぐらい、思考回路が異なります。

それはさておき、どんなに順調にビッグデータ活用プロジェクトが社内で進んでも、最後にちょっとしたカベが待ち構えています。このカベは、昔からあるカベで、私がデータ分析の世界に入った約20年前からもありました。

そのカベとは、「洞察力」のカベです。

私は20代のころ国家機関にいましたが、このカベはすでにありました。比較的、IT環境や予算に恵まれ、データもたくさんありましたが、このカベが立ちはだかっていました。このカベは、日本だけのカベではありません。米国でも同じようでした。そのカベにうまく対処しないと、事実誤認を招き大変なことになります。

データは世界の極一部

当然ですが、データはこの世の中すべてをカバーしていません。

例えば、朝家を出て会社に行くまでのデータが記録されることは稀です。単に、移動経路だけであれば携帯電話のGPSなどを活用して記録されるかもしれません。

しかし……

• 電車に乗ったとき右足だったのか左足だったのかとか、
• 電車で何分座れたとか、電車で本を何ページ読んだとか、
• 電車内でボーとしていた時間とか、
• 電車内で考えていたこととか、
• 降りた駅から会社までに見た木の本数と種類とか、
• 小鳥のさえずりとか、
• 道路で車が何台通ったとか、
• 車の運転手が誰であったとか、
• 車の運転手が何を考えていたのとか、

……そのようなこと全てを、記録することは少ないでしょう。

要するに、データはどんなに集めても、所詮何かの一部分を抜き出したものに過ぎず、抜き出せなかった部分は、データとして記録されず分からないということです。

データは手掛かり

データは、手掛かりに過ぎません。

データのとして残されていいない見えないところは、データという手掛かりを通して洞察する必要があります。洞察するのは、もちろん人間です。機械ではありません。

最近のECサイト（Amazonなど）は、商品をレコメンドしてくれます。

そのレコメンドに応じて、実際に商品を買ってしまった人も多いのではないでしょうか。しかし、レコメンドされた商品をすべてを購入した人は少ないでしょう。少なくとも、私はそのような人を見たことがありません。つまり、最後は人が買うか買わないかを決めています。

何を言いたいかというと、商品のレコメンドは、そのECサイトの購買データなどの蓄積されたデータから導き出したものです。購買以外のデータは、ほとんど使っていません。使えるとしても、属性データ（性別や年代など）ぐらいでしょう。購買行動した人間の、極一部のデータを使ったにすぎません。

ECサイトではなく、営業パーソンがこのレコメンド情報を持っていれば、どうなるでしょうか。

人によっては何も考えず、レコメンド情報通りに営業するかもしません。しかし多くの営業パーソンは、自分自身の頭の中にある情報とコンピュータがはじき出したレコメンド情報を掛け合わせて、レコメンドされた商品を顧客に勧めたり勧めなかったりします。

営業パーソンは、顧客にレコメンド商品を勧めるという決断をするために……

• 顧客は本当に欲しいのだろうか？
• 今が勧めるタイミングなのだろうか？
• いくらぐらいであれば購入してくれるだろうか？

……などと考えると思います。

データとして蓄積されていない情報、つまり、自分自身の頭の中にある情報などを使って判断し決断しています。それが洞察です。

データには誤差がある

そもそもデータには誤差があります。

有名なところでは……

• 測定誤差
• 計算誤差
• 系統誤差
• 統計誤差
• 偶然誤差

……などです。

測定誤差とは、測定するときに生じる誤差で、例えばGPSの位置情報のズレなどです。

計算誤差とは、コンピュータ内の処理で生じる誤差で、端数処理の際の丸め誤差などです。

系統誤差とは、同じように測定している限り生じる誤差で、原因に対処すれば取り除ける誤差です。

統計誤差とは、データ全体の一部をサンプリングする際に生じる誤差です。

偶然誤差とは、データを測定するたびにランダムに生じる誤差です。

他にも、色々な誤差があるかもしれません。要するに、データそのものも絶対的なものではなく、何かしら誤差が混じっています。この誤差を乗り越えるためには、人による洞察がものをいいます。

最後は洞察力がものをいう

データは世界の極一部を記録したものに過ぎず、しかも誤差が混じっています。厄介なことです。そう考えると、データ活用やAI（人工知能）化は夢のまた夢な気がします。

ご安心ください。それを突破するのに必要になるのが、人間の「洞察力」です。

このIT化の時代、ITシステムだけでも人間だけでも成り立たず、ITシステムと人間が支援しあう関係にあります。

AI（人工知能）化だの機械学習化だの言っても、メンテンナンスやチューニングをするのは人間です。人間が支援しています。さらに、AI（人工知能）のレコメンドやITシステムの計算結果を信じる信じないを決めるのも人間ですし、最後の決断を下すのも人間です。

多くの単純作業や単純な思考は機械やAIに取って代わられるかもしれません。しかし、現在のAI（人工知能）の最大の弱点は、データ化されていないことは考慮できない、ということにです。

さらに、データ化されていたとしても、データソースが異なり、全く無関係に見えるデータを結びつけたり、そこから面白いことを発想することは苦手です。現在のAI（人工知能）には、インスピレーションを生み出せないからです。

もしかしたら、インスピレーションと搭載したAI（人工知能）が実現するかもしれませんが、この世すべてをデータ化することは、しばらくは無理でしょう。例えば、装着していて違和感のない脳や心理、身体情報などを計測するIoTデバイスが完成し、すべての人間や動物などに埋め込まれデータ化されれば別ですが。

要するに、しばらくは、最後は洞察力がものをいいます。

今ほどITに恵まれていない約20年前から同様の問題がありました。逆に、すぐれた洞察力さえあれば、IT化が貧弱でもどうにかなります。

今回のまとめ

今回は、「データ活用で忘れてはいけないこと。それは最後は洞察力がものをいうということ」というお話しをしました。

AI（人工知能）化がどんに進んでも、しばらくは洞察力は人間が担う必要がありそうです。

なぜならば、現在のAI（人工知能）には、データ化されていないことは考慮できない、という弱点があるからです。そのデータ化されていないことも含めて世の中を見る力が洞察力です。そもそも、データは、人間の洞察力を高めるのに有用です。全く見当のつかなかったことが、データによって見通しが良くなることがあります。洞察力をサポートしてくれる存在です。

すでにそうですが、人間の体力を酷使する肉体労働の時代から、人間の頭脳を酷使する知的労働の時代へと、これからは益々突き進みそうです。そして、ビッグデータの時代は、データを絡めた高度な知的労働（洞察力）の時代だと思います。

そういうこともあり、今の小学生から高校生にかけて学校で、統計学・データ分析教育がなされているのだと思います。

ぜひ小学生6生向けの教科書やドリルを、一度眺めてみることをお勧めします。それなりに頭を使います。以下は、「ちびむすドリル」というサイトに掲載されている、小学生6年生向けの統計学習の問題です。

小学6年生の算数 【資料の調べ方｜度数分布表・柱状グラフ】 練習問題プリント
http://happylilac.net/keisan-siryo.html