データ・サイエンティストのブームは終焉を迎えるのか？

私もOracle BIEE案件を担当していましたが、最近はデータ・サイエンティスト、AI、SAP、PM案件が溢れていますね。

—————

データ・サイエンティストのブームは終焉を迎えるのか？
オラクル・コーポレーションマーガレット・ハリスト
ソフトウェアなどのツールがずいぶん進化したことで、ビッグデータから価値を生み出すことが容易になりつつある。その結果、“データ・サイエンティスト”と呼ばれるデータ分析の専門家に対する逼迫した需要が緩和することになるかもしれない。
あらゆることがデータから導かれる時代、その進化のスピードに対する要求は高い。LinkedInで検索すると、米国内だけでも3万件以上のデータ・サイエンティスト職の求人が出ている。これらの求人では、次の3つの特徴的なスキルが求められている。
• 主に事業部門で雇用される、ビジネスに精通したデータ・サイエンティスト。
• 主にIT部門で雇用される、統計解析ツールを使いこなせるプログラマ型のデータ・サイエンティスト。
• 主にスタートアップ企業やマーケティング・エージェンシで雇用される、仮説モデルや数理モデルの構築ができるアルゴリズムの専門家

これらの3つの能力を兼ね備えた人材は極めて稀だが、にもかかわらず多くの求人ではこの3つのスキルのすべてが条件に挙げられている。しかし、ビッグデータのツールが使いやすくなるにつれて、企業では、これらの高度に専門的かつ希少なスキルを持ったデータ・サイエンティストが以前ほどは必要とされなくなるだろうと、オラクルのプロダクト・マネジメント担当バイスプレジデントであるジェフ・ポロック（Jeff Pollock）は述べている。
ビッグデータの黎明期には、アルゴリズムは統計解析言語の「R」などで逐次処理しなければならなかった。そして、次の工程のためにデータをHadoopにロードする必要があったが、これはコンピュータの入出力処理に大きな負荷をかけることを意味していた。
「いまではRのアルゴリズムのほとんどは並列化されたビッグデータ環境に移植されているので、以前のような過大なデータ入出力処理に煩わされることはなくなりました。データごとにいちいちアルゴリズムを調整するのではなく、アルゴリズムをそのままデータに適用すればいいのです」、とポロックは強調する。
これはまた、複雑な統計解析のプロセスを多くの小さなプロジェクトに分割して、それらを同時並行で進められるようになることを意味している。
「このようなツールはつい数年前までは存在しませんでした。データ分析を行うには、統計モデルを作ってカスタマイズしたり自分でプログラムを書いたりと、何もかもゼロから始める必要があったのです」とポロックは語る。これがまさに、データ・サイエンティストへの引き合いが爆発的に増加した理由だ。
“Oh, Say Can You See ~ さあ、見えるだろうか”
もうひとつの大きな変化は、（例えば「Oracle Big Data Discovery」のような）データ視覚化ツールの登場である。これらのツールによって、ITの専門スキルのない一般のビジネス・パーソンであっても、Hadoopやデータ・ウェアハウスに格納された膨大な非構造化データおよび構造化データを容易に分析できるようになった。データの解析やグラフ化を裏で支えている統計モデルや機械学習のライブラリについて、もはやその存在を意識する必要すらないのである。
「業務部門のユーザーは、定型的な分析や日次あるいは週次レポートの作成に向いた従来型のレポーティング・ツールを使うのに慣れています。一方で、データ・ディスカバリー・ツールとは、データ・サイエンティストが問題発見のために使うのに適したツールなのです」と、ポロックは述べている。
例えば、在庫管理のマネージャーが、季節ごとのパターンや気候、イベントなどの条件を加味して売れ筋商品を予測したいといった場合、データ・ディスカバリー・ツールが力を発揮する。誰も考えつかなかったような相関関係を、データから見出すことができるのだ。Walmartにおける初期の事例として、ハリケーンが近づいているときには菓子「Pop-Tarts」のストロベリー味が最もよく売れたという分析結果がある。もしデータ・ディスカバリーや統計解析がなければ、誰がこんな相関関係を思いついただろうか。
いまでは、使いやすいデータ・ディスカバリー・ツールによって、普通のビジネス・パーソンでもこのようなパターン分析をできるようになった。そのために数学や統計学の博士号が必要だった時代は去ったといえよう。
変化はすでに起きている
ビッグデータの技術とツールが成熟するにつれ、データ・サイエンティストへの需要は減少していくのだろうか。最近発表された2つのアナリスト・レポートに注目したい。
• Gartnerのレポートによると、今後2年で75%以上の企業が、ビッグデータ分析に投資する、もしくは投資を検討しているとしている。また、これらのプロジェクトの約半数は、CIOではなく事業部門長がリードする取り組みである。
• Ovumは、2019年までにビッグデータ関連ソフトウェアの市場規模が6倍近くに成長するだろうと予測している。Ovumのプラクティス・リーダーでレポートの著者でもあるトム・プリングル（Tom Pringle）は、「ビッグデータの実験段階はすでに終わろうとしています。企業では、期待するビジネス上の価値を実現するために、ビッグデータのテクノロジーを正式に活用しようとする実用段階に移りつつあるのです」と述べている。
あらゆることがデータに導かれるこのビジネス環境で、数学者や統計の専門家の活躍の場がなくなることはないだろう。だが、ポロックは次のように語る。「彼らがフォーカスすべきなのは、Hadoopのスーパー・ヒーローになることではなく、その専門知識をフルに活かして、さらに高度な予測モデルを構築することなのです」