なぜ多くのデータサイエンティストが仕事を辞めるのか

By Jonny Brooks.

Vote in KDnuggets Poll inspired by this post:
Data Science / Machine Learning / Data Profession Job Satisfaction

Why so many data scientists are leaving their jobs

Yes, I am a data scientist and yes, you did read the right title but someone had to say it.と、私はデータサイエンティストですが、このタイトルは正しく読んでいただけましたか？データサイエンスは21世紀の最も重要な仕事であり、データサイエンティストとして稼げる金額は魅力的であるという話をよく目にするので、絶対的な夢の仕事のように思えるかもしれません。この分野には、複雑な問題を解決するためにオタクになるような高度なスキルを持つ人々がたくさんいることを考慮すると（そう、「オタクになる」ことはポジティブなことです）、この仕事には魅力がいっぱいです。さらに、この記事では、「機械学習の専門家は、新しい仕事を探していると答えた開発者のリストのトップで、14.3%だった」とも述べられています。データサイエンティストは僅差の13.2%だった。” これらのデータは、Stack Overflowが64,000人の開発者に基づく調査で集めたものです。

私もその立場にあり、私自身も最近データサイエンスの仕事を変えました。

では、なぜ多くのデータ科学者が新しい仕事を探しているのか。

その質問に答える前に、私がまだデータ科学者であることを明らかにしておくべきです。全体として、私はこの仕事が大好きですし、データサイエンティストを目指す他の人たちを落胆させたくはありません。なぜなら、この仕事は楽しく、刺激的で、やりがいのあるものだからです。この記事の目的は、悪魔の代弁者として、この仕事のマイナス面をいくつか暴露することです。

私の視点から、多くのデータサイエンティストが自分の仕事に不満を抱いていると思う4つの大きな理由を紹介します。

Expectation does not match reality
Politics reigns supreme
3) データに関することは何でも相談できる人
4) 孤立したチームで働く

Expectation does not match reality

Big data is like teenage sex: everyone talks about it, nobody really knows how to do it, everyone thinks everyone else is doing it, so everyone claims they are doing it… – Dan Ariely

この言葉はとてもしっくりきますね。私が知っている多くの若手データサイエンティスト (私自身を含む) は、データサイエンスに入りたいと考えていました。それは、ビジネスに大きな影響を与えるクールな新しい機械学習アルゴリズムで複雑な問題を解決することがすべてだったからです。これは、自分たちがやっている仕事が、これまでやってきたことよりも重要だと感じるチャンスだったのです。

私の考えでは、期待と現実が一致していないことが、多くのデータサイエンティストが退職する究極の理由です。

企業によって異なるので、すべてを語ることはできませんが、多くの企業は、AIから価値を引き出し始めるための適切なインフラが整っていない状態でデータサイエンティストを採用しています。これは、AIのコールドスタート問題の一因となっています。これに、これらの企業が後輩を雇う前にシニア/経験豊富なデータ実務者を雇うことに失敗しているという事実が加わると、今度は両者にとって幻滅し、不幸な関係のレシピができあがります。データサイエンティストは、インサイトを引き出すための優れた機械学習アルゴリズムを書くために入社したはずですが、最初の仕事がデータインフラの整理や分析レポートの作成であるため、それを行うことができないのです。一方、企業側は、毎日の取締役会で発表できるようなグラフが欲しいだけです。

私の考えでは、期待と現実が一致していないことが、多くのデータサイエンティストが退職する究極の理由だと思います。

企業によって異なるので、すべてを語ることはできませんが、多くの企業は、AIから価値を引き出し始めるための適切なインフラが整っていない状態でデータサイエンティストを雇用しています。これは、AIのコールドスタート問題の一因となっています。これに、これらの企業が後輩を雇う前にシニア/経験豊富なデータ実務者を雇うことに失敗しているという事実が加わると、今度は両者にとって幻滅し、不幸な関係のレシピができあがります。データサイエンティストは、インサイトを引き出すための優れた機械学習アルゴリズムを書くために入社したはずですが、最初の仕事がデータインフラの整理や分析レポートの作成であるため、それを行うことができないのです。一方、企業側は、毎日の取締役会で発表できるようなグラフが欲しいだけです。

Robert Chang は、若手のデータサイエンティストにアドバイスを与える自身のブログ投稿で、非常に洞察に満ちた引用を行いました。

これは、雇用者とデータサイエンティストの間の双方向の関係を強調するものです。

興味のある方は、Samson Hu が Wish で分析チームがどのように構築されたかについて素晴らしい連載をしており、私も非常に洞察に満ちた内容だと感じました。私は、会社の中だけでなく、あらゆる場所の人々に大きな影響を与えることができると信じていました。現実には、会社の中核事業が機械学習でない場合（私の前職はメディア出版社です）、あなたが行うデータサイエンスは小さな増分しか得られない可能性が高いのです。これらが積み重なって非常に重要なものになることもあれば、幸運にも金鉱のプロジェクトに行き当たることもありますが、これはあまり一般的ではありません。

Politics reigns supreme

政治の問題は、すでにそれ専用の素晴らしい記事になっています。データサイエンスで最も困難なこと：政治」をぜひ読んでみてください。その記事の最初の数文が、私が言いたいことをほぼ要約しています:

Support Vector Machines を勉強するために朝 6 時に起きていたとき、私は思いました。「これは本当に大変だ! でもね、少なくとも、将来の雇用主にとって、私はとても貴重な存在になるんだ！」と思いました。もし私がデロリアンを手に入れられるなら、過去に戻って自分に「ブルズ○ット！」と言いたいです。

機械学習アルゴリズムをたくさん知っていれば、最も価値のあるデータサイエンティストになれると本気で考えているなら、上記の最初のポイントに戻ります。つまり、適切な人があなたに対して正しい認識を持つように、データベースから数字を取得して適切な人に適切なタイミングで渡したり、簡単なプロジェクトを行ったりといった、その場しのぎの仕事を常にしなければならないかもしれないのです。私は前の職場で、このようなことをよくしていました。

3) データに関することは何でも相談できる人

正しい人を喜ばせるために何でもすることに続いて、すべての影響力を持つまさに同じ人が、「データサイエンティスト」の意味を理解していないことが多いのです。これは、あなたが分析の専門家であると同時に、レポート作成の専門家でもあり、さらにデータベースの専門家であることを忘れてはならないことを意味します。技術系の他の同僚は、あなたがデータ関連のすべてを知っていると思い込んでいます。 Spark, Hadoop, Hive, Pig, SQL, Neo4J, MySQL, Python, R, Scala, Tensorflow, A/B Testing, NLP, 機械学習（その他データ関連で思いつくものは何でも）-ちなみに、これらすべてが書かれた求人情報を見たら、近づかないようにしましょう。データ担当者を雇えばすべてのデータ問題が解決すると考えているため、誰でも雇おうとしているのです。あなたはこれらすべてを知っており、明らかにすべてのデータにアクセスできるので、すべての質問に対する答えを……そう、5分前に関係者の受信トレイに届いているはずなのです。誰かが実際にあなたを低く評価するからではなく、業界経験の少ない若手データサイエンティストとして、人々があなたを低く評価することを心配するからです。 3078>

4) 孤立したチームで働く

成功したデータ製品を見るとき、私たちはしばしば、知的機能を備えた専門的に設計されたユーザーインターフェイスと、最も重要な、少なくともユーザーによって適切な問題を解決すると認識される有用なアウトプットを目にすることがあります。もし、データサイエンティストが機械学習アルゴリズムの書き方や実行方法を学ぶことだけに時間を費やすなら、価値ある製品を生み出すプロジェクトを成功に導くチームのほんの一部（必要ではあるが）にしかなれないだろう。つまり、孤立して働くデータサイエンスチームは、価値を提供するのに苦労するということです！

にもかかわらず、多くの企業は、問題を解決しようとするために独自のプロジェクトを考え、コードを書くデータサイエンスチームをまだ持っています。場合によっては、これで十分なこともあります。たとえば、必要なものが四半期に1回作成される静的なスプレッドシートだけであれば、ある程度の価値を提供することができます。一方、特注のウェブサイト構築製品でインテリジェントな提案を最適化することが目的であれば、多くの異なるスキルが必要となり、大多数のデータサイエンティストには期待できない（これを解決できるのは、真のデータサイエンスユニコーンだけである）。

したがって、産業界で効果的なデータサイエンティストになるには、Kaggleコンテストで好成績を収め、オンラインコースを修了するだけでは十分ではありません。幸いなことに (見方にもよりますが)、ビジネスにおける階層と政治の仕組みを理解することが必要です。自分のクリティカル・パスに沿った企業を見つけることは、自分のニーズを満たすデータ・サイエンスの仕事を探す際の重要な目標になるはずです。しかし、それでも、データサイエンスの役割に期待することを再調整する必要があるかもしれません。

追加のコメント、質問、反論がある方は、お気軽にコメントしてください。建設的な議論は、意欲的なデータ科学者が自分のキャリアパスについて十分に情報に基づいた決定を下すために必要だからです。

私があなたを遠ざけることになっていないことを願っています。読んでくださってありがとうございます 🙂

生物学。 Jonny Brooks, @Jonny_CBB は、博士課程の学生で、希望に満ちたデータサイエンティストです。機械学習アルゴリズム、科学コミュニケーション、アメリカンフットボールをこよなく愛する。

オリジナル。許可を得て再掲載。