技術と人材の融合:AIで実現する新しいコンピテンシーアプローチ
目次[非表示]
- 1.はじめに
- 2.なぜコンピテンシーが重要なのか
- 3.コンピテンシーを高めるために
- 4.生成AIによるコンピテンシー振り返りの仕組みづくり
- 4.1.生成AIは無限に働いてくれる
- 4.2.生成AIは感情がない
- 5.汎用的な知識に企業情報などを追加したい
- 6.プロンプトを考える
- 7.実際に使用したプロンプト文
- 7.1.運用方法
- 7.2.ポイント
- 7.3.実際の運用例をご紹介します
- 8.運用してみた結果
- 9.まとめ
- 9.1.参考文献
はじめに
こんにちは、DIVXの山坂です。
今回は、AIを活用してメンバーの業務や行動を客観的に振り返る仕組みを構築し、生産性向上に取り組んだ事例をご紹介します。
まず、この取り組みの背景についてお話しします。
弊社では、業務遂行におけるスキルや実績の評価に加え、コンピテンシーによる評価を導入しています。
コンピテンシーの定義は組織や企業によって異なりますが、弊社では次のように定義しています。
コンピテンシー(能力)とは、職種間で共通する能力であり、個別の「スキル」と対比して、より普遍的な性質を持つもの。
つまり、エンジニアリングや営業といった専門スキルではなく、職種を超えて求められる総合的な能力をコンピテンシーと呼んでいます。
なぜコンピテンシーが重要なのか
入社から数年が経ち、私は自身の成長だけでなく、チームメンバーの成長という観点から、より生産性の高い組織づくりを模索してきました。その過程で、「コンピテンシーこそがメンバーの成長と生産性向上の鍵になるのではないか」という仮説に至りました。
この仮説に至った背景を、私の経歴からお話しします。
私は弊社に入社する前に異業種で数年間の社会人経験があります。
エンジニアとは全く異なる業界でしたが、そこでも仕事のできる人とそうでない人がいました。
興味深いことに、その異業種で活躍していた社員と、弊社で優れた実績を残している社員には、共通する特徴があることに気づきました。
異なる業種であるため専門スキルは当然違いますが、行動様式に「共通のパターン」のようなものが見られました。
特に、顧客対応、仕事への取り組み方、問題解決のプロセスなど、成果を上げる上で重要なポイントには強い類似性があるように感じました。
これは具体的な「やり方」や「方法」というよりも、「物事の捉え方・考え方」という本質的なレベルでの共通点です。
端的に言えば、「仕事ができる人が共通して持っている力」です。
このような思考のフレームワークこそが「コンピテンシー」であり、高いコンピテンシーを意識した行動を心がけることで、メンバーのさらなる成長が期待できると考えました。
コンピテンシーを高めるために
コンピテンシーを高めることの重要性が明確になった今、次は「どのようにコンピテンシーを向上させるか」を検討する必要があります。
最初に思いついたのは、「評価者に直接見てもらい、フィードバックを受けること」でした。評価者が直接メンバーの行動を確認することで評価材料が増え、即座にフィードバックを得られることで、改善点を早期に修正できると考えました。
しかし、この方法には以下の課題があると判断しました。
- 単純に評価者(上司)の業務負担が増大する
- 私は、部下の役割は「いかに上司の仕事を減らせるか」だと考えています。上司の仕事を引き受けるくらいの意気込みで取り組むことで、自身の成長機会を得られ、同時に上司がより高度な判断や思考を要するタスクに注力できるようになります。上司が自発的にメンバーの仕事ぶりを観察してアドバイスすることは有益ですが、メンバーが細かな報告を逐一行い、それに対して詳細なアドバイスを求めることは効率的ではないと考えます。
- 評価基準の一貫性維持が困難
- 前職の教育事業での経験から、他者評価の難しさを理解しています。日々変化する業務環境の中で、常に的確な評価とフィードバックを行うことは極めて困難です。通常、業務記録、自己分析、他の上司の意見、業績などを総合的に判断して評価を行いますが、これを毎日実施するのは現実的ではありません。
- 良好な人間関係が前提となる
- これは「嫌いな上司がいる」という意味ではありません。しかし、ビジネスの場では意見の対立や相性の違いは避けられず、常に良好な信頼関係を維持できるとは限りません。どれほど論理的に説明しても、人間は感情に影響されやすいものです。そのため、振り返りやアドバイスの時間が当事者にとって有益でなければ意味がありません。
そこで、上司やメンバーに過度な負担をかけることなく、各自が日常的に自身の行動を振り返り、コンピテンシーの向上を確認できる仕組みの構築を目指すことにしました。この課題に対して、生成AIの活用が有効な解決策になると考えました。
生成AIによるコンピテンシー振り返りの仕組みづくり
生成AIは無限に働いてくれる
生成AIは、予算の範囲内で際限なく活用できます。どれだけ多くの質問や評価タスクを依頼しても問題ありません。直属の上司からの評価と比べると精度は若干劣るかもしれませんが、適切な前提情報を与えることで、メンバーの効果的な振り返りツールとして機能すると考えました。
生成AIは感情がない
生成AIは感情があるかのように振る舞うこともありますが、人間のような感情はありません。そのため、AIと人間の間に人間関係は存在しません。
AIは常に私たちにとっての良き秘書であり、副操縦士(コパイロット)のような存在です。
そのため、AIが感情的なフィードバックをすることもなく、受け取る側も感情的バイアスにとらわれることなくアドバイスを受けられます。
これは、生成AIならではの活用ポイントだと考えています。
(注)人間における倫理観などの学習が不十分な一部の生成AIは感情的な表現をすることもありますが、ここではOpenAIのChatGPTなどの商用化された大規模言語モデルを指しています。
汎用的な知識に企業情報などを追加したい
OpenAIのChatGPTをはじめとする汎用AIは一般的な知識を持っていますが、特定の企業や団体に関する情報は訓練データに依存します。
そのため、「世間一般的なコンピテンシーとは何か?」という質問には回答できても、「弊社(DIVX)におけるコンピテンシーとは何か?」といった問いには答えられません。
特定の企業の情報など、一般に公開されていない情報に基づいてAIに回答させるには工夫が必要です。
生成AIに新しい知識に基づいて回答させるための手段はいくつか存在しており、代表的なものとしてプロンプトエンジニアリング、RAG、ファインチューニングなどがあります。
今回私が採用したのは、プロンプトで情報をAIに与えて回答を生成させる方法です。
この方法を選んだ理由は、工数と費用を大幅に抑えられるからです。
プロンプトであれば、必要な情報をそのままプレーンテキストで用意するだけで済みます。
一方でRAGやファインチューニングは、推論やタスクの実行においてプロンプト入力よりも優れた結果を出せることもありますが、実装コストがかかります。
今回は実験的な試みだったため、まずは最も低コストで実現可能な方法を選択しました。
今後の検証でコストに見合う効果が確認できれば、RAGを用いて情報をベクトルデータベースで保管するなどの方法も検討したいです。
プロンプトを考える
プロンプトとしてどのような文章を入力するか考える上で、Best practices for prompt engineering with the OpenAI APIという記事が非常にわかりやすかったです。プロンプトを活用しようと考えている方にはおすすめです。
また、hugging faceの記事What's going on with the Open LLM Leaderboard?の中には、下記の違いによっても出力結果やAIモデル同士の優劣が異なることが述べられています。
- 質問の間に空白があるかないか
- 質問の前に“Question”という言葉を入れているか
- 指示、タスクの説明が入っているか否か
このように人間にとっては微妙な違いでも、生成AIにとっては推論に影響をもたらす要素があります。また、人間と同じように「step by step」で推論させることで、出力の精度を上げる方法も見つかっています(この手法をChain of ThoughtやCoTと呼びます)。つまり、現時点での「良い出力を得られるプロンプトの入力方法」は見つかっているものの、これが絶対的に正しいとか、推論結果に関係ないとかは、まだまだ研究段階だといえるでしょう。
また、巷ではAIに「役割」を与えることで出力精度を向上させることができると書かれている記事もみかけますが、今回私が探した論文やwebページには、明確にどのような役割を与えることで精度が向上したのかについて言及しているものは見つかりませんでした。
実際に使用したプロンプト文
それでは、私たちのチームが実際に使用しているプロンプトをご紹介します。
運用方法
- [scenario]をメンバーが考えて投稿する
- [scenario]には、顧客とのミーティングやタスクでの困難など、実際に経験した課題や今後直面する可能性のある問題について、できるだけ具体的に記述してもらいます。
- メンバー全員が[answer]を考えて入力し、AIに回答を生成してもらう
- Slack等で[scenario]を共有後、弊社開発の生成AIアプリ「DIVX GAI」に各自で[answer]を入力し、回答を生成させます。
- [answer]と出力結果をGoogle Form等で提出し、上長が週に一度全体フィードバックを実施
- 個別の課題がある場合は1on1を設定して対応します
ポイント
- [input]や[advice]で、AIに期待する理解と行動を明確に指示
- これはBest practices for prompt engineering with the OpenAI APIの以下の原則に基づいています。
- Articulate the desired output format through examples(例を挙げて望ましい出力形式を明確にする)
- Be specific, descriptive and as detailed as possible about the desired context, outcome, length, format, style, etc (望ましい状況、結果、長さ、形式、スタイルなどについて、できるだけ具体的かつ詳細に記述すること)
- これはBest practices for prompt engineering with the OpenAI APIの以下の原則に基づいています。
- [input]におけるコンピテンシーの説明を詳細に記述
- 同サイトの次の原則を参考にしています。
- Reduce "fluffy" and imprecise descriptions(曖昧な説明や不正確な説明を減らす)
- なお、弊社独自のコンピテンシー定義は学習データとして転用されることを避けるため、弊社開発の「DIVX GAI」で運用しています。オープンな商用AIをご利用の方は、コンプライアンスに十分ご注意ください。
- 同サイトの次の原則を参考にしています。
また[role]については、論文での裏付けは見つかっていませんが、経験的に出力精度が向上すると感じられたため採用しています(今後改善の余地があるかもしれません)。
実際の運用例をご紹介します
メンバーの一人から許可を得て、具体的な運用事例をお見せします。
[scenario]には、業務で直面する典型的な課題や状況を記載しています。
[answer]は、メンバーの実際の回答内容です。
これに対するAIからの回答
明日から実践できる具体的なアクションプラン
汎用AIとプロンプトを組み合わせることで、より的確で客観的なアドバイスを生成できるようになりました。
メンバーは自身の回答とAIからのアドバイス、「明日から実践できる具体的なアクションプラン」をGoogle Formに入力し、上司に提出します。
「明日から実践できる具体的なアクションプラン」は、AIの回答を受けてメンバーそれぞれが自分なりに考えたものを記載してもらいます。
この項目を設けた理由は、AIの回答に対してメンバー一人一人が主体的に活用方法を考えられるようにするためです。
また、[scenario]を毎週メンバーが持ち回りで考えることも重要なポイントです。
「ビジネスシーンでよくあるリアルな状況」を考えることで、メンバーが自分の立場だけでなく、チーム内の様々な役割の視点から仕事や状況を想像できる、イメージトレーニングの機会にもなっています。
このように[scenario]を考え、[answer]を入力し、AIのアドバイスを受け、具体的なアクションプランを立てることで、着実なステップアップにつながると考えています。また、回答内容をGoogle Formで上長に共有することで、上長が感じている課題とAIの分析に差異があれば修正でき、AIの回答が適切な場合はそれを基にしたアドバイスができるため、効果的な仕組みと考えます。
運用してみた結果
手応えはあり、しかし運用面で改善が必要
生成AIによるコンピテンシーの振り返りは、メンバーと上長の双方から概ね高評価でした。特に評価された点は、上司やメンバーへの過度な負担がないこと、メンバーが自身の行動を振り返りAIによる客観的な評価を通じて「DIVXとしてのあるべき姿」とのギャップを把握できること、そして上長からは回答の精度の高さが挙げられました。また、Google Formで回答を集計しチームメンバーが閲覧できるようにしたことで、「この状況でこの人はこう判断・行動するのか」「より適切な行動はこうだな」といった気づきが生まれ、メンバーの思考や行動について考える貴重な機会となりました。
一方で課題も見えてきました。設定した[scenario]によってはメンバー全員にとって切実な課題として捉えられない場合があること、また客観的には適切な判断が分かっていても、実際の状況で正しく判断できるか自信が持てないという声がありました。
例えば、[scenario]がPM業務に関するシーンの場合、開発タスクを中心に進めるメンバーにとってはイメージがつきにくいという指摘がありました。
この点については、確かに定常業務ではイメージしづらい面があります。しかし、様々な役割のメンバーがどのような状況に直面し、どう行動するのかを考えることには大きな意義があります。そのため、タスク遂行に関わるチームメンバー同士が互いの背景を理解しながら業務を進める文化を育てていきたいと考えています。
また、シミュレーションと実践のギャップは避けられない課題ですが、事前に想定し考えを巡らせた経験は必ず実践に活きてきます。今後、メンバーがより高い有用性を感じられるよう、運用方法を段階的に改善していきます。
まとめ
今回の記事では、DIVXにおけるコンピテンシー評価の一環として、AIを活用したメンバーの内省力を高める取り組みをご紹介しました。生成AIを活用し、メンバーが日常的に自らの行動を振り返ることで、組織が求める「あるべき姿」とのギャップを客観的に評価できる仕組みを構築しました。
この記事が、他の企業や組織においてもAIを活用した業務改善のヒントとなれば幸いです。今後も、社内外を問わずクリエイティブな課題解決の手段としてAIを活用していきます。