DIVX テックブログ

catch-img

技術と人材の融合:AIで実現する新しいコンピテンシーアプローチ


目次[非表示]

  1. 1.はじめに
  2. 2.なぜコンピテンシーが重要なのか
  3. 3.コンピテンシーを高めるために
  4. 4.生成AIによるコンピテンシー振り返りの仕組みづくり
    1. 4.1.生成AIは無限に働いてくれる
    2. 4.2.生成AIは感情がない
  5. 5.汎用的な知識に企業情報などを追加したい
  6. 6.プロンプトを考える
  7. 7.実際に使用したプロンプト文
    1. 7.1.運用方法
    2. 7.2.ポイント
    3. 7.3.実際の運用例をご紹介します
  8. 8.運用してみた結果
    1. 8.1.手応えはあり、しかし運用面で改善が必要
  9. 9.まとめ
    1. 9.1.参考文献

はじめに

こんにちは、DIVXの山坂です。
今回は、AIを活用してメンバーの業務や行動を客観的に振り返る仕組みを構築し、生産性向上に取り組んだ事例をご紹介します。
まず、この取り組みの背景についてお話しします。
弊社では、業務遂行におけるスキルや実績の評価に加え、コンピテンシーによる評価を導入しています。
コンピテンシーの定義は組織や企業によって異なりますが、弊社では次のように定義しています。
コンピテンシー(能力)とは、職種間で共通する能力であり、個別の「スキル」と対比して、より普遍的な性質を持つもの。
つまり、エンジニアリングや営業といった専門スキルではなく、職種を超えて求められる総合的な能力をコンピテンシーと呼んでいます。

なぜコンピテンシーが重要なのか

入社から数年が経ち、私は自身の成長だけでなく、チームメンバーの成長という観点から、より生産性の高い組織づくりを模索してきました。その過程で、「コンピテンシーこそがメンバーの成長と生産性向上の鍵になるのではないか」という仮説に至りました。
この仮説に至った背景を、私の経歴からお話しします。
私は弊社に入社する前に異業種で数年間の社会人経験があります。
エンジニアとは全く異なる業界でしたが、そこでも仕事のできる人とそうでない人がいました。
興味深いことに、その異業種で活躍していた社員と、弊社で優れた実績を残している社員には、共通する特徴があることに気づきました。
異なる業種であるため専門スキルは当然違いますが、行動様式に「共通のパターン」のようなものが見られました。
特に、顧客対応、仕事への取り組み方、問題解決のプロセスなど、成果を上げる上で重要なポイントには強い類似性があるように感じました。
これは具体的な「やり方」や「方法」というよりも、「物事の捉え方・考え方」という本質的なレベルでの共通点です。
端的に言えば、「仕事ができる人が共通して持っている力」です。
このような思考のフレームワークこそが「コンピテンシー」であり、高いコンピテンシーを意識した行動を心がけることで、メンバーのさらなる成長が期待できると考えました。

コンピテンシーを高めるために

コンピテンシーを高めることの重要性が明確になった今、次は「どのようにコンピテンシーを向上させるか」を検討する必要があります。
最初に思いついたのは、「評価者に直接見てもらい、フィードバックを受けること」でした。評価者が直接メンバーの行動を確認することで評価材料が増え、即座にフィードバックを得られることで、改善点を早期に修正できると考えました。
しかし、この方法には以下の課題があると判断しました。

  • 単純に評価者(上司)の業務負担が増大する
    • 私は、部下の役割は「いかに上司の仕事を減らせるか」だと考えています。上司の仕事を引き受けるくらいの意気込みで取り組むことで、自身の成長機会を得られ、同時に上司がより高度な判断や思考を要するタスクに注力できるようになります。上司が自発的にメンバーの仕事ぶりを観察してアドバイスすることは有益ですが、メンバーが細かな報告を逐一行い、それに対して詳細なアドバイスを求めることは効率的ではないと考えます。
  • 評価基準の一貫性維持が困難
    • 前職の教育事業での経験から、他者評価の難しさを理解しています。日々変化する業務環境の中で、常に的確な評価とフィードバックを行うことは極めて困難です。通常、業務記録、自己分析、他の上司の意見、業績などを総合的に判断して評価を行いますが、これを毎日実施するのは現実的ではありません。
  • 良好な人間関係が前提となる
    • これは「嫌いな上司がいる」という意味ではありません。しかし、ビジネスの場では意見の対立や相性の違いは避けられず、常に良好な信頼関係を維持できるとは限りません。どれほど論理的に説明しても、人間は感情に影響されやすいものです。そのため、振り返りやアドバイスの時間が当事者にとって有益でなければ意味がありません。

そこで、上司やメンバーに過度な負担をかけることなく、各自が日常的に自身の行動を振り返り、コンピテンシーの向上を確認できる仕組みの構築を目指すことにしました。この課題に対して、生成AIの活用が有効な解決策になると考えました。

生成AIによるコンピテンシー振り返りの仕組みづくり

生成AIは無限に働いてくれる

生成AIは、予算の範囲内で際限なく活用できます。どれだけ多くの質問や評価タスクを依頼しても問題ありません。直属の上司からの評価と比べると精度は若干劣るかもしれませんが、適切な前提情報を与えることで、メンバーの効果的な振り返りツールとして機能すると考えました。

生成AIは感情がない

生成AIは感情があるかのように振る舞うこともありますが、人間のような感情はありません。そのため、AIと人間の間に人間関係は存在しません。
AIは常に私たちにとっての良き秘書であり、副操縦士(コパイロット)のような存在です。
そのため、AIが感情的なフィードバックをすることもなく、受け取る側も感情的バイアスにとらわれることなくアドバイスを受けられます。
これは、生成AIならではの活用ポイントだと考えています。
(注)人間における倫理観などの学習が不十分な一部の生成AIは感情的な表現をすることもありますが、ここではOpenAIのChatGPTなどの商用化された大規模言語モデルを指しています。

汎用的な知識に企業情報などを追加したい

OpenAIのChatGPTをはじめとする汎用AIは一般的な知識を持っていますが、特定の企業や団体に関する情報は訓練データに依存します。
そのため、「世間一般的なコンピテンシーとは何か?」という質問には回答できても、「弊社(DIVX)におけるコンピテンシーとは何か?」といった問いには答えられません。
特定の企業の情報など、一般に公開されていない情報に基づいてAIに回答させるには工夫が必要です。
生成AIに新しい知識に基づいて回答させるための手段はいくつか存在しており、代表的なものとしてプロンプトエンジニアリング、RAG、ファインチューニングなどがあります。
今回私が採用したのは、プロンプトで情報をAIに与えて回答を生成させる方法です。
この方法を選んだ理由は、工数と費用を大幅に抑えられるからです。
プロンプトであれば、必要な情報をそのままプレーンテキストで用意するだけで済みます。
一方でRAGやファインチューニングは、推論やタスクの実行においてプロンプト入力よりも優れた結果を出せることもありますが、実装コストがかかります。
今回は実験的な試みだったため、まずは最も低コストで実現可能な方法を選択しました。
今後の検証でコストに見合う効果が確認できれば、RAGを用いて情報をベクトルデータベースで保管するなどの方法も検討したいです。

プロンプトを考える

プロンプトとしてどのような文章を入力するか考える上で、Best practices for prompt engineering with the OpenAI APIという記事が非常にわかりやすかったです。プロンプトを活用しようと考えている方にはおすすめです。
また、hugging faceの記事What's going on with the Open LLM Leaderboard?の中には、下記の違いによっても出力結果やAIモデル同士の優劣が異なることが述べられています。

  • 質問の間に空白があるかないか
  • 質問の前に“Question”という言葉を入れているか
  • 指示、タスクの説明が入っているか否か

プロンプトの微妙な違いを表す図

このように人間にとっては微妙な違いでも、生成AIにとっては推論に影響をもたらす要素があります。また、人間と同じように「step by step」で推論させることで、出力の精度を上げる方法も見つかっています(この手法をChain of ThoughtやCoTと呼びます)。つまり、現時点での「良い出力を得られるプロンプトの入力方法」は見つかっているものの、これが絶対的に正しいとか、推論結果に関係ないとかは、まだまだ研究段階だといえるでしょう。
また、巷ではAIに「役割」を与えることで出力精度を向上させることができると書かれている記事もみかけますが、今回私が探した論文やwebページには、明確にどのような役割を与えることで精度が向上したのかについて言及しているものは見つかりませんでした。

実際に使用したプロンプト文

それでは、私たちのチームが実際に使用しているプロンプトをご紹介します。

[input]
コンピテンシーとは
社員として求められる「考え方」や「特性・特徴」・「癖」などをまとめたもの
以下、弊社におけるコンピテンシーの定義を記載します。
こちらに関しては今回は割愛します。
[role]
あなたは、株式会社DIVXの人事部に所属しています。
これから、[scenario]と[answer]が与えられます。
あなたは、人事部として[input]を参照して、[advice]を回答してください。
[advice]
1.[scenario]に対して考慮できるコンピテンシー(複数可)
2.1の根拠
3.answerは5段階の点数の何点に該当するか
4.3の根拠
5.それらを踏まえて、1つ上の点数をとるための具体的なアクションプランやアドバイス


運用方法

  • [scenario]をメンバーが考えて投稿する
    • [scenario]には、顧客とのミーティングやタスクでの困難など、実際に経験した課題や今後直面する可能性のある問題について、できるだけ具体的に記述してもらいます。
  • メンバー全員が[answer]を考えて入力し、AIに回答を生成してもらう
    • Slack等で[scenario]を共有後、弊社開発の生成AIアプリ「DIVX GAI」に各自で[answer]を入力し、回答を生成させます。
  • [answer]と出力結果をGoogle Form等で提出し、上長が週に一度全体フィードバックを実施
    • 個別の課題がある場合は1on1を設定して対応します

ポイント

  • [input]や[advice]で、AIに期待する理解と行動を明確に指示
    • これはBest practices for prompt engineering with the OpenAI APIの以下の原則に基づいています。
      • Articulate the desired output format through examples(例を挙げて望ましい出力形式を明確にする)
      • Be specific, descriptive and as detailed as possible about the desired context, outcome, length, format, style, etc (望ましい状況、結果、長さ、形式、スタイルなどについて、できるだけ具体的かつ詳細に記述すること)
  • [input]におけるコンピテンシーの説明を詳細に記述
    • 同サイトの次の原則を参考にしています。
      • Reduce "fluffy" and imprecise descriptions(曖昧な説明や不正確な説明を減らす)
    • なお、弊社独自のコンピテンシー定義は学習データとして転用されることを避けるため、弊社開発の「DIVX GAI」で運用しています。オープンな商用AIをご利用の方は、コンプライアンスに十分ご注意ください。

また[role]については、論文での裏付けは見つかっていませんが、経験的に出力精度が向上すると感じられたため採用しています(今後改善の余地があるかもしれません)。

実際の運用例をご紹介します

メンバーの一人から許可を得て、具体的な運用事例をお見せします。
[scenario]には、業務で直面する典型的な課題や状況を記載しています。
[answer]は、メンバーの実際の回答内容です。

[scenario]
顧客とのビデオチャットにて、タスクの進捗共有ミーティングを行っている。
タスクはやや遅れているものの、顧客の要望スケジュールはかなりタイトで、このままリリースしてしまうとバグやセキュリティの面で不安が残る成果物となってしまう。
契約は準委任契約であり、顧客の機嫌を損なうと失注してしまう可能性もある。
[answer]
顧客と納品物の期待値を揃えるために、スケジュール通りに進めた場合のリスクや、バッファがないことによってトラブルがあった際にスケジュールの期待に添えないことを伝える。
上記のことを伝えても顧客が感情的にならないような配慮と、日頃の信頼関係構築に努める

これに対するAIからの回答

1. 考慮できるコンピテンシー
   - お客様志向
   - 対人理解力
   - 対人影響力
   - 判断・行動の迅速性
   - 組織貢献志向

2. 1の根拠
   - お客様志向: 顧客のニーズや期待を理解し、適切に対応するためには、特に進捗状況やリスクを明確に伝えることが必要です。
   - 対人理解力: 顧客の反応を予測し、感情的にならないよう配慮することで、双方の理解を深める重要性があります。
   - 対人影響力: 伝える内容を通じて、顧客の信頼を損なうことなく、必要な変更を促すために影響力を発揮する必要があります。
   - 判断・行動の迅速性: タスクの進捗に対する判断を素早く行い、適切な対応をすることが求められます。
   - 組織貢献志向: 顧客との関係がビジネスにどのように影響するかを考慮し、自らの役割を果たす姿勢が必要です。

3. answerは5段階の点数の何点に該当するか
   - 4点

4. 3の根拠
   - 顧客とのコミュニケーションで、リスクを伝えるという重要なアクションを考慮しており、顧客にとって難しい話をしなければならない状況で、感情的にならないよう配慮する姿勢が見られます。顧客への影響を考慮し、状況に応じた適切な判断が求められるため、4点が妥当です。

5. それらを踏まえて、1つ上の点数をとるための具体的なアクションプランやアドバイス
   - 顧客との事前のコミュニケーション機会を増やし、信頼関係の構築に努めることで、万が一の問題発生時でも感情的な反応を抑えられます。また、進捗状況を定期的に共有し、リスクが発生する可能性がある場合には早期に知らせることで、一緒に解決策を検討する姿勢を示すことも重要です。信頼を築くために、顧客の意見や感情を引き出し、要望に応える提案を行うことで、顧客の立場を理解しつつ自社の立場も伝えられるようにすることが求められます。

明日から実践できる具体的なアクションプラン

最終的には人間関係(信頼関係)の構築をいかにするかという部分が大事な部分だと思うので、相手の意見を受け止めて傾聴することに努める

汎用AIとプロンプトを組み合わせることで、より的確で客観的なアドバイスを生成できるようになりました。
メンバーは自身の回答とAIからのアドバイス、「明日から実践できる具体的なアクションプラン」をGoogle Formに入力し、上司に提出します。
「明日から実践できる具体的なアクションプラン」は、AIの回答を受けてメンバーそれぞれが自分なりに考えたものを記載してもらいます。
この項目を設けた理由は、AIの回答に対してメンバー一人一人が主体的に活用方法を考えられるようにするためです。
また、[scenario]を毎週メンバーが持ち回りで考えることも重要なポイントです。
「ビジネスシーンでよくあるリアルな状況」を考えることで、メンバーが自分の立場だけでなく、チーム内の様々な役割の視点から仕事や状況を想像できる、イメージトレーニングの機会にもなっています。
このように[scenario]を考え、[answer]を入力し、AIのアドバイスを受け、具体的なアクションプランを立てることで、着実なステップアップにつながると考えています。また、回答内容をGoogle Formで上長に共有することで、上長が感じている課題とAIの分析に差異があれば修正でき、AIの回答が適切な場合はそれを基にしたアドバイスができるため、効果的な仕組みと考えます。

運用してみた結果

手応えはあり、しかし運用面で改善が必要

生成AIによるコンピテンシーの振り返りは、メンバーと上長の双方から概ね高評価でした。特に評価された点は、上司やメンバーへの過度な負担がないこと、メンバーが自身の行動を振り返りAIによる客観的な評価を通じて「DIVXとしてのあるべき姿」とのギャップを把握できること、そして上長からは回答の精度の高さが挙げられました。また、Google Formで回答を集計しチームメンバーが閲覧できるようにしたことで、「この状況でこの人はこう判断・行動するのか」「より適切な行動はこうだな」といった気づきが生まれ、メンバーの思考や行動について考える貴重な機会となりました。
一方で課題も見えてきました。設定した[scenario]によってはメンバー全員にとって切実な課題として捉えられない場合があること、また客観的には適切な判断が分かっていても、実際の状況で正しく判断できるか自信が持てないという声がありました。
例えば、[scenario]がPM業務に関するシーンの場合、開発タスクを中心に進めるメンバーにとってはイメージがつきにくいという指摘がありました。
この点については、確かに定常業務ではイメージしづらい面があります。しかし、様々な役割のメンバーがどのような状況に直面し、どう行動するのかを考えることには大きな意義があります。そのため、タスク遂行に関わるチームメンバー同士が互いの背景を理解しながら業務を進める文化を育てていきたいと考えています。
また、シミュレーションと実践のギャップは避けられない課題ですが、事前に想定し考えを巡らせた経験は必ず実践に活きてきます。今後、メンバーがより高い有用性を感じられるよう、運用方法を段階的に改善していきます。

まとめ

今回の記事では、DIVXにおけるコンピテンシー評価の一環として、AIを活用したメンバーの内省力を高める取り組みをご紹介しました。生成AIを活用し、メンバーが日常的に自らの行動を振り返ることで、組織が求める「あるべき姿」とのギャップを客観的に評価できる仕組みを構築しました。
この記事が、他の企業や組織においてもAIを活用した業務改善のヒントとなれば幸いです。今後も、社内外を問わずクリエイティブな課題解決の手段としてAIを活用していきます。

  ご相談フォーム | 株式会社divx(ディブエックス) DIVXのご相談フォームページです。 株式会社divx(ディブエックス)

参考文献

  https://help.openai.com/en/articles/6654000-best-practices-for-prompt-engineering-with-the-openai-api https://help.openai.com/en/articles/6654000-best-practices-for-prompt-engineering-with-the-openai-api


  What's going on with the Open LLM Leaderboard? We’re on a journey to advance and democratize artificial intelligence through open source and open science. https://huggingface.co/blog/open-llm-leaderboard-mmlu





お気軽にご相談ください


ご不明な点はお気軽に
お問い合わせください

サービス資料や
お役立ち資料はこちら

DIVXブログ

テックブログ タグ一覧

人気記事ランキング

GoTopイメージ