internal_data = """
# 勤務形態

## 就業時間
標準就業時間: 午前9時から午後6時（1時間の休憩含む）
フレックスタイム制度:
- コアタイム: 午前11時から午後3時
- フレキシブルタイム: 午前6時から午前11時、午後3時から午後10時
- 月間最低労働時間: 160時間

## リモートワーク
導入目的: 業務効率の向上と柔軟な働き方の提供
リモートワークガイドライン:
- 申請方法: 毎月初週に専用ポータルより申請
- 設備要件: 安定したインターネット回線、社給のデバイスリスト
- 通信費補助: 定期的な補助金額の支給条件


# オフィス利用

## 出入管理
- 社員証: 出社時は常に社員証を携行
- 来訪者対応: 事前登録システムにて来訪者情報を登録し、受付でバッジを受け取る
- 警備体制: 24時間体制で警備員が常駐
- オフィスの利用可能時間: 午前7時から午後10時

## 会議室利用
- 予約システム: オンラインツールを用いた予約手続きとキャンセル手続き
- 使用制限: 月一回の長時間予約もしくはプロジェクト単位での予約申請
- 清掃・点検: 使用後の現状復帰、定期的な清掃と設備点検のスケジュール

# 業務プロセス

## プロジェクト管理
- プロジェクト開始: 開始前にプロジェクト計画書の提出と承認が必要
- 進捗報告: 週次の進捗報告会を実施、テンプレートに沿った報告書の作成
- 評価制度: 各プロジェクト終了時に評価基準に基づくフィードバックの実施

## リスクリダクション
- リスクアセスメント: 定期的なリスクアセスメントと社内教育の実施
- 報告手順: リスク発生時の報告フローと必要情報の一覧
- 対応策: リスク軽減策および対応プロセスの文書化


# 福利厚生

## 健康管理
- 健康診断: 年1回の定期健康診断を実施、記録の管理とフォローアップ
- メンタルヘルスサポート: カウンセリングサービス提供と利用ガイド
- 健康促進プログラム: 定期的なフィットネスアクティビティ、健康情報配信

## 福利厚生制度
休暇制度:
- 年次有給休暇の取得推奨と残日数の管理
- 特別休暇（育児休暇、介護休暇等）の取得手続き
- その他福利厚生: 社員向け割引、提携店舗リスト

## キャリア開発
- 研修プログラム: 社内外の研修プログラムの紹介と参加方法
- キャリアパス: 個々のキャリア支援と年次評価面談
- 資格取得支援: 資格取得のための支援金制度と利用申請手続き


# 情報セキュリティ

## データ保護
- 情報管理ポリシー: 機密情報の取り扱いには常に最大限の注意を払い、社内規定に従う
- アクセス権限: 各従業員に必要最小限のアクセス権限を設定
- 暗号化: 機密データは必ず暗号化を施して保存し、送信時にも暗号化プロトコルの使用を義務化

## パスワード管理
- 更新頻度: パスワードは90日ごとに更新
- 複雑性要件: パスワードは大小文字、数字、記号を含む8文字以上
- 二要素認証: 外部からのアクセスには二要素認証を必須とする


# 環境保護と持続可能性

## 環境方針
- 資源の節約: 紙資源や電力量を最小限に抑えた業務の推進
- 廃棄物管理: 廃棄物の分別とリサイクルの徹底
- エネルギー効率: エネルギー効率の高い設備の導入と利用

## 持続可能性活動
- グリーンオフィス: 持続可能な資材の利用とエコな職場環境の維持
- 社員の啓発活動: 定期的な環境保護に関するワークショップの開催
- 地域社会貢献: 地域の環境保護活動への参加と支援


# 技術革新と改善活動

## イノベーション促進
- 提案制度: 社員からの業務改善や新技術導入の提案を奨励
- 賞賛と報酬: 優れた提案には報奨を贈呈
- 実験スペース: 新しい技術を試験するための専用スペースの提供

## 継続的改善プロセス
- PDCAサイクル: プロジェクトや業務プロセスにおけるPDCAサイクルの活用
- ベンチマーク分析: 業績のベンチマーク分析を行い、業務改善の機会を特定
- ファシリテーショングループ: 継続的改善活動を支援する専門グループの設置


# 社内コミュニケーション

## 電子メールポリシー
- 使用目的: 社内活動関連の連絡と顧客対応に限定
- 返信時間: 業務時間内であれば24時間以内に返信
- フォルダ管理: メールフォルダを使用して分類し、整理整頓を推奨

## 社内チャットツール
- 推奨ツール: 社内標準コミュニケーションツールを使用
- 使用マナー: 簡潔で明瞭なメッセージを心掛け、業務外の利用をしない
- ステータス管理: 業務時間外や集中業務中はステータスを更新


# クライアント対応

## 顧客サービス基準
- 応対方針: 礼儀正しく、迅速かつ正確なサービスを提供
- フィードバック収集: 顧客満足度調査と定期レビュー会議の実施
- 苦情対応: 苦情を受けた際は迅速な対応と報告を行う

## 契約管理
- 契約交渉: すべての交渉は法令遵守と倫理規範に基づく
- 契約書類管理: 専用クラウドでの電子管理と各部門での複製管理
- 見直しプロセス: 契約書は定期的に見直し、更新の必要性を確認


# 人材育成と評価制度

## 人材育成プログラム
- 新人研修: 入社後1ヶ月間の徹底した研修プログラム
- メンター制度: 新人社員や中途採用者にメンターを割り当て
- 継続学習: 年4回の専門スキルアップ研修の実施

## 業績評価システム
- 評価頻度: 半年毎に個人の業績評価を実施
- 評価基準: 目標達成度、協調性、業務改善提案の質
- フィードバック: 評価後にフィードバックセッションを行い、個別のキャリアプランを策定


# 社内イベントと文化

## 社内イベント
- 定期イベント: 半年に一度の全社ミーティングとチームビルディングアクティビティ
- 社内コンペティション: 年1回のイノベーションチャレンジ大会開催
- ボランティア活動: 年2回の地域貢献ボランティアイベント

## 企業文化
- 価値観の共有: 初日に企業理念および価値観研修を受講
- オープンなコミュニケーション: 定期的なタウンホールミーティングでの自由発言機会
- 多様性推進: 多様性委員会による定期活動と政策の見直し

"""

from langchain_chroma import Chroma
from langchain_text_splitters import MarkdownHeaderTextSplitter
from langchain_openai import OpenAIEmbeddings


# 埋め込みモデルの準備
embeddings = OpenAIEmbeddings(model="text-embedding-3-large")

# ベクトルDBの準備
chroma = Chroma(
    collection_name="vector_index",
    embedding_function=embeddings,
    collection_metadata={"hnsw:space": "cosine"},
)

# マークダウンヘッダーごとにドキュメントの分割
markdown_header_splitter = MarkdownHeaderTextSplitter(
    headers_to_split_on=[("#", "#"), ("##", "##")], strip_headers=False
)

chunked_docs = markdown_header_splitter.split_text(internal_data)

# ドキュメントの登録
chroma.add_documents(documents=chunked_docs)

from langchain_openai import ChatOpenAI
from langchain_core.prompts import ChatPromptTemplate
from langchain_core.output_parsers import StrOutputParser
from langchain_core.runnables import RunnablePassthrough


# ベクトルDBからドキュメント取得するリトリーバーの準備
retriever = chroma.as_retriever(
    search_type="similarity"
)

# モデルの準備
llm = ChatOpenAI(model="gpt-4o-mini", temperature=0.0)


# プロンプト作成
prompt_template = ChatPromptTemplate.from_messages(
    [
        (
            "system",
            "次の情報のみ使用して質問に答えてください。\n\n情報：\n{context}",
        ),
        ("human", "{input}"),
    ]
)


# 生成チェイン
generation_chain = RunnablePassthrough() | prompt_template | llm | StrOutputParser()

# リトリーバーチェイン
retrieve_chain = (lambda x: (x["input"])) | retriever

# RAGチェイン
rag_chain = RunnablePassthrough.assign(context=retrieve_chain).assign(
    answer=generation_chain
)

res = rag_chain.invoke({"input": "勤務時間は？"})
print(res["answer"])

from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from ragas.embeddings import LangchainEmbeddingsWrapper
from ragas.llms import LangchainLLMWrapper
from ragas.testset import TestsetGenerator
from ragas.testset.synthesizers.single_hop.specific import (
    SingleHopSpecificQuerySynthesizer,
)
from ragas.testset.persona import Persona
from ragas.testset.transforms.extractors.llm_based import NERExtractor
from ragas.testset.transforms.splitters import HeadlineSplitter


# テストセット生成に使用するモデル
generator_llm = LangchainLLMWrapper(ChatOpenAI(model="gpt-4o-mini", temperature=1.0))
generator_embeddings = LangchainEmbeddingsWrapper(
    OpenAIEmbeddings(model="text-embedding-3-large")
)

# テストセット生成におけるペルソナの設定。
personas = [
    Persona(
        name="New Joinee",
        role_description="会社についてあまり知らないので、社内のルールを確認したい。",
    ),
]

# テストセットの生成に使用するクエリの準備
distribution = [
    (SingleHopSpecificQuerySynthesizer(llm=generator_llm), 1.0),
]
# クエリを日本語に変換
for query, _ in distribution:
    prompts = await query.adapt_prompts("japanese", llm=generator_llm)
    query.set_prompts(**prompts)

# 生成したいテストセットのカテゴリー
test_categories = [
    "勤務形態",
    "オフィス利用",
    "人材育成と評価制度",
]

# テストセット生成に使用するドキュメントを取得
retrieved_documents = []
for category in test_categories:
    documents = retriever.invoke(category)
    print(len(documents))
    retrieved_documents.extend(documents)

# テストセットの生成
test_set = generator.generate_with_langchain_docs(
    documents=retrieved_documents,
    testset_size=5,
    query_distribution=distribution,
    transforms=transforms,
)

test_set.to_pandas()

# 評価データセットに変換。この時点ではretrieved_contextsとresponseが存在しない。
eval_dataset = test_set.to_evaluation_dataset()

# RAGを実行してresponseとretrieved_contextsを埋める。
for d in eval_dataset:
    input = d.user_input
    rag_result = rag_chain_with_source.invoke({"input": input})
    d.response = rag_result["answer"]
    d.retrieved_contexts = [doc.page_content for doc in rag_result["context"]]

eval_dataset.to_pandas()

from ragas.metrics import (
    ContextPrecision,
    ContextRecall,
    ContextEntityRecall,
    Faithfulness,
    ResponseRelevancy,
    NoiseSensitivity,
)
from langchain_openai import ChatOpenAI, OpenAIEmbeddings
from ragas.embeddings import LangchainEmbeddingsWrapper
from ragas.llms import LangchainLLMWrapper


# 評価器モデルの準備
evaluator_llm = LangchainLLMWrapper(ChatOpenAI(model="gpt-4o"))
evaluator_embeddings = LangchainEmbeddingsWrapper(
    OpenAIEmbeddings(model="text-embedding-3-large")
)

# 評価指標の準備
metrics = [
    ContextPrecision(llm=evaluator_llm),
    ContextRecall(llm=evaluator_llm),
    ContextEntityRecall(llm=evaluator_llm),
    NoiseSensitivity(llm=evaluator_llm),
    ResponseRelevancy(llm=evaluator_llm, embeddings=evaluator_embeddings),
    Faithfulness(llm=evaluator_llm),
]


# 評価実行
eval_result = evaluate(eval_dataset, metrics)