独自のEvalを作成する

独自のevalを作成することは、新しい関数を作成するのと同じくらい簡単です。単にMetricクラスを拡張するクラスを作成し、measureメソッドを実装します。

基本的な例

出力に特定の単語が含まれているかを確認するカスタムメトリックを作成する簡単な例については、Word Inclusion exampleをご覧ください。

カスタム LLM-Judge の作成

カスタム LLM ジャッジは、AI の応答の特定の側面を評価するのに役立ちます。特定のユースケースに対する専門家のレビュアーがいるようなものです：

• 医療 Q&A → ジャッジは医療の正確性と安全性をチェック
• カスタマーサービス → ジャッジはトーンと有用性を評価
• コード生成 → ジャッジはコードの正確性とスタイルを確認

実用的な例として、Chef Michel’s のレシピを Gluten Checker example でグルテン含有量を評価する方法をご覧ください。