HallucinationMetric

import { openai } from "@ai-sdk/openai";
import { HallucinationMetric } from "@mastra/evals/llm";
 
// Configure the model for evaluation
const model = openai("gpt-4o-mini");
 
const metric = new HallucinationMetric(model, {
  context: [
    "Teslaは2003年にMartin EberhardとMarc Tarpenningによってカリフォルニア州サンカルロスで設立されました。",
  ],
});
 
const result = await metric.measure(
  "Teslaの設立について教えてください。",
  "Teslaは2004年にElon Muskによってカリフォルニアで設立されました。",
);
 
console.log(result.score); // Score from 0-1
console.log(result.info.reason); // Explanation of the score
 
// Example output:
// {
//   score: 0.67,
//   info: {
//     reason: "スコアが0.67である理由は、コンテキストからの3つの文のうち2つ（設立年と設立者）が出力によって矛盾していたためであり、
//           場所の文は矛盾していなかったためです。"
//   }
// }

import { openai } from "@ai-sdk/openai";
import { HallucinationMetric } from "@mastra/evals/llm";
 
// モデルを評価用に設定
const model = openai("gpt-4o-mini");
 
const metric = new HallucinationMetric(model, {
  context: [
    "OpenAIは2015年12月にSam Altman、Greg Brockman、その他の人々によって設立されました。",
    "会社は10億ドルの投資コミットメントで開始されました。",
    "Elon Muskは初期の支持者でしたが、2018年に取締役会を去りました。",
  ],
});
 
const result = await metric.measure({
  input: "OpenAIに関する重要な詳細は何ですか？",
  output:
    "OpenAIは2015年にElon MuskとSam Altmanによって20億ドルの投資で設立されました。",
});
 
// 出力例:
// {
//   score: 0.33,
//   info: {
//     reason: "スコアが0.33である理由は、コンテキストからの3つのステートメントのうち1つが矛盾していたためです
//           （投資額が1億ドルではなく2億ドルと述べられていた）。設立日は正しかったが、
//           創設者の説明は不完全であったが、厳密には矛盾していなかった。"
//   }
// }