プロンプト整合性スコアラー

Weighted Score = (intent_score × 0.4) + (requirements_score × 0.3) + 
                 (completeness_score × 0.2) + (appropriateness_score × 0.1)
Final Score = Weighted Score × scale

Weighted Score = (intent_score × 0.35) + (requirements_score × 0.35) + 
                 (completeness_score × 0.15) + (appropriateness_score × 0.15)
Final Score = Weighted Score × scale

User Score = (user dimensions with user weights)
System Score = (system dimensions with system weights)  
Weighted Score = (User Score × 0.7) + (System Score × 0.3)
Final Score = Weighted Score × scale

import { openai } from '@ai-sdk/openai';
import { createPromptAlignmentScorerLLM } from '@mastra/evals';
 
const scorer = createPromptAlignmentScorerLLM({
  model: openai('gpt-4o'),
});
 
// コード生成タスクを評価する
const result = await scorer.run({
  input: [{
    role: 'user',
    content: 'エラーハンドリング付きで階乗を計算する Python 関数を書いてください'
  }],
  output: {
    role: 'assistant', 
    text: `def factorial(n):
    if n < 0:
        raise ValueError("Factorial not defined for negative numbers")
    if n == 0:
        return 1
    return n * factorial(n-1)`
  }
});
// 結果: { score: 0.95, reason: "整合性は非常に高い — 関数は意図を満たしており、エラーハンドリングも含まれています..." }

// スケールと評価モードを設定
const scorer = createPromptAlignmentScorerLLM({
  model: openai('gpt-4o'),
  options: {
    scale: 10, // スコアを 0–1 ではなく 0–10 に設定
    evaluationMode: 'both' // 'user'、'system'、または 'both'（デフォルト）
  },
});
 
// ユーザーのみの評価 — ユーザー満足度を重視
const userScorer = createPromptAlignmentScorerLLM({
  model: openai('gpt-4o'),
  options: { evaluationMode: 'user' }
});
 
// システムのみの評価 — コンプライアンスを重視
const systemScorer = createPromptAlignmentScorerLLM({
  model: openai('gpt-4o'),
  options: { evaluationMode: 'system' }
});
 
const result = await scorer.run(testRun);
// 結果: { score: 8.5, reason: "スコア: 10 点満点中 8.5 — ユーザーの意図とシステムガイドラインの両方に良好に整合..." }

// 箇条書きの形式を評価
const result = await scorer.run({
  input: [{
    role: 'user',
    content: 'TypeScript の利点を箇条書きで挙げてください'
  }],
  output: {
    role: 'assistant',
    text: 'TypeScript provides static typing, better IDE support, and enhanced code reliability.'
  }
});
// 結果: 形式の不一致（段落 vs. 箇条書き）により適合度スコアが低下

// 例: API エンドポイントの作成
const codePrompt = "Create a REST API endpoint with authentication and rate limiting";
// Scorer が評価する項目: 意図（API 作成）、要件（認証 + レート制限）、 
// 網羅性（完全な実装）、形式（コード構造）

// 例: 複数要件のタスク
const taskPrompt = "Write a Python class with initialization, validation, error handling, and documentation";
// Scorer は各要件を個別に追跡し、詳細な内訳を提示

// 例: 構造化された出力
const formatPrompt = "Explain the differences between let and const in JavaScript using bullet points";
// Scorer はコンテンツの正確性と形式の遵守の両方を評価

const agent = new Agent({
  name: 'CodingAssistant',
  instructions: 'You are a helpful coding assistant. Always provide working code examples.',
  model: openai('gpt-4o'),
});
 
// 包括的な整合性を評価（デフォルト）
const scorer = createPromptAlignmentScorerLLM({
  model: openai('gpt-4o-mini'),
  options: { evaluationMode: 'both' } // ユーザーの意図とシステムのガイドラインの両方を評価
});
 
// ユーザー満足度のみを評価
const userScorer = createPromptAlignmentScorerLLM({
  model: openai('gpt-4o-mini'),
  options: { evaluationMode: 'user' } // ユーザー要求の充足にのみ焦点を当てる
});
 
// システム順守を評価
const systemScorer = createPromptAlignmentScorerLLM({
  model: openai('gpt-4o-mini'),
  options: { evaluationMode: 'system' } // システム指示への順守を確認
});
 
const result = await scorer.run(agentRun);

const prompts = [
  'Write a function to calculate factorial',
  'Create a Python function that calculates factorial with error handling for negative inputs',
  'Implement a factorial calculator in Python with: input validation, error handling, and docstring'
];
 
// アライメントスコアを比較して最適なプロンプトを見つける
for (const prompt of prompts) {
  const result = await scorer.run(createTestRun(prompt, response));
  console.log(`Prompt alignment: ${result.score}`);
}

const agents = [agent1, agent2, agent3];
const testPrompts = [...]; // テスト用プロンプトの配列
 
for (const agent of agents) {
  let totalScore = 0;
  for (const prompt of testPrompts) {
    const response = await agent.run(prompt);
    const evaluation = await scorer.run({ input: prompt, output: response });
    totalScore += evaluation.score;
  }
  console.log(`${agent.name} average alignment: ${totalScore / testPrompts.length}`);
}

// ユーザーのプロンプトが欠落
try {
  await scorer.run({ input: [], output: response });
} catch (error) {
  // エラー: "プロンプト整合性のスコアリングにはユーザーのプロンプトとエージェントの応答の両方が必要です"
}
 
// 空の応答
const result = await scorer.run({ 
  input: [userMessage], 
  output: { role: 'assistant', text: '' } 
});
// 不完全性に関する詳細な説明とともに低いスコアを返します