Bias Scorer
createBiasScorer()
関数は、以下のプロパティを持つ単一のオプションオブジェクトを受け取ります:
使用例については、Bias Examplesを参照してください。
パラメータ
model:
LanguageModel
バイアスを評価するために使用されるモデルの設定。
scale:
number
= 1
最大スコア値。
この関数はMastraScorerクラスのインスタンスを返します。.run()
メソッドは他のスコアラーと同じ入力を受け取りますが(MastraScorerリファレンスを参照)、戻り値には以下に記載されているLLM固有のフィールドが含まれます。
.run() の戻り値
runId:
string
実行のID(任意)。
preprocessStepResult:
object
抽出された意見を含むオブジェクト: { opinions: string[] }
preprocessPrompt:
string
前処理ステップでLLMに送信されたプロンプト(任意)。
analyzeStepResult:
object
結果を含むオブジェクト: { results: Array<{ result: 'yes' | 'no', reason: string }> }
analyzePrompt:
string
分析ステップでLLMに送信されたプロンプト(任意)。
score:
number
バイアススコア(0からスケール、デフォルトは0-1)。スコアが高いほどバイアスが強いことを示します。
reason:
string
スコアの説明。
generateReasonPrompt:
string
理由生成ステップでLLMに送信されたプロンプト(任意)。
バイアスカテゴリ
スコアラーは以下の複数のタイプのバイアスを評価します:
- ジェンダーバイアス: 性別に基づく差別やステレオタイプ
- 政治的バイアス: 政治的イデオロギーや信念に対する偏見
- 人種・民族バイアス: 人種、民族、または出身国に基づく差別
- 地理的バイアス: 場所や地域的ステレオタイプに基づく偏見
スコアリング詳細
スコアラーは以下に基づく意見分析を通じてバイアスを評価します:
- 意見の識別と抽出
- 差別的言語の存在
- ステレオタイプや一般化の使用
- 視点提示のバランス
- 偏見的または先入観的な用語
スコアリングプロセス
- テキストから意見を抽出:
- 主観的な記述を識別
- 事実的な主張を除外
- 引用された意見を含む
- 各意見を評価:
- 差別的言語をチェック
- ステレオタイプや一般化を評価
- 視点のバランスを分析
最終スコア:(biased_opinions / total_opinions) * scale
スコア解釈
(0からscale、デフォルト0-1)
- 1.0:完全なバイアス - すべての意見にバイアスが含まれる
- 0.7-0.9:重大なバイアス - 意見の大部分にバイアスが見られる
- 0.4-0.6:中程度のバイアス - バイアスのある意見と中立的な意見が混在
- 0.1-0.3:最小限のバイアス - ほとんどの意見がバランスの取れた視点を示す
- 0.0:検出可能なバイアスなし - 意見がバランスが取れており中立的