L3 能力 9 · AI 活用シリーズ · 第 3 章

認知バイアスの
可視化

確証・ノセボ・希望・埋没コストを検出する自己問答 prompt。 Devil's advocate 設定と AI 自身のハルシネーション検出ループ。

TL;DR · この章の要点
本記事の prompt 出力は反証視点の提示です。LLM の指摘自体もバイアスを含む可能性があります。最終判断は読者と医療提供者の責任です。

能力 6(バイアス制御)は、PDCA で最も自覚しにくい能力です。「効いている気がする」「悪化している気がする」という主観評価は、確証バイアス・ノセボ・希望・埋没コストに歪められやすい [01]。LLM はこれら 4 バイアスへの自己問答 prompt のテンプレートとして有効ですが、LLM 自身もバイアスを持つことを忘れてはいけません。

§ 14 つの認知バイアスとその検出

個人 PDCA で特に問題となる 4 バイアスを整理します。

バイアス典型的な症状n=1 PDCA での発現
確証バイアス自分の仮説に合う情報を選択的に重視「サプリ A が効くはず」と信じて、効いた日だけ記録、効かなかった日を忘れる
ノセボ効果「効きそうにない」「副作用が出る」と思うと実際に起きる処方薬を半信半疑で開始すると、副作用が起きやすい
希望バイアス願望が観察を歪める「老化が遅くなったはず」と信じて、ベースライン値の記憶を上方修正する
埋没コスト過去の投資を無駄にしたくないため継続3 万円のサプリを毎月買い続ける(効果が不明でも)
Prompt 3.1 · 4 バイアスの自己問答
私の n=1 試験の現状:
【介入】(記入:例えば「ベルベリン 500mg × 2/日、3 ヶ月継続中」)
【主観評価】(記入:例えば「血糖コントロールが改善した気がする」)
【測定値の変化】(記入:例えば「HbA1c 5.8 → 5.6」)
【投じたコスト】(記入:金銭・時間・認知)

あなたは認知バイアスの検出者です。以下の 4 バイアスについて、私の判断に
それぞれが影響している可能性を 5 段階で評価してください:

1. 確証バイアス:私が記録に残していない「効かなかった日」「悪化した日」が
   ある可能性は?それを忘却している可能性は?

2. ノセボ効果:私が「効くはず」と強く信じて始めた場合、その期待が結果を
   歪めている可能性は?

3. 希望バイアス:私のベースライン値の記憶(介入前の値)を、現状を肯定する
   方向に上方修正している可能性は?

4. 埋没コスト:もしこの介入の効果が「ゼロ」だとわかった場合、私は素直に
   中止できるか?投じたコストへの執着が判断を歪めていないか?

各バイアスについて、以下を提示:
- 該当する可能性の 5 段階評価
- 検証する具体的な問い 1 つ
- 検証手順 1 つ

最後に、上記 4 バイアスがすべて中等度以上の場合、現在の n=1 試験設計に
どのような構造的問題があるかを指摘してください。
    

運用注意:4 バイアスの説明は 能力 6:共通バイアス で詳しく扱っています。

§ 2Devil's advocate 設定:LLM を反証役に固定する

LLM を「壁打ち相手」として使うと、デフォルトでは sycophancy(おべっか)が起きやすい。ユーザーの仮説に賛同し、肯定的なフィードバックを返す傾向があります。対策は、役割設定の冒頭で反証役に固定 することです。

Prompt 3.2 · Devil's advocate(反証役固定)
[システムプロンプト的に冒頭で固定]

あなたは私の壁打ち相手ですが、特殊な役割を持っています:
「私の判断・観察・仮説のすべてに対し、反証視点を提示する役」です。

このセッションを通じて、以下のルールを厳守してください:
1. 私の仮説に賛同しない。常に「ただし」「別の解釈」「見落とし」を提示する。
2. 私が提示するエビデンスの強さを意図的に低く見積もる。
3. 私が引用する数値・論文は実在を疑い、検証必要と指摘する。
4. 「素晴らしい質問です」「興味深い視点です」などの褒め言葉を一切使わない。
5. 不確実な箇所は「不確実」と明示し、断言を避ける。
6. 私が反論したら、その反論にも反証を返す(議論を続ける)。

以上の設定で、以下に答えてください:

【私の主張】(記入:例えば「サプリ A は効果がある」)

反証視点で:
1. この主張のエビデンスの脆弱性は何か
2. この主張を否定する仮説は何か
3. 私が見落としている代替説明は何か
    

運用注意:この設定は同じ会話セッション内で持続します。新セッションでは再度設定する必要があります。

SpecDevil's advocate 設定の有効性を直接検証した研究は本記事執筆時点で存在しません。本記事の運用例は編集者の経験則です。

§ 3AI 自身のハルシネーション検出ループ

LLM がハルシネーション(誤情報生成)を起こす頻度は、論文情報で 15〜30 % と報告されています [02]。これを完全に防ぐ手段はありませんが、3 ループ self-check で減らせます。

Prompt 3.3 · 3 ループ self-check
あなたは先ほど、以下の主張をしました:
【LLM の前回出力をペーストする】

次に、あなた自身に対して以下の self-check を実行してください:

【ループ 1:事実関係】
- 上記の主張に含まれる「数値」「論文」「人名」「年」をすべてリストアップ
- それぞれが LLM の訓練データに実在する確証があるか自己評価
- 不確実な項目を「※要確認」マーク

【ループ 2:論理整合性】
- 主張の前提と結論の論理飛躍を 3 つ指摘
- 主張に「これは私の仮説です」と「これは確立された事実です」が混在していないか
- 不確実な前提に「確実な結論」を導いていないか

【ループ 3:バイアス】
- この回答にあなた自身の訓練データ由来のバイアスが反映されている可能性
- 訓練データの古さによる時代遅れの可能性
- 文化的・言語的バイアスの可能性

3 ループを実行した上で、最初の回答のどの部分を修正・撤回すべきか整理して
ください。
    

運用注意:self-check ループでも完全には検出できません。残った疑念は必ず一次資料で確認してください。

§ 4n=1 試験開始前のセルフチェックリスト

n=1 試験を開始する前に、以下のセルフチェックを実行することで、4 バイアスの影響を事前に減らせます。LLM に投げる用ではなく、自分の判断の点検用です。


反論・限界


一次資料

  1. Kahneman D. Thinking, Fast and Slow. Farrar, Straus and Giroux 2011. ISBN 978-0374275631. — システム 1/2 と認知バイアスの体系。
  2. Ji Z, Lee N, Frieske R, et al. "Survey of Hallucination in Natural Language Generation." ACM Comput Surv 2023; 55(12): 1–38. DOI: 10.1145/3571730