ペルソナプロンプティングの科学的検証——3つの研究が示すメカニズムと限界

• 想定読者： プロンプティングの仕組みに関心があるエンジニア・研究者
• 前提知識： LLMの基本的な仕組み（トークン予測、事前学習、ファインチューニング）
• 所要時間： 15分

概要

「あなたは専門家です」と指定するとAIの回答トーンは良くなるが、事実精度は下がる——2025年末から2026年にかけて、この現象を裏付ける研究が相次いで発表された。実践的な使い分けについては姉妹記事「AIへの役割指定、使い分けの実践ガイド」にまとめている。

本記事では、その背景にある3つの研究を掘り下げる。Wharton（UPenn）、USC、Vanderbiltの研究チームがそれぞれ独立して到達した同じ結論——ペルソナ指定は事実精度を改善しない——を、実験デザイン、数値データ、メカニズムの詳細まで検証する。

核心は、LLMの内部で起きる「指示追従モード」と「事実想起モード」の競合だ¹。ペルソナを指定すると、モデルは「専門家らしく振る舞う」ことを優先し、事前学習で獲得した知識の想起に使えるリソースが減る。この競合は、ペルソナの説明が長くなるほど激しくなり、精度低下も大きくなる。

さらに、この知見はOpenAI、Google、Anthropicの公式ガイドが「ペルソナ指定をベストプラクティスとして推奨している」事実と矛盾する。この矛盾の原因と、それが意味するものも分析する。

Wharton研究：6モデル・数千回の大規模実験

研究の概要

2025年12月、Whartonの生成AI研究所（GAIL）が「Playing Pretend」と題した報告書を発表した²。この研究の特徴は、その実験規模の大きさと条件の厳密さにある。

研究デザイン：

項目	詳細
モデル数	6（GPT-4o, GPT-4o-mini, o3-mini, o4-mini, Gemini 2.0 Flash, Gemini 2.5 Flash）
ベンチマーク	GPQA Diamond（PhD級198問）、MMLU-Pro（多分野300問）
試行回数	各条件につき25回
温度パラメータ	1.0
プロンプト方式	ゼロショット
合計実験回数	GPQA: 4,950回以上、MMLU-Pro: 7,500回以上

ベンチマークの難易度も注目に値する。GPQA Diamondは生物学・物理学・化学のPhD級の問題で構成されており、人間のPhDでも正答率は約65%、専門外の人がWeb検索を使っても約34%にとどまる²。つまり、「なんとなく正解できる」レベルではなく、本物の専門知識が問われる問題群だ。

実験条件

以下の4条件を比較した：

1. ベースライン: ペルソナ指定なし
2. 専門分野一致ペルソナ: 物理の問題に「物理学の専門家」
3. 専門分野不一致ペルソナ: 法律の問題に「物理学の専門家」
4. 低知識ペルソナ: 「素人」「子ども」「幼児」

結果の詳細

flowchart TB
    A["専門分野一致ペルソナ"]
    B["専門分野不一致ペルソナ"]
    C["低知識ペルソナ<br>（素人・子ども・幼児）"]
    
    A --> A1["精度にほぼ変化なし"]
    B --> B1["精度が低下"]
    C --> C1["精度が一貫して低下"]

主な発見：

1. 専門分野一致ペルソナでも精度は改善しない。「物理の専門家」と指定して物理の問題を解かせても、ペルソナなしと統計的に有意な差はなかった。これは6モデル中5モデルで確認された

2. 専門分野不一致ペルソナは精度を低下させる。法律の問題に「物理の専門家」を指定すると、ベースラインより悪い結果になった

3. 低知識ペルソナは一貫して精度を低下させる。「あなたは素人です」「あなたは5歳児です」と指定すると、すべてのモデルで精度が下がった。これは「ペルソナがモデルの振る舞いに影響を与えている」ことの裏付けでもある

4. 例外: Gemini 2.0 Flash。唯一、MMLU-Proの一部で専門分野一致ペルソナが若干の改善を示した。モデルのアーキテクチャが効果を媒介する可能性を示唆している

Gemini 2.5 Flashの回答拒否問題

特に興味深い障害モードが報告されている。Gemini 2.5 Flashに専門外のペルソナを指定すると、1問あたり25回の試行中、平均10.56回も回答を拒否した²。

ユーザー: あなたは物理学の専門家です。以下の法律問題に答えてください。
Gemini 2.5 Flash: 申し訳ありませんが、私は物理学の専門家であり、
法律の問題についてはお答えする資格がありません。

モデルが「ペルソナに忠実であろう」とするあまり、回答自体を拒否してしまうのだ。これは指示追従モードが過剰に作用した結果であり、ペルソナ指定がモデルの出力をどれほど強く制御するかを示す極端な例だ。

USC研究（PRISM）：トレードオフの定量化

研究の特徴

2026年3月のUSC研究は、Wharton研究とは異なるアプローチを取った¹。Wharton研究が「ペルソナは精度に効果がない」ことを示したのに対し、USC研究はペルソナが何を改善し、何を犠牲にするのかを同時に測定した。

検証に使用したベンチマーク：

• MMLU: 知識の正確さ（discriminative knowledge recall）
• MT-Bench: 生成品質（8カテゴリ: writing, roleplay, extraction, STEM, coding, math, reasoning, humanities）
• HarmBench, JailbreakBench, PKU-SafeRLHF: 安全性

テストしたペルソナ： 12種類のペルソナを、記述の詳細度（最小限の説明〜詳細な説明）のバリエーションで検証。

結果の詳細

精度の低下（MMLU）：

ペルソナ条件	MMLU精度	ベースラインとの差
ベースライン（ペルソナなし）	71.6%	—
最小限のペルソナ	68.0%	-3.6pp
詳細なペルソナ	66.3%	-5.3pp

タスク種別ごとの効果：

タスクの種類	ペルソナの効果
知識タスク（数学、コーディング、事実想起）	精度が低下
アラインメントタスク（ライティング、安全性、ロールプレイ）	品質が向上

安全性の改善：

• JailbreakBenchでの安全性拒否率: +17.7ポイント（Safety Monitorペルソナ使用時）

生成品質の改善（MT-Bench）：

• 抽出タスク: +0.65ポイント
• STEMタスク: +0.60ポイント（生成品質であり、事実精度ではない点に注意）

ペルソナの長さと精度の逆相関

USC研究で特に重要な発見は、ペルソナの説明が長くなるほど精度が下がるという明確な相関だ¹。

短い指定:  「あなたはエンジニアです」           → 軽微な影響
中程度:    「あなたはシニアバックエンドエンジニアです」 → 中程度の影響
長い指定:  「あなたは10年以上の経験を持つ        → 大きな影響
            シニアバックエンドエンジニアで、
            大規模分散システムの設計に精通し……」

これは実務的に重要な意味を持つ。System promptでペルソナを詳細に定義している場合、その長さ自体が知識精度を圧迫している可能性がある。

メカニズム：「指示追従モード」と「事実想起モード」の競合

USC研究者の説明

USCの研究者Zizhao Huは、精度低下のメカニズムを以下のように説明している¹。

LLMは大きく2つの動作モードを持つ：

1. 事実想起モード（Factual Recall Mode）: 事前学習で蓄積した知識を検索・想起して回答するモード。ペルソナ指定がないとき、モデルはこちらを優先する

2. 指示追従モード（Instruction-Following Mode）: ユーザーが与えた指示（ペルソナ、制約、フォーマット指定など）に従って出力を調整するモード

ペルソナを指定すると、指示追従モードが活性化され、モデルは「専門家らしく振る舞う」ことにリソースを割く。その結果、事実想起に使えるリソースが減り、精度が低下する。

flowchart TB
    Q["ユーザーの質問"]
    
    Q --> M1
    Q --> M2

    M1["🔍 事実想起モード<br>事前学習の知識を検索・想起"]
    M2["📋 指示追従モード<br>ペルソナの指示に従う"]

    M1 --> R1["正確だが素っ気ない回答"]
    M2 --> R2["洗練されたトーンの回答"]

    R1 --> C["⚡ 同じ注意リソースを<br>奪い合う"]
    R2 --> C

ComplexBenchとの整合性

この「リソース競合」の説明は、LLMの制約処理に関する先行研究とも整合する。

ComplexBench（2024年）は、1,150の指示と5,306のスコアリング質問を用いて、LLMの複合的な制約への対応能力を評価した³。

制約の構造	GPT-4のスコア
単純な構成（And）	0.881
連鎖構成（Chain）	0.766
選択構成（Selection）	0.765
入れ子構造（3層以上）	0.626

制約が複雑になるほど、スコアが明確に低下する。ペルソナ指定は「回答の内容」に加えて「振る舞い方」という追加の制約を課すことになり、制約の総量を増やしている。長いペルソナほど精度が下がるのは、制約が増えるほど遵守率が下がるというこの構造的な限界の一例だ。

「専門家らしさ」の罠

メカニズムをより直感的に理解するための例を挙げよう。

「あなたはデータベースの専門家です」と指定してSQLの最適化について質問したとする。モデルは以下のことを同時にやろうとする：

• 事実想起: SQLの最適化テクニックを正確に思い出す
• 指示追従: 専門家らしい口調で回答する。専門用語を適切に使う。深い洞察を示す。自信を持った表現を使う

問題は、「自信を持った表現」が事実と競合するケースだ。ペルソナなしなら「〜の可能性があります」と慎重に回答するところを、専門家ペルソナでは断定的に回答してしまい、結果としてハルシネーションが増えるリスクがある。

Vanderbilt研究：2024年時点での確認

研究の概要

Wharton・USC研究より前の2024年に、Vanderbilt大学の研究チームが同様の知見を得ていた⁴。

研究デザイン：

• 4,000以上のQAタスク
• GPT-3.5-turboとGPT-4を使用
• 自動生成ペルソナとマニュアル設計ペルソナの両方を検証

結果：

• オープンエンドなタスク（ファイナンスのアドバイス、クリエイティブブレスト等）: ペルソナ指定で平均0.3〜0.9ポイントのスコア改善
• クローズドな知識タスク（選択問題、事実確認等）: ペルソナ指定の効果はほぼゼロ
• マルチエージェントのペルソナ討論は、投票やチェック機構なしではハルシネーションを増加させた

3つの研究の収束

3つの独立した研究チームが、異なるモデル・異なるベンチマーク・異なる時期に、同じ結論に到達している。

研究	時期	モデル	結論
Vanderbilt	2024年	GPT-3.5, GPT-4	知識タスクでペルソナ効果ほぼゼロ
Wharton	2025年12月	6モデル	専門家ペルソナは精度を改善しない
USC	2026年3月	6モデル	ペルソナは精度を下げ、トーンを改善する

これはもはや偶然の発見ではなく、LLMのアーキテクチャに内在する構造的な特性と考えるべきだろう。

公式ガイドとの矛盾——なぜ推奨されているのか

矛盾の構図

現在、主要なAIプロバイダーの公式ガイドは、いずれもペルソナ指定をベストプラクティスとして推奨している²。

• OpenAI: System promptで役割を設定することを推奨
• Google Vertex AI: ペルソナの指定を推奨
• Anthropic: System promptでの役割設定を推奨

Wharton研究はこの矛盾を明示的に指摘している。「業界のガイダンスに疑問を投げかける結果である」²と。

矛盾の解消

しかし、この矛盾は「どちらかが間違っている」のではなく、測定している軸が違うことが原因だ。

公式ガイドが想定するユースケースは主に以下の3つだ：

1. トーンの調整: カスタマーサポート風、技術者向け、初心者向けなど
2. 出力形式の統制: JSONで返す、表形式で返す、箇条書きで返すなど
3. 安全性の向上: 有害な出力の抑制

これらの効果はUSC研究でも確認されている。つまり、公式ガイドの推奨はトーン・形式・安全性の観点では正しい。

一方、研究が問題にしているのは事実精度であり、これは公式ガイドの想定シナリオとは別の軸だ。公式ガイドには「ペルソナ指定で知識精度が向上する」とは明記されていない。しかし、「ベストプラクティス」として推奨されることで、ユーザーは暗黙のうちに「すべてが改善される」と受け取っている。

本当の問題

問題の本質は、ペルソナ指定そのものではなく、「ペルソナ指定＝万能のベストプラクティス」という誤解にある。

公式ガイドが推奨しているから、すべてのプロンプトの冒頭に「あなたは〇〇の専門家です」と書く——この習慣がそのまま知識タスクにも適用されてしまい、気づかないうちに精度を損ねている可能性がある。

PRISMソリューション：自動的な使い分け

人間に頼らない解決策

USC研究は問題の指摘だけでなく、解決策も提案している。PRISM（Persona Routing via Intent-based Self-Modeling） は、ペルソナを適用すべきかどうかをモデル自身が判断するパイプラインだ¹。

flowchart TB
    S1["1. クエリ生成<br>ペルソナ関連のテストプロンプトを作成"]
    S2["2. 二重生成<br>ペルソナあり・なしの両方で回答"]
    S3["3. 自己検証<br>どちらが良い回答かを判定"]
    S4["4. ゲート学習<br>ペルソナを適用すべきか<br>判断するルーターを訓練"]
    S5["5. LoRA蒸留<br>選択的なペルソナ適用を<br>モデルに内在化"]

    S1 --> S2
    S2 --> S3
    S3 --> S4
    S4 --> S5

PRISMの基本的なアイデアは、すべてのクエリに一律にペルソナを適用するのではなく、「このクエリにはペルソナが有効か？」をクエリごとに判断することだ。

PRISMの効果（Qwen2.5-7Bでの検証）：

• 全体的な性能: +1.7ポイント
• 知識精度を維持しつつ、安全性とトーンの改善を達成

なお、PRISMは現時点では研究段階のアプローチであり、LoRA蒸留を伴うためそのままプロダクション環境に適用するのは難しい。ただし、「ペルソナを一律に適用するのではなく、タスクの性質に応じて選択的に使う」という設計思想は、人間がプロンプトを書く際にもそのまま応用できる。

これは本記事の姉妹記事で述べた「タスクに応じた使い分け」を、人間ではなくモデル自身が行うアプローチだ。

まとめ

3つの独立した研究が示す知見を整理する。

確立された事実：

• ペルソナ指定は事実精度を改善しない（Wharton: 6モデル、数千回の実験）²
• ペルソナ指定はトーン・安全性を改善し、精度を低下させるトレードオフである（USC: MMLU 71.6%→66.3%）¹
• ペルソナの説明が長いほど精度低下が大きい¹
• オープンタスクではペルソナは有効、知識タスクでは効果なし（Vanderbilt: 4,000タスク）⁴

メカニズム：

• 指示追従モードと事実想起モードの注意リソース競合¹
• ComplexBenchの研究結果（制約が増えるほど遵守率低下）と整合³

実務的含意：

• 公式ガイドのペルソナ推奨はトーン・安全性の文脈では正しい
• 「万能のベストプラクティス」と解釈するのは誤り
• タスクに応じた使い分けが必要（詳細は姉妹記事を参照）

よりコンパクトに読みたい方へ：実践的な使い分けルールとプロンプト例は、姉妹記事「AIへの役割指定、使い分けの実践ガイド」にまとめています。

関連記事

このテーマに関連する他の記事もご覧ください：

• 「あなたは専門家です」は逆効果？——AIへの役割指定、使い分けの実践ガイド - 本記事の姉妹記事。使い分けのルールとプロンプト例
• LLMの知識の限界とスキル/ルールの境界線 - 制約を増やすとAIの指示遵守率が下がる構造的問題
• メタプロンプティングとオーケストレーターへの進化 - 「プロンプトを書かない」AI活用の上級テクニック
• 「AIに丸投げ」に見える熟練者の真実 - 熟練者がAIとどう向き合っているか

参考資料

本文中の引用番号に対応する参考資料を番号順に記載しています。

その他参考資料（本文中で番号引用なし）

• Research: ‘You Are An Expert’ Prompts Can Damage Factual Accuracy - Search Engine Journal (2026). USC研究の解説記事。【信頼性: 中】

• AI models don’t actually get better when you tell them to pretend to be an expert - The Register (2026). Wharton研究・USC研究の解説記事。【信頼性: 中】

• Telling AI it is an expert doesn’t make it more reliable - TechXplore (2026). 研究の一般向け解説。【信頼性: 中】

• Wharton GAIL Technical Report - Wharton Generative AI Labs. 研究の公式ページ。【信頼性: 中〜高】

1. Expert Personas Improve LLM Alignment but Damage Accuracy: Bootstrapping Intent-Based Persona Routing with PRISM - Hu, Rostami, Thomason / University of Southern California (2026). arXiv:2603.18507. 6モデル、MMLU・MT-Bench・HarmBench等で検証。【信頼性: 中〜高】プレプリント（arXiv）だが、メカニズムの説明とPRISMソリューションの提案を含む包括的研究 ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵ ↩︎⁶ ↩︎⁷ ↩︎⁸

2. Playing Pretend: Expert Personas Don’t Improve Factual Accuracy - Basil, Shapiro, Shapiro, Mollick, Mollick, Meincke / Wharton GAIL, University of Pennsylvania (2025). arXiv:2512.05858. 6モデル、GPQA Diamond 198問+MMLU-Pro 300問、各条件25試行。【信頼性: 中〜高】プレプリント（arXiv）だが、大規模な実験デザインと複数モデルでの再現性あり ↩︎ ↩︎² ↩︎³ ↩︎⁴ ↩︎⁵ ↩︎⁶

3. Benchmarking Complex Instruction-Following with Multiple Constraints Composition - Wen et al. (2024). NeurIPS 2024 Datasets and Benchmarks Track 採択。1,150の指示と5,306のスコアリング質問で複合制約への対応能力を評価。【信頼性: 高】査読済み（NeurIPS 2024）、大規模ベンチマーク ↩︎ ↩︎²

4. Evaluating Persona Prompting for Question Answering Tasks - Olea, Tucker, Phelan, Pattison, Zhang, Lieb, Schmidt, White / Vanderbilt University (2024). 4,000以上のQAタスクでGPT-3.5・GPT-4を検証。【信頼性: 中〜高】 ↩︎ ↩︎²