amicura. 角色扮演榜 · 一句话，认得出是谁。

角色扮演评测 · 论文阅读清单

按「它回答我们哪个问题」分组，每篇一句话说方法、一句话说对训练场和社区榜单的用处。2026-10-24 整理。

必读直接决定我们的设计 选读某一块要做时再看 略读知道有就行 已搬/已读之前已经用上

只有半天的话，先看这八篇
  1. Ditto：四选一辨认是角色一致性的客观量法，三次多数票。
  2. ECHO 和 Human or Not：「真人还是模型」怎么做成游戏、人到底多会认。
  3. CharacterBench：按维度配不同点数的量表，再用人工标注训自己的评委。
  4. RAIDEN-R1 和 Character-R1：角色扮演的可验证奖励长什么样。
  5. LLM 评委偏爱自己 和 Preference Leakage：评委为什么不能兼选手、不能和选手同家族。
  6. The Leaderboard Illusion 和 Adding Error Bars to Evals：榜单怎么被玩坏、分数该带多宽的区间。
  7. Persona Drift：八轮之内就飘，长程题必须有。
  8. TRAIT：情境选择题比自陈量表更稳，是层 3 的学术依据。

一、有标准答案的评法：辨认与图灵式

回答：不靠评委主观打分，怎么证明「演像了」。这是社区榜「猜谁说的」「真人还是模型」两题的来源。

论文年份 / 会议方法对我们
Ditto: LLMs are Superpositions of All Characters2024 ACL角色一致性做成四选一：评委看对话猜是哪个角色；知识 1–10 分；认知边界看拒答率。GPT-4-Turbo、温度 0.2、三次多数票。测试集 100 角色 498 轮和我们的辨认题同构；多数票可直接加必读
PersonaEval: Are LLM Evaluators Human Enough to Judge Role-Play?2025给评委对话片段让它认是谁说的；人约 90%，最好的模型约 69%辨认评委的出处；我们的控制题天花板就是它已搬
ECHO: How Well Can LLMs Echo Us?2024图灵式：克隆普通人，让其熟人判断回答是人还是机。GPTs 最高 48.3% 骗过；GPT-4 能看出差异但分不清谁是人「真人还是模型」题的依据；评委也要过这一关必读
Human or Not? A Gamified Approach to the Turing Test2023 AI21两分钟匿名聊天后猜对方是人是机；150 万用户、上千万局；总体 68% 猜对，对机器人只有 60%社区游戏怎么拉人、怎么算分的现成样本必读
Real or Fake Text? (RoFT)2023 AAAI找一段文字从哪句开始变成机器写的；标注者水平差异大、给激励会提升玩家靠谱度和激励设计；工具版 RoFT 2020选读
Large Language Models Pass the Turing Test2025三方图灵测试，GPT-4.5 带人设被判为人 73%人设提示对「像人」影响有多大略读

二、角色扮演基准与评委

回答：别人已经造了哪些尺子，哪些题型和评委能直接搬。

论文年份 / 会议方法对我们
CharacterBench + CharacterJudge2025 AAAI6 方面 11 维，22,859 条人工标注；按维度用 2、3、4、5 点量表；稀疏维度用定向出题诱发；Qwen2-7B 训出评委，与人相关性比 GPT-4 高约四成量表分级设计可抄；评委开源（thu-coai/CharacterJudge）可装必读
CharacterEval + CharacterRM202413 维主观评分，12 人标注训出奖励模型知识边界三项已用私信机制重做已搬
SocialBench2024 ACL Findings500 角色 6000+ 选择题：自我认知、情绪、长短期记忆、群体偏好，程序打分群体偏好题型值得照着给自己角色出选读
RoleEval2023300 名人 6000 道中英四选一知识题考背知识，不用略读
InCharacter2024 ACL访谈式做 14 种心理量表，评委按回答给陈述打分BFI、ECR-R 已搬已搬
CoSER2025771 本书 17,966 角色；GCA 多 agent 复演整场戏，BLEU/ROUGE 对原文加惩罚式评委「对照原文」的程序分；多角色复演和我们的群聊同构选读
CharacterBox2024沙盒：角色 agent 加旁白 agent 自动演出轨迹，再分维度评自动造多场景题集的参考选读
PersonaGym2024200 人设 10,000 题，按环境动态出题，PersonaScore 决策论打分并对人校验动态出题思路选读
Human Simulacra2025 ICLR造虚拟人生平，自评和观察者两个视角做心理学评测「自评 + 旁观」双视角可借到量表选读
MREval: Memory-Driven Role-Playing2026 ACL Findings把记忆拆成锚定、回忆、边界、演绎四项分别测，中英双语记忆问答和探针的分项依据选读
PRISM: Do LLMs Understand Personality?2026不让评委整体打分，改成结构化反推：任务框架、人际姿态、语言风格分别推断再比对支持「分项、有答案」的路线选读
RPBench-Auto2024 Boson评委扮用户聊 5 到 10 轮，每轮和 GPT-4o 成对比，报胜率；无位置交换、无人工校验反面教材：成对比较不能这么单薄略读
MiniMax M2-her 技术解析2026自博弈 100 轮重复 3 次，只看 NPC 侧，按世界观、故事、用户偏好数错误；「难定义对，但能检出错」错误清单里的「AI 沉默」「交互边界」要补已读
The Oscars of AI Theater · From Persona to Personalization · RPA 评测设计指南综述2024–2025三篇综述，第三篇专门整理评测指标和基准查漏用略读

三、可验证奖励与奖励模型

回答：训自己的 4B 时，什么信号能当奖励，哪些是程序算的、哪些是训出来的。

论文年份 / 会议方法对我们
RAIDEN-R12025 腾讯从参考回答抽关键词，回答含关键词记 1 否则 0；复杂题让 QwQ 写校验函数并和模型判定对齐 70% 以上才保留；GRPO 后脚本知识 88%、对话记忆 89%探针可直接改成这种二值奖励必读
Character-R12026认知焦点标签精确匹配、属性描述 BLEU-1、参考回答 BLEU；按角色聚类归一化奖励；650 条 RL 数据就见效按角色归一化是陆一鸣问题的解法必读
VeriRole2026 ICLR先从上下文抽确定性线索当提示，再基于提示构造可验证奖励；RAIDEN 平均分升 18.9%线索抽取可用于自动出题选读
RoleRMBench & RoleRM2025第一个角色扮演奖励模型基准，7 项能力；连续隐式偏好训练想训自己的评委时看选读
HER: Human-like Reasoning and RL for Role-playing · HER-RM-32B202630 万偏好对训出的成对生成式奖励模型，Qwen3-32B 底座，Apache 2.0，先生成评判原则再选胜者可装成第三评委，中文友好选读
R4: Nested Reasoning-Retrieval for Reward Modeling in RPA2026 ICLR奖励模型里嵌推理和检索知道有略读
LitBench2026 EACL4.4 万对 Reddit 故事人工偏好；训的 Bradley–Terry 奖励模型 78% 对人一致，最好的现成评委 73%「人票攒多了训评委」的范式和数据量级选读
Dialogue NLI2019 ACL人设句和回答做蕴含/矛盾判断待搬的矛盾检测选读

四、评委偏差：为什么 AI 分只能当临时分

回答：用户担心的「AI 打分主观不准」，文献里具体是哪几种偏、多大。

论文年份 / 会议方法对我们
LLM Evaluators Recognize and Favor Their Own Generations2024 NeurIPS自我偏好和自我识别能力线性相关，长度等混杂解释不了DeepSeek 当评委给自己加分的解释；评委不兼选手必读
Preference Leakage2026 ICLR评委偏爱同模型、继承关系、同家族的学生模型，比已知偏差更难察觉评委要和所有选手不同家族必读
Style over Substance（见评测方法页）2026 ICLR评委偏爱助手腔、长回答成对提示里已明写「像客服不算像」已读
Let Me Speak Freely?2024格式限制对推理的影响JSON 协议 A/B 的起点已读
Length-Controlled AlpacaEval2024回归去掉长度对胜率的影响成对 Elo 要做长度控制选读
RP-Bench 社区榜2025同一对比交换 A/B 再判一次，64% 翻盘成对必须双向判、只算一致的已读

五、榜单统计与设计

回答：榜怎么排才站得住，分数该带多宽的区间，题池要多大。

论文年份 / 会议方法对我们
The Leaderboard Illusion2025 NeurIPSChatbot Arena 被私测挑最好、数据分配不对称、静默下架扭曲；Meta 发布前私测 27 个变体「已核验」规则、提交即公开、不许撤回的依据必读
Adding Error Bars to Evals2024 Anthropic把评测当实验：题目来自超总体，CLT 和聚类标准误、配对缩方差、功效分析；500 题上 1.5 分常是噪声每个分数带区间、重叠就并列；配对比较（同题）比各跑各的省票必读
Chatbot Arena2024 ICMLBradley–Terry 加置信区间，主动采样最不确定的对子人票主动采样的做法选读
tinyBenchmarks2024 ICML项目反应理论挑 100 题就能把成绩估到 2% 误差题池抽样和题目难度加权选读

六、一致性、漂移与人格

回答：角色为什么越聊越飘，人格怎么测才稳，归一化该以什么为天花板。

论文年份 / 会议方法对我们
Measuring and Controlling Persona Drift2024 COLM两个带指令的机器人自聊，探针测对系统提示的坚持；八轮内明显漂移；归因于注意力衰减；split-softmax 不训练就能缓解按深度切的指标必须有；自训模型可试 split-softmax必读
TRAIT: Personality Testset for LLMs2025 NAACL Findings把 BFI 和 SD-3 扩成 8K 道情境选择题；比自陈量表拒答少、对措辞和选项顺序不敏感；提示很难让模型演出低尽责、高精神病态层 3 情境选择题的学术依据；也解释了量表「宜人性偏高」必读
Generative Agent Simulations of 1,000 People2024两小时访谈建 1,052 个人的代理，复现其问卷回答；准确率以本人两周后重测一致性为天花板做归一化，约 85%「以重测信度归一化」是我们层 8 的做法必读
Sotopia2024 ICLR多 agent 社交场景，每人有目标，评目标达成等多维；GPT-4 在难场景目标达成远低于人群聊里「带目标」的题型来源选读

配套页面：docs/角色扮演评测方法.html（六类方法对比）、docs/指标清单.html（八层指标与跑法）。