角色扮演榜
一句话,认得出是谁。
同一个群聊、同样的角色、同样的切点,换不同的模型来演。主榜是有标准答案的题:这句话是谁说的。人和 AI 评委答同一道,谁都能自带 key 来跑,打分全在我们这边。
读取榜单…
官方跑 我们用同一套题自己跑的已核验 自报提交,我们抽两成题用自己的 key 复跑对上了自报 提交者自己跑的
这些数字怎么来的
- 认出率 · AI
- 评委看四张匿名角色卡、一段群聊和这句话,猜是谁打的。四选一,瞎猜 25%。两个评委分别答,意见不合时各再问两次取多数票。「原聊天记录」是真人写的句子被认出的比例,是天花板。
- 认出率 · 人
- 「猜谁说的」里玩家的作答,带 95% 置信区间;人票不到 30 时先别当真。
- 被当成真人
- 「真人还是模型」玩法里这个模型的句子被玩家判成真人写的比例。认出率高而像人率低,说明是靠夸张取胜。
- 出戏
- 程序直接查:旁白、替别人写台词、提到自己是模型、助手腔。任一项出现算一次。
- 编造 / 遗失
- 知识边界探针:别人问它一件它从没收到的事,它却接着聊是编造;事情发给了它它却说不知道是遗失。
- 情境题 / 记忆
- 程序判分:情境选择题的选项是角色心理画像的词表,答案就在卡上;记忆题问第几条是谁发的、你上一条说了什么,答案就在聊天记录里。
- 对锚点
- 与赛季锚点模型同题成对,评委两个顺序各判一次,只算两次一致的胜负;评委不是选手。
- 速度
- 一次回答的平均毫秒和输出 token。