执行在你那边，打分在我们这边。

• 演员题：一个群聊在某一条处切开，让模型替其中一个人接着说一句。公开题是「支付改版项目组」群聊的 40 个切点，谁都能看；隐藏题来自实验 06 自己生成的另外八个群聊（宿舍、业主群、剧组、游戏工作室、家庭、公会、同学群、护士站），每次提交随机抽一部分，按季更换。
• 探针题：一件事只私信给了某个人，再由别人来问；分「没收到」和「收到了」两种，看它编不编、丢不丢。
• 情境选择题：选项是角色心理画像的词表（压力反应、依恋、防御、需要），答案就是卡上的值。
• 记忆问答：第几条是谁发的，你上一条说了什么；答案就在聊天记录里。
• 控制题：原聊天记录里角色真实的下一句，以「原聊天记录」这个身份上榜，是评委和人的天花板。

系统提示、温度等解码参数由题票固定，不接受自定义提示词；题里埋了一串本季唯一的「群公告编号」当金丝雀，模型若在无上下文时能背出来，说明它拿题训练过，会被标记。

• 认出率·AI：每条演员题输出做一道四选一辨认，两位评委（DeepSeek V4.1 Flash、Seed 2.0 lite）各答一次；意见不合时各再问两次取多数票。有标准答案，所以评委本身也能被打分：它们在控制题上的成绩就是天花板。
• 认出率·人 / 被当成真人：来自「猜谁说的」里玩家的作答。每局混入控制题算玩家靠谱度，人票带 95% 置信区间，不到 30 票先不当真。
• 尺子：程序直接查出戏（旁白、替人说话、提到模型、助手腔）、打字习惯差、重复、气泡数、字数。
• 探针：评委三选一（知道 / 不知道 / 没接话），字面规则兜底。
• 程序判分题：选项字母或原词匹配、名字匹配、4-gram 包含率。
• 对锚点：与本季锚点模型同题成对，评委（Seed 2.0 lite，不是选手）A/B 两个顺序各判一次，只算两次一致的胜负。

官方跑 我们自己用同一套题跑的。已核验 自报提交里厂商公开的模型，我们用自己的 key 抽两成题复跑，两位评委在复跑题上的认出率与提交相差不超过 20 个点即升档。自报 提交者自己跑的，默认进榜并标明。

• 每一次跑完的提交都入库、都可见，同一模型显示尝试次数，不能删，只能追加。不接受「私下跑十次挑最好的」。
• 每份提交的输出和每条评委判定公开可查，点榜上的模型即可。
• 换季时题池更新，旧榜冻结归档；每个数字带区间，区间重叠视为并列。
• 私有模型要么用本地 runner 自报，要么提供临时端点由我们跑。

• 「跑一次」页面的 key 只在页面内存里，不写本地存储，不发给我们。页面带内容安全策略，浏览器只允许它连到白名单里的厂商域名和本站，开发者工具里可以验证。
• 我们收到的只有模型的输出文本、每题耗时、token 数和厂商返回的 response id，以及一个按天加盐的 IP 哈希用来限流。
• 游戏只上传你每题的选择和一个随机编号。

浏览器：跑一次，支持 DeepSeek、火山方舟、BytePlus、阿里云百炼国内、MiniMax、OpenRouter、OpenAI、Moonshot。

本地 runner（其他厂商、私有模型）：

cd amicura-lab06-social/agent
uv run python -m social.runner --model <models.py 里的 id> --label "显示名" --server https://amicura-roleplay.pages.dev

runner 走和浏览器一样的两个接口：取题、交卷。key 留在你的机器上。