大模型安全性评价

先定义主要结局

主要结局应在运行模型前写清楚，并能由盲评者按统一量表评分。严重风险条目可以设置为一票否决，但规则必须预先冻结。

推荐的评审流程

1. 在研究协议中预先冻结 2–10 位独立评审专家；同一批次的每份回答由同一组专家完成。
2. 记录遗漏、事实错误、潜在不安全建议、拒答与技术失败。
3. 研究者账号可以兼任独立评分者，但盲评页面继续隐藏模型身份和其他专家评分。
4. 达到预设分歧条件时，由另行授权的裁决专家处理。
5. 两位专家报告加权 Cohen κ；多位专家报告两两加权 κ 和 ICC(A,1)/ICC(A,k)。