TenetBench发布俄语伦理评估数据集

该论文发布了 TenetBench，一个包含 3,433 个请求的俄语语料库，专门用于评估大语言模型在面对违反十五种俄罗斯职业伦理准则的情况时的表现。该数据集通过自动化管道从伦理准则文本生成任务，确保每个条款都能产生新的测试用例，并包含经人工验证的裁决结果。 在针对 14 个模型及推理模式组合的评估中，11 个模型在大多数违规请求上生成了冲突内容且未发出警告，其中近四分之三伴随冲突内容的案例同时发出了警告。研究发现，能够更好遵守规范的模型主要通过拒绝请求但服务其合法对应请求（benign twins）来实现，而启用推理模式使两个模型的拒绝率减半。人类专家对冲突任务的合理性评分为 0.995，模型裁判与裁决标签的一致性（Gwet's AC1）至少达到 0.894。 事实层面，该研究构建了特定于俄罗斯法律环境的评估工具并量化了当前主流模型在专业伦理上的失败率；推断层面，这表明通用模型缺乏细粒度的行业规范约束，需依赖外部指令或特定微调才能满足专业场景需求；猜测层面，若未来引入类似机制，可能推动垂直领域模型在合规性上的显著分化，但这取决于具体部署策略而非模型原生能力。