跳到正文

能力边界与评测

只收能改写模型上限或下限判断的评测与真实系统证据,关注失败条件、可复现性和外推限制。

最新精选

第 121–122 条 · 共 122 条
9月23日周三
  1. Anthropic News80

    Anthropic 发布 Claude 自主发现新型酶系统 ART 的预印本与实验室验证结果

    Anthropic 正式宣布其生命科学团队利用 Claude 模型自主发现了一种名为 array-associated reverse transcriptases (ART) 的新型酶系统,该发现基于对噬菌体 DNA 序列的深度挖掘,并伴随 CRISPR 样重复序列特征。这一成果并非简单的模式匹配,而是 AI 智能体在缺乏具体功能假设的情况下,通过扫描海量数据识别出未被表征的蛋白家族,并主动提出假设、生成报告供人类科学家验证的完整科研流程。 关键事实细节显示,此次发现过程由约 950 个 Agent 并行运行,消耗 2.1 亿 tokens,耗时 21 小时完成初步搜索。Claude 在分析超过 20 万种逆转录酶(RT)时,注意到一个异常 RT 基因旁存在独特的串联重复阵列,这种布局此前仅在少数可编程系统中出现过。虽然该系统的生物学功能尚待进一步实验确认,但其包含逆转录酶、伴侣基因和长重复序列阵列的三要素结构已引发 MIT 教授 Feng Zhang 等专家的重视,认为其值得深入调查。Anthropic 强调,人类科学家仅负责初始提示词设定和后续湿实验验证,中间的数据筛选、逻辑推理及假设生成均由 AI 独立完成。 推断表明,这标志着 AI 在基础科学研究中的角色正从“加速现有流程”向“定义新科研范式”迁移,即建立人机协作的新工作流,其中 AI 负责大规模假设生成与初筛,人类负责高价值候选物的实验验证。猜测层面,若 ART 系统被证实具有类似 CRISPR 的可编程性,它可能成为下一代基因编辑或合成生物学的核心工具。目前 Anthropic 已公开相关预印本,并邀请外部科学家合作扩展该方法论,但需区分的是,文中明确说明所有湿实验操作仍由人类在 BSL-1/2 级实验室完成,AI 并未直接操控物理设备。

    推荐理由:材料展示AI自主发现新酶系统的完整闭环,将改变对AI在基础科学中从辅助工具转向独立发现者的判断。

1月30日周四
  1. Mistral AI82

    Mistral Small 3 发布:24B 参数模型以 Apache 2.0 开源并宣称比 Llama 3.3 70B 快 3 倍

    Mistral AI 正式发布了 Mistral Small 3,这是一款参数量为 24B、采用 Apache 2.0 协议开源的预训练及指令微调模型。官方宣称该模型在保持与 Llama 3.3 70B 相当性能的同时,在相同硬件上的推理速度提升了 3 倍以上,并在 MMLU-Pro 基准测试中取得了超过 81% 的准确率,优于 GPT-4o-mini。 核心证据显示,该模型通过减少层数显著降低了单次前向传播的时间,从而实现了低延迟特性。图表数据显示,在 MMLU-Pro 评测中,Mistral Small 3 位于性能与延迟曲线的最优区间,其延迟低于 12ms/token,而 Qwen-2.5 32B 则接近 15ms/token。此外,官方强调该模型未使用强化学习(RL)或合成数据训练,定位为构建复杂推理能力的基座模型,而非直接具备 R1 类模型的思维链能力。 商业与技术推论方面,该模型明确指向了端侧部署场景,官方指出量化后可在单张 RTX 4090 或配备 32GB RAM 的 Macbook 上运行,适用于金融风控、医疗分诊等对隐私和实时性要求高的垂直领域。虽然官方列出了 Hugging Face、Ollama 等合作伙伴,但需注意这是基于内部评估和第三方供应商的对比结果,实际表现可能因具体硬件配置而异。目前该模型已上架 la Plateforme 平台,并计划接入 NVIDIA NIM 和 Amazon SageMaker 等更多基础设施。

    推荐理由:24B 参数模型在 MMLU-Pro 上超越 GPT-4o-mini 且延迟更低,为本地部署和实时 Agent 提供了可验证的替代方案。