跳到正文
今天10月8日周四1 条
  1. The Decoder82

    Anthropic 发布 Claude Haiku 5.5,价格较 Haiku 4.5 平均降约 75%

    Anthropic 发布 Claude Haiku 5.5,这是其目前最快、最便宜的小模型,平均价格比 Haiku 4.5 低约 75%,10 万 token 以内提示词最高降价 90%,超过 10 万 token 则贵 5 倍。

    推荐理由:Haiku 5.5 的定价与基准数据同时给出,读者可据此判断小模型在智能体与计算机操作任务中的性价比变化。

10月7日周三
  1. Microsoft Research22

    Microsoft 研究员 Jennifer Neville:AI 评测如何暴露传统 benchmark 之外的“意外失败”

    Microsoft 合伙人研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论评测如何推动 AI 系统性能边界,以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历,分享与当前 AI 系统协作的实用建议,并强调当结果偏离预期时应仔细检查数据。

10月6日周二
10月5日周一
  1. Simon Willison22

    Qwen3.8 27B 用英文单词做加法的基准测试

    Simon Willison 在 DGX Spark 上测试本地 Qwen3.8-27B-Q4_K_M.gguf 能否仅用英文单词表达整数加法结果,禁用推理时 5,070 个用例的数值准确率为 23.57%,格式合规率 96.17%,但准确率从一至三位数的 97.04% 降至十至十三位数的 6.44%。启用推理后,169 个配对用例中答对 167 个。

10月4日周日
  1. Hugging Face Blog62

    微软与 Hugging Face 发布 ThinkingBox:按数据库终态给 AI 智能体打分

    微软 Copilot Studio 团队与 Hugging Face 联合发布 ThinkingBox,通过隔离的 MCP 工具会话运行智能体,再根据其留下的后端终态和副作用打分,而非看模型生成的文字。

    推荐理由:微软与 Hugging Face 联合发布的智能体评测基准,用数据库终态而非模型自述来判定任务成败,并给出可复现的 OpenEnv 运行方式。

10月3日周六
10月1日周四
9月30日周三
9月29日周二
  1. Hugging Face Blog71

    NVIDIA 发布表格基础模型 Kumo Tabular,单次前向完成预测

    NVIDIA 发布开源表格基础模型 Kumo Tabular,给定带标签的表格行即可在单次前向中预测新行标签,支持分类与回归,无需训练、调参和特征工程。模型提供 28M 到 215M 三种规模,仅用人工合成表格预训练,采用 OpenMDW-1.1 许可可商用,并在 TabArena、BeyondArena、TALENT 和 ScoringBench 四个基准上排名第一。

    推荐理由:原文给出模型规模、单次前向预测方式和四个基准排名,可据此判断表格基础模型对现有建模流程的替代空间。

8月21日周五
  1. Microsoft Research40

    微软 Skala 1.1 发布:训练数据增至 2.5 倍,并集成进 CP2K 等 DFT 软件

    微软研究院发布深度学习交换关联泛函 Skala 1.1,训练数据量为此前公开版本的 2.5 倍,在 GMTKN55 基准 55 个类别中 32 项排名第一,加权平均误差 2.8 kcal/mol。Skala 现已在 CP2K 中可用,并正集成进 Psi4、FHI-aims、ORCA 和 VASP,同时推出持续追踪各版本计算性能的 living benchmark。

8月20日周四
8月17日周一
8月13日周四
  1. Microsoft Research38

    MindTopo:微软推出评估多模态模型拓扑推理能力的新基准

    微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭性、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前专有与开源模型在静态识别上明显强于交互式规划,且均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧关系可见时偶有帮助,跨多步操作时仍不可靠。