跳到正文
10月7日周三
10月5日周一
  1. Simon Willison22

    Qwen3.8 27B 用英文单词做加法的基准测试

    Simon Willison 在 DGX Spark 上测试本地 Qwen3.8-27B-Q4_K_M.gguf 能否仅用英文单词表达整数加法结果,禁用推理时 5,070 个用例的数值准确率为 23.57%,格式合规率 96.17%,但准确率从一至三位数的 97.04% 降至十至十三位数的 6.44%。启用推理后,169 个配对用例中答对 167 个。

9月16日周三
8月13日周四
  1. Microsoft Research38

    MindTopo:微软推出评估多模态模型拓扑推理能力的新基准

    微软研究院推出 MindTopo 基准,用于评估多模态大语言模型在连通性、封闭性、顺序、分离和绳结五类拓扑关系上的推理与规划能力。测试显示,当前专有与开源模型在静态识别上明显强于交互式规划,且均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧关系可见时偶有帮助,跨多步操作时仍不可靠。

7月29日周三
4月20日周一
  1. Berkeley AI Research36

    GRASP:面向世界模型长时程规划的梯度规划器

    Berkeley AI Research 提出 GRASP,一种面向学习动力学(世界模型)的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接加入随机性以探索、并重塑梯度让动作获得清晰信号,同时避开高维视觉模型中脆弱的“状态-输入”梯度,使长时程规划更实用、更稳健。

3月13日周五
  1. Berkeley AI Research38

    Berkeley AI Research 提出 SPEX 与 ProxySPEX:大规模识别 LLM 交互关系

    Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法,用于在大规模 LLM 中识别关键交互关系。方法以消融为核心,通过移除输入提示词的特定片段并测量预测变化来实现特征归因。随着特征、训练数据和模型组件数量增长,潜在交互数量呈指数级上升,穷举分析在计算上不可行。