Simon Willison·· 3 天前AI 评分22
Qwen3.8 27B 用英文单词做加法的基准测试
Qwen3.8 27B addition in words
AI 导读
Simon Willison 在 DGX Spark 上测试本地 Qwen3.8-27B-Q4_K_M.gguf 能否仅用英文单词表达整数加法结果,禁用推理时 5,070 个用例的数值准确率为 23.57%,格式合规率 96.17%,但准确率从一至三位数的 97.04% 降至十至十三位数的 6.44%。启用推理后,169 个配对用例中答对 167 个。
来源:Simon Willison · simonwillison.net