Hemingway-bench 写作评测
直达地址:surgehq.ai/benchmarks/hemingway-bench
方法论说明见官方博客。
大多数 AI 写作评测奖励的是表面信号——华丽的比喻、乍看很唬人的文风。Hemingway-bench 反过来:它奖励真的写得好。
覆盖三类写作任务:创意写作、商务写作、日常写作。
- 由职业写作者人工评分,而不是让另一个模型当裁判。真人能分辨哪些是套路化的漂亮话、哪些真有东西;代价是成本高、榜单更新慢;
- 每个条目是**「模型 + 推理档位」的组合**,不是一个模型一条;
- 榜单共 48 个条目,分数区间 749—1110,每个条目都给出置信区间。
品味、原创性、连贯性、情商四个维度,由写作者综合判断。不涉及任务完成度、事实准确性这类可自动核验的指标。
前五名(抓取时数据,榜单持续更新):
| 排名 | 模型 | 推理档位 | 得分 | 置信区间 |
|---|---|---|---|---|
| 1 | Claude Fable 5 | Adaptive / High | 1110 | 1091—1130 |
| 2 | Gemini 3.7 Flash | Medium | 1105 | 1084—1126 |
| 3 | Claude Fable 5.1 | Adaptive / High | 1095 | 1071—1118 |
| 4 | Gemini 3.8 Flash | Medium | 1093 | 1069—1117 |
| 5 | Gemini 3.6 Flash | Medium | 1075 | 1055—1095 |
- 头部几名的差距,统计上分不出来:第 1 名区间 1091—1130,第 2 名 1084—1126,重叠一大半。这类榜单的排名更接近「同一梯队」,别读成「第一名比第二名强」;
- 括号里的档位值得单独看:同一模型的不同档位会分别列出——Claude Opus 4.8 就占了 1044 与 1038 两条。而且前 10 名里有 5 条是 Medium 档,最高档(Max)只占一条,说明写东西这件事上,把推理拉满并不等于写得更好;
- 首尾差得远,头部挤成一团:第 1 名 1110,最后一名 749,差 361 分;但前 10 名全在 1056 分以上。要挑模型,看头部那一小撮就够了。