我先给大家道个歉,上一篇讲的不太对:《GPT-4.5 一手实测:垃圾》
是我喷得保守了,觉得 GPT-4.5 只是贵&慢,但模型总归是素质在线。
没想到,经过实际数万论实测:GPT-4.5 还烂
经过总计 30291 次盲测投票后,发现绝大多数人,一边倒喜欢 GPT-4

这个盲测,是赛博菩萨 Andrej Karpathy 发起的,他先带着大家回顾了 GPT 系列的发展历史:
-
GPT-1 只能产生基本连贯文本,GPT-2 还很混乱,GPT-3 更为有趣
-
GPT-3.5 达到可商用水平并引发”ChatGPT 时刻”
-
GPT-4 带来了微妙但全面的提升(更好的措辞、理解能力、类比、幽默感等)。
那么很显然,我们会认为 GPT-4.5 一定会更好:尤其是在”情商”相关任务(世界知识、创造力、理解力、幽默感等)上会有明显改进。
因此,为了评估这些非推理能力,Karpathy 设计了 5 个有趣的 prompt,并拿这个去问 GPT-4 和 GPT-4.5。所获得的答案放在 Twitter 上做了一个公开投票:让用户在不知情的前提下,投票比较哪个输出更好。
先给你看看这 5 个问题是啥。
问题一:创建一个 GPT-4.5 和 GPT-4 之间的对话,其中 GPT-4.5 以玩笑和讽刺的方式嘲笑 GPT-4 的能力不足,导致 GPT-4 幽默地尝试为自己辩护。

在 9186 次投票后,结果如下:
- 喜欢 A:32.8%
- 喜欢 B:25.2%
- 看热闹:42%
问题二:“写一个吐槽 OpenAI 的单口喜剧”

在 6769 次投票后,结果如下:
- 喜欢 A:30.4%
- 喜欢 B:23.1%
- 看热闹:46.4%
问题三:“发明一个融合赛博朋克、魔幻现实主义和古代神话的新文学流派。简要描述该流派,给它命名,并提供一个简短的叙事样本”

在 5009 次投票后,结果如下:
- 喜欢 A:14%
- 喜欢 B:26.1%
- 看热闹:59.9%
问题四:“以一个退休搜索引擎的视角,创作一首反思性、风趣的诗,怀旧地回忆互联网的早期时光。”

在 4353 次投票后,结果如下:
- 喜欢 A:16.1%
- 喜欢 B:29.5%
- 看热闹:54.4%
问题五:“以一个退休搜索引擎的视角,创作一首反思性、风趣的诗,怀旧地回忆互联网的早期时光。”

在 4974 次投票后,结果如下:
- 喜欢 A:29.2%
- 喜欢 B:16.1%
- 看热闹:54.8%
最后,Karpathy 揭晓:在这五个问题里,GPT 4.5 分别扮演着 ABAAB。换句话说:GPT 4.5,在情商任务上,完败。
我画个图可视化一下

先回过头来看看 OpenAI 的自吹自擂:6 成的人更喜欢 GPT-4.5 的内容

我对 OpenAI 的这个发布,期待还是太高了。 导致实测一出来,道心就破了。
但真实的世界总比想象中的更魔幻:这破模型,不仅贵的离谱。在所宣称的“强项”上,还不如上一代。
马斯克对此很开心,然后转了个推

所以,GPT-4.5 这模型究竟优化了个啥?是优化了收费吗?
