超越 GPT-4o，Claude 3.5 一夜封王！全网最全实测来了

昨夜上线的 Claude 3.5 Sonnet，性能直接吊打了 GPT-4o，甚至价格还更便宜。网友们纷纷展开实测，有人表示自己一半的工作已经可以由它替代了！而最让人惊喜的新功能，莫过于 Artifacts 了。

就在昨天，Anthropic 深夜发布了下一代旗舰大模型 Claude 3.5 Sonnet。

据称，Claude 3.5 Sonnet 不仅在评估中胜过 GPT-4o，还保持了作为「中杯」的最优性价比，超过了自家的 Claude 3 Opus。

如今，Claude 3.5 Sonnet 已经面向全球开启免费试用了。

在费用上，Sonnet 处理每百万输入 token 仅需 3 美元，每百万输出 token 仅为 15 美元。

对比之下，GPT-4o 的每百万输入 token 收费 5 美元，每百万输出 token 为 15 美元，在价格上可以说是不相上下。正式对打时，各家可以说是已经都压低到了成本价。

前 OpenAI 对齐团队负责人 Jan Leike 表示，我喜欢 Sonnet 新模型。我经常要求它向我解释 ML 论文。虽然不一定全对，但可能比我略读要好，而且速度也快得多。自动对齐研究越来越近了......

有网友同样表示，「我有一半的工作都可以由 Claude 3.5 Sonnet 来完成，我真是太兴奋了」。

Anthropic 的产品经理 Michael Gerstenhaber 将新模型称之为「世界上最智能的模型」。

他表示，「我们正处于这个行业寒武纪大爆发的开端」。

今年晚些时候，Claude 3.5 Haiku 和最强版 Claude 3.5 Opus 将会陆续推出。

模型厂商们是彻底卷起来了！

网友实测

Claude 3.5 Sonnet 发布之后，在全网掀起轩然大波，网友们纷纷上手开启一波测试。

10 倍编码速度惊人

先来看看 Claude 3.5 Sonnet 写代码的速度有多可怕。

网友仅在一次对话中，就用 threejs+cannonjs 创建出一个 3D 太阳系模型，包含了物体和碰撞效果。

另一个网友称，使用 Claude 3.5 Sonnet 进行编码比 GPT-4，或任何其他大型语言模型效率高 10 倍。全新的 Artifacts 功能，可以在聊天旁边生成和运行代码，简直令人惊叹。

没有什么比使用 Claude 3.5 Sonnet 一次性编写一个程序，来解密维吉尼亚密码更棒的事了。

许多网友纷纷夸赞 Claude 3.5 Sonnet 速度快到起飞。

2 分钟一个小游戏

一位开发者直接用了不到 2 分钟，做出了一个戴着太阳镜的小狗吃骨头的游戏。

另有人花了 3 分钟的时间，做出了马里奥克隆版，并且为角色提供了动画效果。

还有另一款「原创」游戏 Color Cascade。

用 2 分钟创建一个蛇梯棋游戏。

网友表示，「我可以通过新的 Artifacts 功能实时查看代码并玩游戏。使用 Claude 的编码体验比 GPT-4 和 Gemini 好 10 倍」。

这位网友用 Sonnet 做了一款乒乓球游戏。

不像 ChatGPT，它没有用到编码解释器。在这个过程中，我们可以制作文档、笔记和其他内容，其中一个选项的 html / jss。

神经网络可视化

有人还去做了可视化深度学习，不过因为消息限制，不得不暂停。

下面是用动画效果解释反向传播的工作原理。

重建 3D「模拟矩阵」

Claude 3.5 Sonnet 是第一个能在首次尝试中，重现电影《黑客》中「数据流」3D 场景的模型。

而且，在制作恐怖游戏上，Claude 3.5 Sonnet 设计的 3D 结构比 Opus 更好。

SVG 效果图

Claude 3.5 Sonnet 可以画出独角兽 SVG 图。

它甚至可以生成芯片制造工艺流程示意图。

「井字棋」游戏失败

OpenAI 研究科学家，德扑之父使用新模型之后表示，像 GPT-4o（现在还有 Claude 3.5 Sonnet）这样的前沿模型，在某些方面可能达到了「聪明的高中生」的水平，但它们在像「井字棋」这样的基本任务上无法完成。

人们曾希望原生的多模态训练能够有所帮助，但事实并非如此。

Artifacts 改变交互

从上文也可以看出，这次更新的一大亮点，就是 Claude 3.5 引入的超强实时交互功能 Artifacts 了。

这一功能，可以说是开启了交互式 AI 最有潜力的形式。

它标志着 Claude 从对话式 AI 向协作工作环境的转变。而在未来，Anthorpic 的设想是，整个组织都能在共享空间中集中知识、文档、工作，而 Claude 会随时提供服务。

在沃顿商学院教授 Ethan Mollick 看来，Artifacts 可以说是一个简化版的代码解释器。

他上手创建的，是这样一个螃蟹小游戏。

开始的版本是这样的，稍显平淡。

教授直接问，能不能让游戏恐怖一点？然后氛围感瞬间就上来了。

大家的直观感受是，使用 Claude 和 Artifacts，就像在 IDE 中工作一样。

这位日本网友介绍说，Artifacts 简单来说，就是一个显示代码预览的功能。它很容易直观地理解，可以用于多种目的。

-网站创建

-形状

-图形

-文档

-简单游戏

它可以帮忙创建简单的网站。

只要跟它说“制作一个计算器应用程序”，一个使用 React 的计算器应用程序预览就完成了。

通过 Artifacts，可以让 Sonnet 使用 HTML 创建简单的幻灯片材料。

这位网友发现，这个过程中可以向 Sonnet 展示设计图片，它们会把这些图片用作参考。

Claude 3.5 Sonnet 不仅编码效率比 GPT-4o 或任何其他 LLMs 都高 10 倍，而且因为 Artifacts 功能可以在聊天的旁边生成并运行代码，因而可以提供令人惊叹的用户体验。

比如让它用 React 生成一个贪吃蛇的游戏。

随后，我们还可以用自然语言对游戏进行修改，比如做一个美观的背景，或者让蛇有一个化身。

因为可以一边创建游戏，一边立刻在右侧窗口中玩这个游戏，Artifacts 功能可以说是彻底贯彻了从对话式人工智能转向协同工作环境的想法。

总的来说，Artifacts 似乎是 Claude 长远远景的一个信号。

长期以来，Anthropic 一直表示自己主要关注企业，并且计划将 Claude 变成一种工具，让企业「安全地」将他们的知识、文档和正在进行的工作集中在一个共享空间中。

听起来，这种概念更像是 Notion 或 Slack，而不是 ChatGPT。而在这种系统中，Anthropic 的模型将处于整个系统的中心。

吊打 GPT-4o，上一代 2 倍速

总的来说，Claude 3.5 Sonnet 在生成速度方面，实现了飞升，是上一代超大杯 Claude 3 Opus 的 2 倍。

而且，在视觉方面的表现，新模型全面超越了 GPT-4o。OpenAI 上个月刚发布的新模型，没想到这么快被取而代之。

以下是官方博客中，做的一些基准测试。

从图中可以看出，Claude 3.5 已经在多数基准中，领先 GPT-4o、Gemini 1.5，以及 Llama-400B 的模型。

在代码基准中，Claude 3.5 在零样本情况下，取得了 92% 的成绩。在数学上，零样本 + CoT 加持 Claude 3.5 还是有些落后于 GPT-4o。

在视觉基准上，Claude 3.5 Sonnet 在视觉问答 MMMU 基准上，略逊于 GPT-4o。

不过，视觉数学推理、科学表格、图表问答、文件问答上，都拿下了最高分。

Claude 不仅能准确识别、转录图像中的文字内容，还结合了强大的代码生成能力，将多个模态真正集成在一起。

与众不同的是，Claude 3.5 Sonnet 并不像 GPT-4o 那样集成了语音助手，或者能够生成图像，而且 Anthropic 暂时也没有这一打算。

Anthropic 联创兼总裁 Daniela Amodei 在接受彭博独家采访中提到，「我们的目标是使其成为所有企业业务的首选模型」。

她继续称，从研究的角度来看，我们能够生成图像输出，但绘制一只「滑雪的猫」图像并不是我们的企业客户所要求的，所以我们并不优先考虑这一点。

目前，制药巨头 Pfizer 已经利用 Claude 模型，帮助发现新药物。

未来，模型越智能，就越有能力支持这种非常高水平的智力工作。显然，Anthropic 正在努力为它想要瞄准的企业公司进一步差异化。

可以扩展 Claude 交互方式的新功能 Artifacts，便是一个新的尝试。

Anthropic 的改进速度，简直令人惊叹。

如今 Anthropic 的这一步，必将逼得其他竞争对手跟上。

要知道，Claude 不像 Gemini 或 ChatGPT 那样受到更多关注，但它在比赛中却非常受欢迎。

参考资料：

• https://www.anthropic.com/news/claude-3-5-sonnet

• https://techcrunch.com/2024/06/20/anthropic-claims-its-latest-model-is-best-in-class/

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。