iPhone 可跑 2B 小钢炮：谷歌 Gemma 2 小模型来袭，跑分超 GPT-3.5

谷歌 DeepMind 的小模型，又上新了！

就在刚刚，谷歌 DeepMind 发布 Gemma 2 2B。

它是从 Gemma 2 27B 中蒸馏而来。

虽然它的参数只有 2.6B，但在 LMSYS 竞技场上的得分，已经超越了 GPT-3.5 和 Mixtral 8x7B！

在 MMLU 和 MBPP 基准测试中，它分别取得了 56.1 和 36.6 的优异成绩；比起前代模型 Gemma 1 2B，它的性能超过了 10%。

小模型击败了大几个数量级的大模型，再一次印证了最近业界非常看好的小模型方向。

谷歌在今天，一共公布了 Gemma 2 家族的三个新成员：

• Gemma 2 2B：轻量级 2B 模型，在性能和效率之间实现了最大的平衡

• ShieldGemma：基于 Gemma 2 构建的安全内容分类器模型，用于过滤 AI 模型的输入和输出，确保用户安全

• Gemma Scope：一种可解释性工具，提供对模型内部运行机制的无与伦比的洞察

6 月，27B 和 9B Gemma 2 模型诞生。

自发布以来，27B 模型迅速成为大模型排行榜上，排名前列的开源模型之一，甚至在实际对话中表现超过了参数数量大两倍的流行模型。

Gemma 2 2B：即刻在设备上使用

轻量级小模型 Gemma 2 2B，是从大模型中蒸馏而来，性能毫不逊色。

在大模型竞技场 LMSYS 上，新模型取得令人印象深刻的 1130 分，与 10 倍参数的模型不相上下。

GPT-3.5-Turbo-0613 得分为 1117，Mixtral-8x7b 得分为 1114。

足见，Gemma 2 2B 是最好的端侧模型。

有网友在 iPhone 15 Pro 上，让量化后的 Gemma 2 2B 在 MLX Swift 上运行，速度快到惊人。

具体来说，它能够在各种终端设备，包括手机、笔记本，甚至是使用 Vertex AI 和 Google Kubernetes Engine（GKE）强大的云，皆能完成部署。

为了让模型加速，它通过 NVIDIA TensorRT-LLM 完成了优化，在 NVIDIA NIM 平台也可使用。

优化后的模型适用于各种平台部署，包括数据中心、云、本地工作站、PC 和边缘设备。

它还可以支持 RTX、RTX GPU、Jetson 模块，完成边缘化 AI 部署。

此外，Gemma 2 2B 无缝集成了 Keras、JAX、Hugging Face、NVIDIA NeMo、Ollama、Gemma.cpp 等，并很快将与 MediaPipe 集成，实现简化开发。

当然，与 Gemma 2 一样，2B 模型也同样可以用来研究和商用。

甚至，由于其参数量足够下，它可以在 Google Colab 的免费 T4 GPU 层上运行，降低了开发门槛。

目前，每位开发者都可以从 Kaggle、Hugging Face、Vertex AI Model Garden 下载 Gemma 2 的模型权重，也可在 Google AI Studio 中试用其功能。

仓库地址：

https://huggingface.co/collections/google/gemma-2-2b-release-66a20f3796a2ff2a7c76f98f

ShieldGemma：最先进的安全分类器

正如其名，ShieldGemma 是最先进的安全分类器，确保 AI 输出内容具有吸引力、安全、包容，检测和减少有害内容输出。

ShieldGemma 的设计专门针对四个关键的有害领域：

• 仇恨言论

• 骚扰内容

• 露骨内容

• 危险内容

这些开源分类器，是对谷歌现有的负责任 AI 工具包中安全分类器套件补充。

该工具包括一种基于有限数据点构建针对特定策略分类器的方法，以及通过 API 提供的现成 Google Cloud 分类器。

ShieldGemma 基于 Gemma 2 构建，是行业领先的安全分类器。

它提供了各种模型参数规模，包括 2B、9B、27B，都经过英伟达速度优化，在各种硬件中可以高效运行。

其中，2B 非常适合在线分类任务，而 9B 和 27B 版本则为对延迟要求较低的离线应用提供更高性能。

Gemma Scope：通过开源稀疏自编码器揭示 AI 决策过程

此次同时发布的另一大亮点，就是开源稀疏自编码器 —— Gemma Scope 了。

语言模型的内部，究竟发生了什么？长久以来，这个问题一直困扰着研究人员和开发者。语言模型的内部运作方式往往是一个谜，即使对于训练它们的研究人员，也是如此。

而 Gemma Scope 就仿佛一个强大的显微镜，通过稀疏自编码器（SAEs）放大模型中的特定点，从而使模型的内部工作更易于解释。

有了 Gemma Scope 以后，研究人员和开发者就获得了前所未有的透明度，能够深入了解 Gemma 2 模型的决策过程。

Gemma Scope 是数百个适用于 Gemma 2 9B 和 Gemma 2 2B 的免费开放稀疏自动编码器（SAE）的集合。

这些 SAEs 是专门设计的神经网络，可以帮助我们解读由 Gemma 2 处理的密集、复杂信息，将其扩展成更易于分析和理解的形式。

通过研究这些扩展视图，研究人员就可以获得宝贵的信息，了解 Gemma 2 如何识别模式、处理信息、做出预测。

有了 Gemma Scope，AI 社区就可以更容易地构建更易理解、负责任和可靠的 AI 系统了。

同时，谷歌 DeepMind 还放出了一份 20 页的技术报告。

技术报告：https://storage.googleapis.com/gemma-scope/gemma-scope-report.pdf

总结来说，Gemma Scope 有以下 3 个创新点 ——

• 开源 SAEs：超过 400 个免费提供的 SAEs，覆盖 Gemma 2 2B 和 9B 的所有层

• 互动演示：在 Neuronpedia 上无需编写代码，即可探索 SAE 功能，并分析模型行为

• 易于使用的资源库：提供与 SAEs 和 Gemma 2 交互的代码和示例

解读语言模型内部的运作机制

语言模型的可解释性问题，为什么这么难？

这要从 LLM 的运行原理说起。

当你向 LLM 提出问题时，它会将你的文本输入转换为一系列「激活」。这些激活映射了你输入的词语之间的关系，帮助模型在不同词语之间建立联系，据此生成答案。

在模型处理文本输入的过程中，模型神经网络中不同层的激活代表了多个逐步高级的概念，这些概念被称为「特征」。

例如，模型的早期层可能会学习到像乔丹打篮球这样的事实，而后期层可能会识别出更复杂的概念，例如文本的真实性。

然而，可解释性研究人员却一直面临着一个关键问题：模型的激活，是许多不同特征的混合物。

在研究的早期，研究人员希望神经网络激活中的特征能与单个神经元（即信息节点）对齐。

但不幸的是，在实践中，神经元对许多无关特征都很活跃。这也就意味着，没有什么明显的方法，能判断出哪些特征是激活的一部分。

而这，恰恰就是稀疏自编码器的用武之地。

要知道，一个特定的激活只会是少数特征的混合，尽管语言模型可能能够检测到数百万甚至数十亿个特征（也就是说，模型是稀疏地使用特征）。

例如，语言模型在回答关于爱因斯坦的问题时会想到相对论，而在写关于煎蛋卷时会想到鸡蛋，但在写煎蛋卷时，可能就不会想到相对论了。

稀疏自编码器就是利用了这一事实，来发现一组潜在的特征，并将每个激活分解为少数几个特征。

研究人员希望，稀疏自编码器完成这项任务的最佳方式，就是找到语言模型实际使用的基本特征。

重要的是，在这个过程中，研究人员并不会告诉稀疏自编码器要寻找哪些特征。因此，他们就能发现此前未曾预料过的丰富结构。

然而，因为他们无法立即知道这些被发现特征的确切含义，他们就会在稀疏自编码器认为特征「触发」的文本示例中，寻找有意义的模式。

以下是一个示例，其中根据特征触发的强度，用蓝色渐变高亮显示了特征触发的 Token：

用稀疏自编码器发现特征激活的示例。每个气泡代表一个 Token（单词或词片段），可变的蓝色说明了这个特征的存在强度。在这个例子中，该特征显然与成语有关

Gemma Scope 有何独特之处？

比起此前的稀疏自编码器，Gemma Scope 有许多独特之处。

前者主要集中在研究小型模型的内部工作原理或大型模型的单层。

但如果要把可解释性研究做得更深，就涉及到了解码大型模型中的分层复杂算法。

这一次，谷歌 DeepMind 的研究者在 Gemma 2 2B 和 9B 的每一层和子层的输出上，都训练了稀疏自编码器。

这样构建出来的 Gemma Scope，总共生成了超过 400 个稀疏自编码器，获得了超过 3000 万个特征（尽管许多特征可能重叠）。

这样，研究人员就能够研究特征在整个模型中的演变方式，以及它们如何相互作用，如何组合形成更复杂的特征。

此外，Gemma Scope 使用了最新的、最先进的 JumpReLU SAE 架构进行了训练。

原始的稀疏自编码器架构，在检测特征存在与估计强度这两个目标之间，往往难以平衡。而 JumpReLU 架构，就能更容易地实现二者的平衡，并且显著减少误差。

当然，训练如此多的稀疏自编码器，也是一项重大的工程挑战，需要大量的计算资源。

在这个过程中，研究者使用了 Gemma 2 9B 训练计算量的约 15%（不包括生成蒸馏标签所需的计算），将约 20 PiB 的激活保存到了磁盘（大约相当于一百万份英文维基百科的内容），总共生成了数千亿个稀疏自编码器参数。

参考资料：

• https://developers.googleblog.com/en/smaller-safer-more-transparent-advancing-responsible-ai-with-gemma/

本文来自微信公众号：微信公众号（ID：null），作者：新智元，原标题《iPhone 可跑 2B 小钢炮！谷歌 Gemma 2 来袭，最强显微镜剖解 LLM 大脑》

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。