微软组建王牌团队专攻“小模型”：摆脱 OpenAI 依赖，为大模型降本增效

根据 Theinformation 消息人士曝料，微软调集了各组中的精英，组建了一支新的 AI 团队，专攻小模型，希望能够摆脱对于 OpenAI 的依赖。

凭借与 OpenAI 的紧密合作，微软不仅一跃成为了大厂中模型能力最强的公司，而且股价也成功赶上了苹果，成为了世界上市值最高的公司之一。

但是，去年 11 月份 OpenAI 的闹剧也让微软明白，如果把自己最重要的技术押宝在一家初创公司上，最后翻车的风险也是相当大的。

毕竟在商业世界里，「我能用」和「是我的」是两个完全不同的概念。

达沃斯世界经济论坛上，微软⾸席执⾏官 Nadella 称，在⼩型⼈⼯智能模型⽅⾯，微软正在以⼀种「掌控⾃⼰命运」的⽅式取得突破。

纳德拉说「我们⾮常重视拥有最好的前沿模型，⽽如今最前沿的模型恰好是 GPT-4。同时我们也拥有最好的小语言模型--Phi，从而拥有了最强的多样化的模型能力。」

而最近有外媒曝出，微软正在组建一支自己的 LLM 嫡系部队躬身入局，希望从「小模型」发力，让微软的肉身真正坐上「大模型之战」的主桌。

根据微软内部知情人士透露，微软组建了一个名为「GenAI」的团队，由公司副总裁 Misha Bilenko 领头，直接向公司 CTO Scott 汇报。

Bilenko 曾经是「俄罗斯百度」Yandex 的人工智能研究主管，过去两年里他一直在领导 Azure 团队，在微软内部部署 OpenAI 的系统。

这个「GenAI」团队的大部分成员，都是这两年一直在微软配合 OpenAI 团队落地的 Azure 工程师。

除了这些有工程经验的人员，微软还调配了最顶级的 AI 研究人员加入这个团队，包括 Sébastien Bubeck 带领的微软研究院的研究人员。

他们开发的 Phi 这种轻体量的模型，体积⼩到可以在移动设备上运⾏，但在某些任务上能够逼近 GPT-4 的性能。

Phi 团队去年使⽤ GPT-4 ⽣成了数百万条⾼质量的⽂本，并在这些数据上对 Phi 进⾏了训练，使其能够模仿体量更⼤的模型进行输出。

而除了微软，谷歌，Stability AI 等公司，也都推出了自己的「小模型」，希望能获得低成本和移动设备上 AI 竞争的先发优势。

高质量数据是小模型的关键

微软在一个月前推出的 Phi-2 小模型，以不到 3B 的参数量，在很多测试集上跑到了 Llama 2 70B 的分数，着实把业界吓了一跳。

Phi-2 只有 2.7B 的参数，在各种基准上，性能超过了 Mistral 7B 和 Llama-2 13B 的模型性能。

而且，与 25 倍体量的 Llama-2-70B 模型相比，它在多步推理任务（即编码和数学）上的性能还要更好。

此外，Phi-2 与谷歌最近发布的 Gemini Nano 2 相比，性能也更好，尽管它的体量还稍小一些。

微软称他们使用 1.4T 个 token 进行训练（包括用于 NLP 和编码的合成数据集和 Web 数据集）。

而且训练 Phi-2 只使用了 96 块 A100 GPU，耗时 14 天就完成了。

相比之下，Meta 在去年中推出的 Llama 2 70B，网友推算花了 170 万 GPU / 小时来训练。

如果按 96 块 A100 来算，需要 746 天。

而且 Phi-2 是一个完全没有经过微调和 RLHF 的基础模型，与经过对齐的现有开源模型相比，Phi-2 在毒性（toxicity）和偏见（bias）方面有更好的表现。—— 这得益于采用了量身定制的数据整理技术。

上图展示了根据 ToxiGen 中的 13 个人口统计学数据，计算出的安全性分数。

可以说，之所以微软要大力发展小模型，一个非常重要的原因是，他们找到了一条能够在保证模型能力不受太大影响，但能有效降低模型参数的办法。

微软不但在训小模型上很有「天赋」，而且做这件事本身也非常有价值的。

众所周知，在 GPU 一卡难求的今天，要训出能力超强的大模型，已经完全不是一个和投入有关的问题。

技术实力，算力限制等等都卡住了所有大厂的脖子。

而且即便获得了能力最前沿的大模型，要把它和现有业务结合起来，成功地赚到钱，也是一件很难的事情。

大模型居高不下的推理成本，让大公司们现在推出的 AI 工具基本上都是在「亏本赚吆喝」。

业界有一个非常有意思的比喻，用 GPT-4 来总结邮件就相当于开着兰博基尼送外卖。

所以也就不奇怪为什么有媒体曾经曝出，微软的 GitHub Copilot 每个用户平均每月要亏本 20 刀，因为大模型的推理成本实在太高了。

在代码生成和补全这种高频次调用模型的场景下，厂商如果最终要靠服务赚钱，推理成本是必须要考虑的事情。

而模型越大，训练的成本也就越高，推理成本更是成十倍甚至百倍规模地上升。

如果生成式 AI 的浪潮最后要能转化成真正提高生产力的技术，让推进的厂商实实在在赚到钱是非常重要的。

所以，在尽量保证模型能力不变的前提下，尽可能地减少模型的规模，是在经济上找到出路的几乎唯一的方式。

而在这个方向上，微软已经走在了行业的最前端。

而且除了出于成本之外的考虑，数据隐私，在移动端部署等需求，也需要各大厂必须要有自己的「小模型」，才能满足各种产品和服务的 AI 化需求。

参考资料：

https://www.theinformation.com/articles/microsoft-forms-team-to-make-cheaper-generative-ai?rc=epv9gi

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，IT之家所有文章均包含本声明。