.hd-box .hd-fr

英特尔开源 NPU 加速库,方便使开发人员优化其 AI 应用

2024-03-03 07:14IT之家(问舟)19评
感谢IT之家网友华南吴彦祖的线索投递!

IT之家 3 月 3 日消息,@Tony Mongkolsmai 发现,英特尔已经在GitHub上开源了其NPU 加速库,支持 Windows 和 Linux。

开发人员可以按照相应文档对其软件进行优化,从而适配新一代 AI 模型,包括 TinyLlama 和 Gemma-2b-it。

根据官方描述:英特尔 NPU 加速库是一个 Python 库,旨在利用英特尔神经处理单元 (NPU) 的强大性能在兼容硬件上执行高速计算,从而提高应用的效率。

英特尔还表示其 NPU 加速库目前不断开发中,后续将推出各种能显著提高性能的功能,截至IT之家发稿已经实现了 8bit 量化、Float16 支持、torch.compile支持等,后续还将支持 NPU / GPU 异构计算等功能。

广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家所有文章均包含本声明。

下载IT之家APP,分享赚金币换豪礼
相关文章
大家都在买广告
热门评论
查看更多评论