快科技3月4日消息，Intel已经将NPU加速库开源并放上GitHub，使得基于酷睿Ultra处理器的AI PC可以运行TinyLlama、Gemma-2b之类的轻量级大语言模型。
酷睿Ultra首次引入了NPU AI引擎，可以执行一些轻负载的AI推理任务，并与CPU、GPU搭配处理各种AI工作。
这次开源的NPU加速库，当然是面向开发人员的，但如果你有一定的编程经验，也可以拿来体验体验。
Intel软件架构师Tony Mongkolsmai展示了利用此开源的NPU加速库，在一台微星尊爵14 AI Evo笔记本上，基于11亿参数的TinyLlma大模型，运行了一个AI聊天机器人，可以进行简单对话。
同时，Windows任务管理器显示，NPU确实被调动起来了。
不过，开源NPU加速库目前的功能还很残缺，支持了8比特量化、FP16精度，但还不支持4比特量化、BF16精度、NPU/GPU混合计算等等，技术文档也没有。
Intel承诺，后续会逐渐增加更多功能，比现在要多一倍。
文章来源于互联网:凤凰网-Intel酷睿Ultra NPU AI加速库开源：但功能残缺不全
相关推荐
-
三星Galaxy Watch Ultra手表通过认证，支持10W充电
IT之家 5 月 29 日消息，科技媒体 MySmartPrice 昨日报道，三星 Galaxy Watch Ultra 手表通过 TDRA 认证，型号为 SM-L705F，产品类…
-
小米公布支付宝碰一碰手表/手环端适配进度，多款设备即将支持
IT之家 12 月 12 日消息，小米集团手机部副总裁、可穿戴部总经理张雷今日公布了支付宝碰一碰手表 / 手环端适配进度。据其介绍，小米也是第一个在手环品类支持该能力的厂商。不过由…
-
RTX5070Ti推迟至20号，5060系列推迟至4月中旬，原因曝光
据最新消息，原本计划于2月13日上市的RTX 5070 Ti推迟至2月20日发布，而RTX 5070则从原定的2月底延期至3月5日。这一调整引发了外界的关注，具体原因也随之曝光。 …
-
苹果与华为的Vision Pro之争，谁是赢家？
去年6月，苹果发布了一款命名为“Vision Pro” 的空间计算头显设备。一经发布就引起社媒热议，赚足了眼球。 今年2月，这款Vision Pro在美国正式发售。买到产品的果粉，…
-
OPPO Find X9 Pro通过3C认证：7500mAh大电池+80W有线充电
IT之家 8 月 30 日消息，8 月 28 日有两款型号为 PLG110、PLG120 的 OPPO 新机通过了国家 3C 质量认证，经 @数码闲聊站 确认为 OPPO Find…
-
TeamGroup Z54E首发群联二代PCIe 5.0主控E28：终于跑出满血14.9GBs
快科技10月20日消息，TeamGroup发布了新款旗舰级SSD T-FORCE Z54E，首发采用了群联的第二代PCIe 5.0主控E28，终于达成了满血性能，功耗也得到了有效控…
-
AirPods用户尽快升级！苹果发布固件修复漏洞：攻击者可强行连接耳机
快科技6月26日消息，今天苹果对AirPods全系列无线耳机及Beats系列无线耳机发布了固件更新，此次更新主要是修复安全漏洞。 据苹果披露的信息，该漏洞允许攻击者在蓝牙连接范围内…
-
中国电视市场最新出货量排行出炉：海信第一、小米第四
快科技10月12日消息，今日，洛图科技发布9月中国电视市场品牌月度出货数据，该月整机出货量292.0万台，较去年同期下降8.5%，环比8月上涨17.3%。 据了解，中国市场第三季度…
-
Win11 KB5068861部分设备安装失败，用户反馈存在SMB搜索问题
IT之家 11 月 17 日消息，Windows Latest 表示，微软 11 月 11 日发布的 Win11 更新（KB5068861）在部分设备上出现无法安装的情况，相关错误…
-
英睿达推出零售端首批原厂CUDIMM、CSODIMM内存条，JEDEC 6400MT/s
IT之家 10 月 16 日消息，美光美国爱达荷州博伊西当地昨日宣布，旗下消费级品牌 Crucial 英睿达推出首批 CUDIMM、CSODIMM 内存条。这也是原厂品牌首次在零售…
