Intel最近將NPU加速庫開源，并發(fā)布在GitHub上。這項(xiàng)行動意味著，使用酷睿Ultra處理器的AI PC現(xiàn)在可以運(yùn)行諸如TinyLlama、Gemma-2b等輕量級大語言模型了。

       酷睿Ultra是首次引入NPU AI引擎的處理器，它可以執(zhí)行一些輕負(fù)載的AI推理任務(wù)，并與CPU和GPU一起協(xié)同處理各種AI工作。這次發(fā)布的開源NPU加速庫當(dāng)然是面向開發(fā)人員的，但如果你有一定的編程經(jīng)驗(yàn)，也可以嘗試一下。
      Intel軟件架構(gòu)師Tony Mongkolsmai向人們展示了如何利用這個(gè)開源的NPU加速庫。他演示了一臺搭載微星尊爵14 AI Evo筆記本電腦，在上面使用了擁有11億參數(shù)的TinyLlma大模型進(jìn)行AI聊天機(jī)器人測試，結(jié)果顯示它能夠成功進(jìn)行簡單對話。同時(shí)，Windows任務(wù)管理器顯示，NPU確實(shí)被激活了。