人工智慧(AI)公司耐能日前发布KL730晶片,KL730整合了车规级NPU和影像讯号处理器(ISP),并将安全而低耗能的 AI,赋能到边缘伺服器、智慧家居及汽车辅助驾驶系统等各类应用场景中。针对大型语言模型带来的耗能挑战,KL730可以大幅节省AI运算的功耗。
耐能创办人兼执行长刘峻诚说明,包含OpenAI、Google等科技大厂的碳排量急剧攀升,但这些厂商也订下减碳目标,期望在发展大型语言模型技术的同时,兼顾环境议题。而采用NPU晶片取代GPU,即是大量减少功耗的有效策略。台湾建立自己的ChatGPT的目标,也能透过NPU晶片实现。
左起为国立台湾大学电机工程学系名誉教授陈良基、耐能创办人暨执行长刘峻诚、行政院副院长郑文灿
KL730从设计之初就以实现 AI 功能为目的,并更新了多项节能及安全的技术创新。该晶片具备多通道介面,可无缝接入图像、影片、声音和毫米波等各种数位讯号,支援各产业的人工智慧应用开发。
该晶片还解决了目前人工智慧的广泛瓶颈之一,普遍的低效能硬体导致的系统高成本。在这个晶片的开发工作中,KL730在效能方面取得了极大的进步,效能比相较於过往耐能的晶片提升了三至四倍,且比主要产业同等产品提高了150~200%。
耐能长期专注於边缘AI,并研发了一系列轻量且可扩展的AI晶片,以安全地推动AI能力的发展。2021年,耐能发布首款支援Transformer神经网路架构的边缘AI片KL530。而Transformer 神经网路架构是所有GPT(Generative Pre-trained Transformer)模型的基础。KL730晶片进一步丰富该产品系列,提供每秒0.35~4 tera有效计算能力,扩展了支援先进的轻量级GPT大型语言模型(如nanoGPT)的能力。
KL730具有独特的定位,可以改变AIoT领域的安全性,进而使用户能够部分或完全离线地在终端运行GPT模型。该晶片配合耐能的私有安全边缘AI网路KNEO,让AI在用户的边缘设备上执行,强化保护资料隐私。这些功能扩及不同领域的应用,从企业伺服器解决方案到智慧驾驶车辆再到以 AI 驱动的医疗设备,所增加的安全性允许设备之间进行更大的协作,同时保护资料的安全。例如,工程师可以设计新的半导体晶片,而无需与大型云端公司营运的资料中心共用机密数据。