昨日,初创企业Acrab发布了其首款芯片GΞLIX1SoC,专为边缘AI终端设备设计。这款基于5nm制程工艺的芯片,能够支持100B参数规模模型的本地运行。GΞLIX1芯片采用异构设计,集成了20核ArmCPU、3TFLOPSGPU、NPU以及音视频引擎,AI算力高达650TOPS。它还配备了8MB的大型L1缓存和768GB/s的共享L2缓存带宽,以及256-bit8533T/s的LPDDR5X共享内存。
Acrab在GΞLIX1上实现了对注意力机制的矢量硬件加速,并针对预填充进行了优化,显著降低了首Token用时。在配备40kKV缓存和10kToken输入的Gemma26BA4B配置下,GΞLIX1的预填充速率达到1416.8Token/s,是苹果M4ProMacMini的7.5倍。除了芯片,Acrab还提供了软件堆栈和智能体参考设计,并基于GΞLIX1打造了第一方终端设备AgentBox。
