近日,中国台湾地区AIIP企业Skymizer发布了其推理解码阶段加速器芯片HTX301。这款芯片旨在与GPU结合,加速推理结果输出,提升算力系统的利用率和整体能效。HTX301基于Skymizer的HyperThought软硬件协同设计平台,采用LISA语言指令集架构,专注于带宽密集型负载。
HTX301采用了一种可扩展的设计方案,支持SoC与PCIeAIC部署形态。在单卡上集成6颗HTX301芯片与合计384GB内存,能够满足700B高参数大模型本地运行的需求,同时功耗仅有240W。这一技术突破将为AI推理和数据处理带来更高的效率和更低的能耗,进一步推动AI技术的发展和应用。
