京东开源全球首个全栈交互AI模型 引领视频视觉语言新突破
创始人
2026-06-22 17:18:14
0次
6月22日，京东宣布开源实时视频视觉语言交互模型JoyAI-VL-Interaction，这标志着全球首个全栈开源的interaction模型和系统的诞生，同时获得vLLM-Omni的day-0原生支持。该模型突破了传统模型的局限，能够实现从“一问一答”到“边看边说”的转变，允许开发者快速构建能够持续观察、自主判断、即时响应的实景AI助手。
JoyAI-VL-Interaction在功能上实现了三重突破：首先，它能够主动判断何时发言，而不需要等待用户提问；其次，它能够实时响应视频流的变化，与传统的事后总结不同；最后，它具备后台任务委派能力，能够在处理复杂任务时，将前台模型保持在观察和交互状态。该模型支持多种视频输入，包括摄像头、直播流、监控流等，并支持语音输入输出、可视化界面、长期记忆、后台模型接口和vLLM部署方案，开发者可以根据自己的需求替换ASR、TTS、可视化界面、后台模型、外部工具和业务模块。
在实际应用中，JoyAI-VL-Interaction能够覆盖监控预警、实时计数、实时翻译、时间感知、直播导览解说等真实流式场景。在与视觉触发的主动响应、实时性高度相关的58个真人盲评案例中，JoyAI-VL-Interaction相较于其他视频通话助手展现出了更高的胜率，总体胜率分别为77.6%和87.9%。
相关内容
热门资讯
视频丨216国道抢通已推进至核...
8月26日上午，因尼泊尔一侧发生泥石流灾害，造成西藏日喀则市吉隆县吉隆口岸重大人员伤亡、失联。抢险救...
半小时就能配齐一台机器人，深圳...
编者按：健康完备的经济生态，是推动高质量发展的重要保障。即日起，南方日报、南方+推出“解码广东经济生...
两宫超1.2万个学位！广州天河...
有剧场、科技馆、体育馆美术馆、书画室、艺创工坊……天河区少年宫新宫 （下称“天河区少年宫”）将于今年...
视频丨西藏吉隆县泥石流灾害抢险...
西藏吉隆县泥石流灾害抢险救援进入第7天。今天（9月1日）上午9时55分，西藏自治区在日喀则市公安局吉...
数智赋能黔山田：从“云端”算力...
近日，2026中国国际大数据产业博览会(简称“数博会”)在贵阳正式拉开帷幕。在这场以“词元——数据要...
8月深圳楼市持续稳固向好 二手...
8月，全市新建商品住宅和二手住宅合计成交6864套，同比增长8.5%，国家统计局发布的一、二手住宅销...
9月5日起，广州黄埔新增设多个...
@黄埔街坊9月5日起黄埔新增设多个公交车站8月30日，广州市交通运输局官网发布《关于优化公共汽车南海...
开学第一课丨我国运载火箭为啥叫...
今年，是中国共产党成立105周年，中国工农红军长征胜利90周年。在中国共产党百余年奋斗历程中，长征，...
新华鲜报|一树扎根沙地 “赛考...
“故事永远不会结束。”9月1日，北京首都国际机场。返程前，美国友人“赛考斯”（本名罗纳德·萨科尔斯基...
各地学校举办丰富多彩“开学第一...
央视网消息：这两天，全国中小学陆续迎来新学期。各地以主题鲜明、形式多样的“开学第一课”，引导学生们厚...