12月13日,豆包手机助手发布技术说明,针对近期网友对其截屏功能的误解进行澄清。豆包手机助手表示,其使用的是系统原生截屏接口,遵循应用声明的Secure标记,无法截取银行安全键盘等受保护界面内容。豆包手机助手通过READ_FRAME_BUFFER权限实现AI后台操作,允许三方应用在虚拟屏空间中运行,并通过WindowManagerS网页链接方法获取虚拟屏中应用的截图内容,供豆包大模型推理使用,但无法读取设置为Secure的内容。
豆包手机助手进一步解释,CAPTURE_SECURE_VIDEO_OUTPUT权限的使用是为了将受保护的内容正常展示给用户并能够被用户操作。受保护页面在虚拟屏投影中会显示为黑屏,用户无法查看和操作,因此需要此权限。但在投影后,受保护的页面仍会标记为Secure,仅能被用户查看,无法被截屏。
豆包手机助手的操作流程为:用户下达指令,截屏发送给云端豆包大模型,模型理解后返回具体操作,手机端执行操作指令,不断重复直到完成任务。由于分析界面所需的大模型参数较大,受限于芯片性能,需要截图上传云端处理。豆包手机助手强调,仅在有用户指令时才会开始截屏,且无法截屏三方应用Secure标记页面。上传至云端大模型的截屏仅用于视觉理解和推理,完成任务后不会存储在云端。豆包手机助手表示高度重视用户隐私安全。
