豆包手机助手发声:无法截屏银行键盘等受保护内容
|
快科技12月13日消息,有网友称豆包手机助手通过READ_FRAME_BUFFER权限,从GPU渲染的图形缓冲区拿走图像数据,不需要走上层的截图API。还用了CAPTURE_SECURE_VIDEO_OUTPUT权限,可以获取银行安全键盘等受保护的界面内容”。 豆包手机助手官方表示,这是对豆包手机助手技术实现方式的错误解读,豆包手机助手采用的是原生截屏接口,严格遵循应用声明的Secure标记,无法截屏银行安全键盘等声明受保护的界面内容。 任何持有豆包手机助手技术预览版的用户,都可以自己写一个带有受保护页面的APK进行测试,让AI讲解页面内容,可以验证AI是无法看到的。 网友提到的READ_FRAME_BUFFER权限,是为了让AI可以在后台完成操作,豆包手机助手让三方应用运行在虚拟屏空间中。 为了获取虚拟屏中运行的应用截图内容(对应方法WindowManagerService.captureDisplay)提供给豆包大模型推理,所以需要READ_FRAME_BUFFER权限,但该方法以及权限无法读取到包括银行APP在内的任何三方应用设置为Secure的内容。 CAPTURE_SECURE_VIDEO_OUTPUT权限的使用,是因为受保护的页面在虚拟屏的投影(即点击灵动岛打开的粉色边缘的应用界面)中会显示为黑屏,用户无法查看和操作。 所以需要此权限将受保护的内容正常展示给用户并能够被用户操作,但在投影后,受保护的页面仍会标记为Secure,仅能被用户查看,无法被截屏。 豆包手机助手操作手机功能的实现原理是:用户下达指令-截屏发送给云端豆包大模型-模型理解后返回具体操作-手机端执行操作指令,不断重复直到完成任务。因此每一步操作后都需要再截图上传给云端大模型分析,每步操作间隔约为3秒钟。 由于分析界面所需的大模型参数较大,受限于芯片性能暂时无法运行在手机端侧,需要截图上传云端处理,目前国内多家手机厂商具有AI操作能力的助手产品,也是同样的实现原理,也会使用READ_FRAME_BUFFER等系统权限。 需要强调的是,豆包手机助手仅在有用户指令时才会开始截屏,且无法截屏三方应用Secure标记页面,上传至云端大模型的截屏仅用于视觉理解和推理,完成任务后不会存储在云端。 |
在线投稿
-
相关阅读
-
如何提高12306购票成功率?干货来了 春运购票全攻略
-
蘑菇车联滕德毅谈自动驾驶巴士 创新旅游应用场景
-
女子远嫁被婆家宠成孩子 跨国情缘幸福美满
-
“95后”歼16飞行员亮相“代表通道” 分享强军经历与感悟
-
走火入魔!“独派”推动台北中山南路改名为“杜勒斯大道”
-
董明珠寄语民营企业家:随着智能化的发展 只要努力就一定有机会
-
这是一场教科书式的紧急抢救:警民联合抢救突发心脏骤停旅客
-
约三千年前的城市排水系统什么样 约三千年前古人用套接陶管排水
-
精彩图片
-
严重污染!印度首都河面漂浮大量有毒泡沫
-
金饰价格突破800元/克大关
-
绝美!北京朝霞遇到平流雾
-
美国给以色列派先遣队,援助的“萨德”也将启用?
-
以总理住宅遭无人机袭击 以方反应强烈
-
美政府紧急调查以色列报复伊朗计划外泄事件
-
以军袭击加沙地带北部拜特拉希亚地区已致73人死亡
-
加沙民众:每时每刻都有屠杀发生 我们已是活死人
-
新帖速递
-
如何提高12306购票成功率?干货来了 春运购票全攻略
-
蘑菇车联滕德毅谈自动驾驶巴士 创新旅游应用场景
-
女子远嫁被婆家宠成孩子 跨国情缘幸福美满
-
“95后”歼16飞行员亮相“代表通道” 分享强军经历与感悟
-
走火入魔!“独派”推动台北中山南路改名为“杜勒斯大道”
-
董明珠寄语民营企业家:随着智能化的发展 只要努力就一定有机会
-
这是一场教科书式的紧急抢救:警民联合抢救突发心脏骤停旅客
-
约三千年前的城市排水系统什么样 约三千年前古人用套接陶管排水

精彩评论文明上网理性发言,请遵守评论服务协议
共0条评论