把屏幕翻译成 LLM 能读的文本:Agent-View 的桌面感知层设计
桌面智能体的瓶颈往往不是模型不够强,而是屏幕对文本模型不可读。Agent-View 用 OCR、元素检测、UIA 和确定性 ID 把屏幕变成带坐标的文本标记,再用 Mixture-of-Grounding 把 LLM 的引用解析回像素。
1 篇文章
桌面智能体的瓶颈往往不是模型不够强,而是屏幕对文本模型不可读。Agent-View 用 OCR、元素检测、UIA 和确定性 ID 把屏幕变成带坐标的文本标记,再用 Mixture-of-Grounding 把 LLM 的引用解析回像素。