腾讯POINTS-GUI-G重新定义GUI元素精准定位【免费下载链接】POINTS-GUI-G项目地址: https://ai.gitcode.com/tencent_hunyuan/POINTS-GUI-G导语腾讯最新发布的POINTS-GUI-G模型凭借在多平台GUI元素定位任务中的突破性表现为智能交互系统与自动化测试领域带来技术革新。行业现状随着智能设备与应用场景的多元化图形用户界面GUI已成为人机交互的核心载体。据Gartner预测到2027年70%的企业应用将依赖自动化GUI交互技术提升效率。当前主流视觉语言模型虽具备图像理解能力但在GUI元素精确定位如按钮坐标提取、界面控件识别任务中仍存在精度不足、跨平台适配性差等问题尤其在复杂布局与多设备场景下表现受限。产品/模型亮点作为专注于GUI元素定位的多模态模型POINTS-GUI-G展现出三大核心优势首先是卓越的跨平台定位精度。该模型在四大权威GUI基准测试中刷新纪录ScreenSpot-Pro数据集达59.9分OSWorld-G数据集66.0分ScreenSpot-v2数据集95.7分UI-Vision数据集49.9分全面超越现有开源及闭源模型。其次是全栈技术体系构建。不同于基于Qwen3-VL等已有强视觉基础模型的二次开发POINTS-GUI-G基于原生不具备定位能力的POINTS-1.5模型从零构建验证了通用基础模型通过定向优化可成长为GUI领域专家的技术路径。最后是精细化数据工程。针对GUI数据标注中坐标系混乱、任务格式异构、噪声标注等行业痛点腾讯团队构建了统一数据处理 pipeline将所有坐标标准化至[0,1]范围将多任务格式统一为定位UI元素指令通过自动化过滤与合成难例提升模型鲁棒性。这张性能对比图直观展示了POINTS-GUI-G-8B在各权威测试集上的领先优势特别是在ScreenSpot-v2数据集上达到95.7分的高精度印证了其在标准界面场景下的定位可靠性。对于开发者而言这些量化指标为技术选型提供了关键参考。在实际应用中POINTS-GUI-G展现出强大的跨场景适应能力。无论是桌面应用的复杂菜单、移动端的触控界面还是网页端的动态元素模型均能精准识别用户指令对应的GUI元素位置。例如在网页界面中面对关闭当前窗口、点击搜索按钮等自然语言指令模型可输出归一化坐标直接驱动自动化操作。该组截图展示了POINTS-GUI-G可处理的典型应用场景包括代码托管平台、移动应用商店和办公软件界面。这些复杂界面包含丰富的交互元素模型能准确解析并定位目标控件为自动化测试、无障碍辅助等场景提供技术支撑。行业影响POINTS-GUI-G的推出将加速人机交互智能化进程。在软件测试领域其高精度定位能力可将GUI自动化测试的脚本生成效率提升300%在无障碍技术领域可为视障用户提供实时界面元素定位导航在智能座舱场景中能实现语音指令到车载界面控件的精准映射。随着模型的开源部署预计将催生一批基于GUI理解的创新应用推动交互范式从人适应界面向界面适应人转变。结论/前瞻作为GUI定位领域的技术突破POINTS-GUI-G不仅展现了腾讯在多模态模型领域的技术实力更构建了从通用基础模型到垂直领域专家的完整技术路径。随着端到端GUI智能体的研发推进未来用户有望通过自然语言实现跨平台、跨应用的无缝交互真正实现所想即所得的智能交互体验。对于企业而言及早布局基于该技术的应用开发将在智能化转型中获得先发优势。【免费下载链接】POINTS-GUI-G项目地址: https://ai.gitcode.com/tencent_hunyuan/POINTS-GUI-G创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考