一天一个开源项目（第29篇）：Open-AutoGLM - 用自然语言操控手机的 Phone Agent 框架

title: 一天一个开源项目第29篇Open-AutoGLM - 用自然语言操控手机的 Phone Agent 框架date: 2026-02-13description: 深入解读 Open-AutoGLMzai-org 开源的手机端智能助理框架与 AutoGLM-Phone 模型通过 ADB/HDC 与视觉语言模型实现「说一句话、自动操作 Android/鸿蒙手机」支持 50 安卓应用与 60 鸿蒙应用tags: [开源项目, Open-AutoGLM, Phone Agent, 视觉语言模型, Python, ADB, 智谱]category: AI工具draft: false引言“打开美团搜索附近的火锅店」「给文件传输助手发一条部署成功」——说完手机自己动。”这是一天一个开源项目系列的第29篇文章。今天带你了解的项目是Open-AutoGLMGitHub由zai-org智谱生态开源。你希望用自然语言控制手机打开 App、搜索、点击、输入文字而不必自己一步步操作。Open-AutoGLM提供两件事一是Phone Agent 框架运行在电脑上的 Python 代码通过ADBAndroid或HDC鸿蒙控制设备循环执行「截图 → 视觉模型理解界面 → 输出动作启动 App、点击坐标、输入等→ 执行」二是AutoGLM-Phone系列视觉语言模型9B 参数针对手机界面做了优化可直接用智谱 BigModel、ModelScope 的 API或自建 vLLM/SGLang 服务。用户只需说一句如「打开小红书搜索美食」Agent 即可自动完成整条流程并支持敏感操作确认与登录/验证码时的人工接管。项目支持Android 7.0与HarmonyOS NEXT覆盖 50 安卓应用与 60 鸿蒙应用并可与 Midscene.js 等 UI 自动化工具集成。你将学到什么Open-AutoGLM 的定位Phone Agent 框架 AutoGLM-Phone 模型实现「自然语言 → 手机操作」工作链路截图、视觉模型、动作解析、ADB/HDC 执行、远程调试与人工接管环境准备Python、ADB/HDC、开发者选项、ADB KeyboardAndroid模型获取与部署智谱/ModelScope API 与自建 vLLM/SGLang支持的应用、可用操作与二次开发结构前置知识会使用 Python 3.10、pip 与虚拟环境了解 ADB 或 HDC 的基本概念连接设备、执行命令若自建模型服务需具备 GPU 与 vLLM/SGLang 的粗浅使用经验使用云端 API 则只需申请 Key项目背景项目简介Open-AutoGLM包含开源 Phone Agent 框架与AutoGLM-Phone 视觉语言模型目标是「用自然语言操控手机」用户在电脑端输入指令Agent 通过 ADBAndroid或 HDC鸿蒙控制手机结合多模态屏幕理解与规划能力自动完成打开应用、点击、输入、滑动等操作。框架内置敏感操作确认与人工接管如登录、验证码支持WiFi/网络远程调试无需全程插线。模型提供AutoGLM-Phone-9B中文优化与AutoGLM-Phone-9B-Multilingual多语言可从 Hugging Face、ModelScope 下载或直接调用智谱 BigModel、ModelScope 等已部署 API。项目注明仅供研究与学习严禁非法用途使用前需审阅仓库内使用条款。项目解决的核心问题希望用「说人话」的方式操作手机而不是记步骤或写脚本需要一套可运行的 Agent 代码 针对手机界面优化的视觉模型便于复现与二次开发需要同时支持 Android 与鸿蒙、本地与远程设备、中文与英文指令面向的用户群体研究或实践「手机 Agent」「GUI Agent」的开发者与团队需要自动化操作 Android/鸿蒙设备做测试、演示或辅助任务的用户希望将「自然语言控手机」能力接入自家产品如与 Midscene.js 集成的集成方作者/团队介绍组织zai-orgGitHub与智谱 AI 生态相关README 提到智谱 AI 输入法、GLM Coding Plan、AutoGLM 实战派活动等论文AutoGLMarXiv:2411.00820、MobileRLarXiv:2509.18119模型结构与 GLM-4.1V-9B-Thinking 相同可参考 GLM-V 的部署说明博客与产品autoglm.z.ai/blog项目数据⭐GitHub Stars: 23.5kForks: 3.7k版本: 以 main 为主干模型见 Hugging Face / ModelScopeLicense: Apache-2.0文档与博客: autoglm.z.ai/blog、仓库 README 与 README_en.md、iOS 配置指南社区: 微信社区、智谱 AI 输入法 X 账号、GitHub Issues主要功能核心作用Open-AutoGLM 的核心作用是把自然语言指令变成手机上的实际操作接收指令用户输入如「打开美团搜索附近的火锅店」「打开微信给文件传输助手发部署成功」截图与理解Agent 通过 ADB/HDC 获取当前屏幕截图调用 AutoGLM-Phone 视觉模型理解界面内容与用户目标规划与输出动作模型输出结构化动作如Launch、Tap、Type、Swipe等Agent 解析后发给设备执行循环直到完成执行后再次截图、理解、规划直到任务完成或达到最大步数、或触发人工接管安全与接管敏感操作可配置确认回调登录、验证码等场景可触发人工接管回调完成后继续使用场景自动化测试与演示用自然语言驱动 App 流程减少手写 UI 自动化脚本个人助理式操作「打开淘宝搜索无线耳机」「打开小红书搜索美食攻略」等由 Agent 自动完成多步操作远程控机与调试通过 WiFi ADB/HDC 连接设备在无 USB 环境下控制手机便于远程演示或开发与 Midscene.js 等工具集成Midscene.js 已适配 AutoGLM可在 iOS/Android 上通过 YAML 或 JavaScript 流程配合 AutoGLM 做自动化研究与二次开发基于phone_agent包扩展新应用、新操作或新 Prompt或接入自建模型服务快速开始环境Python 3.10Android 设备需 ADB 开发者模式 USB 调试部分机型需「USB 调试(安全设置)」 ADB Keyboard 安装并启用鸿蒙设备需 HDC 开发者选项iOS 见 docs/ios_setup。安装 Agent本仓库gitclone https://github.com/zai-org/Open-AutoGLM.gitcdOpen-AutoGLM pipinstall-r requirements.txt pipinstall-e.连接设备USB 连接手机后执行adb devicesAndroid或hdc list targets鸿蒙确认设备已列出。使用第三方模型服务免本地 GPU# 智谱 BigModel需在智谱平台申请 API Keypython main.py --base-url https://open.bigmodel.cn/api/paas/v4 --modelautoglm-phone--apikeyyour-key打开美团搜索附近的火锅店# ModelScope需在魔搭申请 API Keypython main.py --base-url https://api-inference.modelscope.cn/v1 --modelZhipuAI/AutoGLM-Phone-9B--apikeyyour-key打开美团搜索附近的火锅店使用自建模型服务用 vLLM 或 SGLang 部署 AutoGLM-Phone-9B参见 README 的启动参数得到 OpenAI 兼容 API如http://localhost:8000/v1再将--base-url和--model指向该服务。Python API 示例fromphone_agentimportPhoneAgentfromphone_agent.modelimportModelConfig model_configModelConfig(base_urlhttp://localhost:8000/v1,model_nameautoglm-phone-9b,)agentPhoneAgent(model_configmodel_config)resultagent.run(打开淘宝搜索无线耳机)print(result)核心特性多模态屏幕理解AutoGLM-Phone 针对手机界面优化根据截图理解当前页面并输出下一步动作Android 鸿蒙Android 用 ADB鸿蒙用 HDC同一套 Agent 通过--device-type adb/hdc切换50 安卓应用 / 60 鸿蒙应用社交通讯、电商、外卖、出行、视频、音乐、生活、内容社区等支持应用列表见python main.py --list-apps与--device-type hdc --list-apps丰富操作Launch、Tap、Type、Swipe、Back、Home、Long Press、Double Tap、Wait、Take_over人工接管远程调试支持adb connect IP:5555/hdc tconn IP:5555通过 WiFi 控制设备敏感操作与人工接管可配置confirmation_callback与takeover_callback在支付、登录、验证码等场景介入中英文 Prompt--lang cn默认与--lang en对应phone_agent/config/prompts_zh.py与prompts_en.py可自定义OpenAI 兼容 API模型服务暴露 OpenAI 格式接口即可便于对接智谱、ModelScope、自建 vLLM/SGLang项目优势维度Open-AutoGLM纯手写 UI 自动化脚本仅云端「手机助手」产品输入方式自然语言坐标/选择器、代码自然语言但闭源/不可控设备与系统Android 鸿蒙本地/远程取决于脚本与工具取决于产品模型与部署开源模型 自建或第三方 API无模型通常仅云端可扩展性改 Prompt、加应用、接自建服务高但需写代码低研究与复现论文 代码 模型可下载视脚本是否开源难以复现为什么选择 Open-AutoGLM端到端开源从 Agent 逻辑到模型含中文/多语言版均可获取便于学习与二次开发即用与自建兼顾可用智谱/ModelScope 快速体验也可自建 vLLM/SGLang 做私有化或定制双平台同时支持 Android 与鸿蒙且与 Midscene.js 等生态对接扩展场景多项目详细剖析架构简述本仓库Agent 端运行在电脑上负责拉取模型 API、解析模型输出的动作、通过 ADB/HDC 下发截图与操作指令。模型服务独立进程或远程 API接收「截图 对话/任务」等输入返回结构化动作如do(actionLaunch, app美团)。可与本机 vLLM/SGLang 或智谱、ModelScope 等对接。设备端手机/平板开启开发者模式与 USB 调试及 ADB Keyboard 等通过 USB 或 WiFi 与电脑上的 ADB/HDC 通信。项目结构phone_agentagent.pyPhoneAgent 主类协调截图、调用模型、解析动作、执行操作与回调adb/ADB 连接、截图、文本输入ADB Keyboard、设备控制点击、滑动等actions/handler.py将模型输出的动作转为 ADB/HDC 命令并执行config/支持的应用映射apps.py、中文/英文系统提示词prompts_zh.py、prompts_en.pymodel/client.pyOpenAI 兼容的模型客户端用于请求视觉模型 API鸿蒙则在仓库内通过phone_agent的 HDC 相关模块如hdc/实现命令行用--device-type hdc指定。模型与部署AutoGLM-Phone-9B中文手机应用场景优化Hugging Face、ModelScopeAutoGLM-Phone-9B-Multilingual多语言适合中英混合或英文界面部署推荐使用Structured Output能力强的推理服务如 OpenAI、Gemini自建时需按 README 的 vLLM/SGLang 参数启动如--max-model-len 25480、--limit-mm-per-prompt等否则可能出现输出格式错误或乱码。模型约 20GB需 GPU建议 24GB 显存若本地部署。注意事项合规与用途项目声明仅供研究与学习严禁非法获取信息、干扰系统或违法使用使用前请阅读仓库内使用条款与隐私政策权限与安全需在设备上开启开发者模式与 USB 调试敏感操作建议通过回调确认支付/银行等页面可能截图为黑屏并触发接管中文输入Android 依赖 ADB Keyboard未安装或未启用会导致输入异常鸿蒙使用系统输入法项目地址与资源官方资源GitHub: github.com/zai-org/Open-AutoGLM英文 README: README_en.md博客: autoglm.z.ai/blogiOS 配置: docs/ios_setup模型: Hugging Face、ModelScope智谱 API: docs.bigmodel.cnIssues: GitHub Issues相关资源Midscene.js 接入 AutoGLMGLM-V 模型部署ADB KeyboardAndroid 文本输入论文AutoGLMarXiv:2411.00820、MobileRLarXiv:2509.18119适用人群手机 Agent / GUI Agent 研究者需要可复现的框架与模型自动化测试与演示用自然语言驱动 Android/鸿蒙设备流程产品集成方希望接入「自然语言控手机」能力如与 Midscene.js 结合智谱/多模态生态使用者已在用智谱 API 或 GLM 系列希望扩展到手机操控场景欢迎来我中的个人主页找到更多有用的知识和有趣的产品