Open-AutoGLM快速部署：三步实现手机AI自动化操作

Open-AutoGLM快速部署三步实现手机AI自动化操作想象一下你只需要对手机说一句“帮我打开小红书搜索附近的咖啡店然后截图发给我”手机就能自动完成所有操作。这听起来像是科幻电影里的场景但今天借助智谱开源的Open-AutoGLM框架这一切都能轻松实现。Open-AutoGLM或者说AutoGLM-Phone是一个基于视觉语言模型的AI手机智能助理框架。它能“看懂”你的手机屏幕理解你的自然语言指令并通过ADBAndroid调试桥自动操控你的设备。无论是点外卖、查价格、发朋友圈还是跨应用完成复杂任务它都能像真人一样一步步规划并执行。本文将带你完成一个极简的快速部署流程只需三步就能让你拥有一个专属的AI手机助手。整个过程清晰明了即使你是AI新手也能轻松上手。1. 核心概念与准备工作在开始动手之前我们先花几分钟了解一下Open-AutoGLM是如何工作的以及我们需要准备些什么。1.1 它是如何工作的你可以把Open-AutoGLM想象成一个坐在你手机旁的“虚拟手指”和“虚拟眼睛”。眼睛视觉理解它通过截图获取你手机屏幕的实时画面。然后内置的多模态大模型AutoGLM-Phone-9B会像人一样“看懂”屏幕上有什么——哪些是按钮、哪些是文字、当前在哪个App。大脑意图解析与规划你通过自然语言下达指令比如“打开抖音搜索搞笑视频”。模型会解析你的意图并规划出一系列操作步骤例如返回桌面 - 找到抖音图标 - 点击 - 找到搜索框 - 点击 - 输入文字 - 点击搜索。手指自动执行规划好步骤后系统会通过ADB向你的手机发送对应的点击、滑动、输入等指令自动完成整个流程。整个过程完全自动化你只需要下达一个最终目标即可。1.2 你需要准备什么部署分为服务器端和客户端两部分整体架构如下图所示graph TD A[你的手机] -- USB/WiFi ADB连接 -- B[你的本地电脑br/运行Open-AutoGLM控制端] B -- 发送指令/接收截图 -- C[云服务器br/运行vLLMAutoGLM-Phone模型] C -- 返回操作规划 -- B B -- 执行ADB命令 -- A subgraph “云端服务大脑” C end subgraph “本地控制神经中枢” B end subgraph “被控设备手脚” A end服务器端云端“大脑”一台云服务器需要较强的GPU来运行模型。建议选择显存24GB以上的显卡如RTX 4090, RTX 3090或云服务商的A100/A40等实例。操作系统选择Ubuntu 22.04。基础工具服务器上需要安装Docker用于快速部署模型服务。客户端本地“神经中枢”“手脚”你的本地电脑Windows或macOS系统用于运行控制脚本。一部安卓手机系统需为Android 7.0或以上版本用于被AI操控。Python环境建议使用Python 3.10或更高版本。了解完这些我们就可以开始三步走的部署之旅了。2. 第一步云端模型服务部署这一步的目标是在云服务器上启动模型的推理服务让AI“大脑”开始运转。我们使用Docker和vLLM来简化部署这是最快最稳的方法。2.1 获取并运行模型容器首先通过SSH连接到你的云服务器。然后执行以下命令一行行复制粘贴即可。拉取vLLM官方镜像这个镜像已经集成了运行模型所需的环境。docker pull vllm/vllm-openai:v0.12.0启动Docker容器这条命令会创建一个容器并将必要的端口和目录映射好。docker run -d \ --gpus all \ -p 8000:8000 \ --ipchost \ -v /opt/model:/app/model \ --name autoglm \ vllm/vllm-openai:v0.12.0-p 8000:8000: 将容器内的8000端口映射到服务器的8000端口。后续我们通过这个端口访问服务。-v /opt/model:/app/model: 将服务器上的/opt/model目录挂载到容器内的/app/model。我们需要把模型文件放在这里。--name autoglm: 给容器起个名字方便管理。2.2 下载AutoGLM-Phone模型模型文件比较大约18GB我们需要下载到刚才挂载的目录。这里使用魔搭社区ModelScope的镜像下载速度较快。进入正在运行的容器内部docker exec -it autoglm /bin/bash在容器内安装下载工具并下载模型pip install modelscope -i https://mirrors.aliyun.com/pypi/simple/ cd /app modelscope download --model ZhipuAI/AutoGLM-Phone-9B --local_dir /app/model下载过程需要一些时间请耐心等待。完成后模型文件会保存在/app/model目录也就是我们服务器上的/opt/model目录。2.3 启动模型API服务模型下载完成后仍在容器内执行以下命令启动推理服务python3 -m vllm.entrypoints.openai.api_server \ --served-model-name autoglm-phone-9b \ --model /app/model \ --max-model-len 25480 \ --port 8000关键参数解释--served-model-name autoglm-phone-9b: 指定服务名称后面客户端连接时会用到。--model /app/model: 指定模型路径指向我们刚刚下载的模型。--max-model-len 25480: 设置模型支持的最大上下文长度对于处理手机截图等信息是必要的。--port 8000: 服务在容器内的监听端口。命令成功运行后你会看到大量日志输出最后稳定在监听状态类似INFO 07-28 10:00:00 llm_engine.py:191] Initializing an LLM engine (config:...) INFO 07-28 10:00:05 llm_engine.py:193] # GPU blocks: 1000, # CPU blocks: 512 Uvicorn running on http://0.0.0.0:8000 (Press CTRLC to quit)至此云端“大脑”已成功启动。你可以按CtrlP再按CtrlQ退出容器终端而不停止容器运行。服务会一直在后台工作。验证服务你可以在服务器上或本地电脑通过curl命令快速测试服务是否正常将你的服务器IP替换为实际IPcurl http://你的服务器IP:8000/v1/models如果返回包含id: autoglm-phone-9b的JSON信息说明服务部署成功。3. 第二步本地环境与手机配置现在我们来配置本地电脑和手机准备好“神经中枢”和“手脚”。3.1 本地电脑控制端部署在你的Windows或macOS电脑上操作。安装ADB工具这是与手机通信的桥梁。Windows: 从Android开发者官网下载platform-tools解压后将解压目录的路径例如C:\platform-tools添加到系统的Path环境变量中。macOS: 可以通过Homebrew安装brew install android-platform-tools。验证打开命令行CMD或Terminal输入adb version能显示版本号即表示成功。获取控制端代码打开命令行克隆Open-AutoGLM的仓库并安装依赖。# 克隆项目代码 git clone https://github.com/zai-org/Open-AutoGLM cd Open-AutoGLM # 安装Python依赖包 pip install -r requirements.txt pip install -e .3.2 安卓手机端设置在你的安卓手机上操作以常见国产手机为例路径可能略有不同。开启开发者选项进入设置-关于手机连续点击版本号7次直到出现“您已处于开发者模式”的提示。开启USB调试返回设置找到新出现的开发者选项进入后开启USB调试开关。安装并切换ADB键盘关键步骤在手机浏览器中下载并安装ADB Keyboard。安装后进入设置-系统管理/更多设置-语言与输入法-默认键盘将其切换为ADB Keyboard。这允许电脑通过ADB向手机输入文本。3.3 连接手机与电脑用USB数据线将手机连接到电脑。在手机弹出的“允许USB调试吗”对话框中选择允许。在电脑的命令行中输入adb devices如果看到类似List of devices attached下面有一行设备ID后面跟着device字样说明连接成功。想用WiFi连接可以先USB连接后执行adb tcpip 5555 adb connect 手机IP地址:5555之后就可以拔掉USB线通过WiFi控制了。4. 第三步启动AI代理见证自动化万事俱备只欠指令现在让我们给AI下第一个命令。确保你处在Open-AutoGLM项目目录下然后运行以下命令python main.py \ --device-id 你的设备ID \ --base-url http://你的服务器IP:8000/v1 \ --model autoglm-phone-9b \ 打开抖音搜索‘可爱猫咪’视频并点赞第一个结果请替换其中两个参数你的设备ID运行adb devices命令后列出的那串字符。你的服务器IP你云服务器的公网IP地址。执行过程解读脚本启动会先向你手机的云端模型服务发送请求。模型根据指令“打开抖音...”开始规划操作步骤。你的手机会自动亮屏、解锁如果未设密码、找到抖音图标并点击打开。在抖音App内自动点击搜索框输入“可爱猫咪”开始搜索。在搜索结果页面自动点击第一个视频然后找到点赞按钮并点击。任务完成整个过程完全自动你只需要在一旁观看。你可以尝试更多有趣的指令“给妈妈发微信说今晚不回家吃饭了。”“打开美团点一份附近销量最高的披萨外卖。”“打开支付宝查看今天的基金收益。”“连续截图5次保存到相册。”4.1 使用Python API进行更灵活的控制除了命令行你还可以用Python脚本进行更精细的控制例如集成到自己的自动化流程中。# example_control.py import asyncio from phone_agent.adb import ADBConnection from phone_agent.agent import PhoneAgent async def main(): # 1. 连接手机 conn ADBConnection() success, msg conn.connect(你的设备ID) # 例如: 127.0.0.1:5555 print(f连接状态: {msg}) if not success: return # 2. 创建AI代理 agent PhoneAgent( base_urlhttp://你的服务器IP:8000/v1, modelautoglm-phone-9b, adb_connectionconn ) # 3. 下达一个复杂任务 task_description 请执行以下任务 1. 打开手机上的浏览器。 2. 访问百度首页 (www.baidu.com)。 3. 在搜索框里输入“今天的天气”。 4. 点击搜索按钮。 5. 等待结果加载完成然后截图。 print(开始执行任务...) # 运行代理它会自动规划并执行每一步 await agent.run(task_description) print(任务执行完毕) conn.disconnect() if __name__ __main__: asyncio.run(main())4.2 常见问题与排查如果在过程中遇到问题可以按以下思路排查连接被拒绝检查云服务器安全组/防火墙是否放行了8000端口。ADB设备未找到重新插拔USB线在手机上确认“USB调试”已授权或尝试adb kill-server adb start-server。模型无响应或输出乱码确认服务器上启动vLLM的命令参数与本文一致特别是--max-model-len 25480。检查服务器GPU显存是否足够至少20GB。AI操作点错位置这可能是模型对当前屏幕理解有偏差。确保指令清晰且手机屏幕分辨率在常规范围内。可以尝试先手动将App打开到目标页面再下达后续操作指令。5. 总结通过以上三个核心步骤——部署云端模型服务、配置本地与手机环境、启动AI代理执行指令——我们成功搭建了一套属于自己的手机AI自动化操作助手。回顾一下云端搭“脑”利用Docker和vLLM我们在云服务器上快速部署了强大的AutoGLM-Phone模型提供了理解与规划能力。本地连“手”通过配置ADB和手机开发者选项我们建立了电脑控制手机的通道并为AI装上了“虚拟手指”。合二为一最后通过一行命令或一个脚本我们将云端大脑和本地手脚连接起来用自然语言指挥手机完成真实任务。Open-AutoGLM的价值在于它将前沿的多模态大模型能力变成了一个可以实际操控物理设备手机的智能体。这为自动化测试、无障碍辅助、个人效率工具乃至更复杂的业务流程自动化打开了全新的想象空间。现在你的AI手机助手已经就绪。你可以尽情探索给它下达更多、更复杂的指令亲眼见证它如何一步步理解、规划并执行。从简单的应用开关到跨应用的比价、下单、信息收集自动化的大门已经为你打开。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。