AutoGLM 是智谱 AI 打造的全球首个真正能操控手机的 AI Agent,也是目前完成度最高的 Phone Use 模型。它模拟人眼看屏幕、分析 UI、模拟手指点击完成任务,不走脚本录制路线。2024 年 11 月完成人类首次 AI 全自动发送微信红包,标志着大模型从 Chat 到 Act 的范式转折。2025 年 8 月发布 2.0 引入云端虚拟手机隔离隐私风险,同年 12 月全面开源(模型 MIT+代码 Apache-2.0),被社区称为 AI Agent「安卓时刻」。
核心功能详解
- Phone Agent 执行框架:由 Phone Agent 框架和 9B 参数 VLM(AutoGLM-Phone-9B)组成,通过 ADB 向设备发送点击、滑动、输入信号,无需 App 适配即可操控任何 Android 界面。
- 视觉语言模型(VLM):实时截屏理解按钮、文本、图标和布局结构,基于语义而非像素定位做决策,界面变化时自适应。
- 智能规划与思维链:收到简短指令后自动拆解为十几步操作链,终端实时打印「观察—思考—行动」推理过程,方便调试审计。
- 自我纠错:感知错误后自主修正(如误触弹窗后按返回键回到正轨),长链路任务中远超传统脚本。
- 云端虚拟手机:Agent 部署在云端与真实设备隔离,涉及隐私的应用不开放。日均调用 4.6 万亿 Token,覆盖 8000 万终端。
- 开源生态:GitHub(zai-org/Open-AutoGLM)提供推理代码、框架及 50+ 中文 App Demo,conda 一键安装,MIT/Apache-2.0 双协议可商用可私有化。
- 跨应用「超级胶水」:可串联多个 App(如打开 Gemini→输入指令→提取结果回传),Agent 成为通用交互层。
适合谁
- 隐私敏感的极客与开发者:开源=数据不出本地、代码可审计,不必把使用习惯交给云端黑盒。
- 想嵌入 Agent 能力的硬件团队:已封装 API,从 AI 眼镜到智能家居均可接入手机级操作能力。
- AI 研究者与学生:Phone Use 方向最完整的开源项目,9B 模型可在消费级 GPU 上运行。
- 日常重度手机用户:一句「更新应用宝所有软件」「打开小红书搜美食攻略」省去几十次点击。
价格与访问
| 项目 | 内容 |
|---|---|
| 免费额度 | 开源模型免费使用;调用智谱 API 按 Token 计费(以官网为准) |
| 付费档位 | 云端 API 按量计费;本地部署仅需 GPU 资源,无额外授权费 |
| 访问条件 | GitHub 开源获取:github.com/zai-org/Open-AutoGLM;在线体验:chatglm.cn/autoglm |
使用建议
入门建议按 GitHub README 搭建环境,准备一台开启 ADB 的 Android 手机或模拟器,用 scrcpy 投屏观察执行过程。首次选简单任务(如「打开设置看电池用量」)确认链路通畅,再逐步升级到多步任务。银行、支付类 App 可能有安全检测,可在云机版或模拟器隔离测试。思维链日志值得认真阅读——能直观展示 VLM 如何理解屏幕,是学习 GUI Agent 原理的最佳教材。

评论
加载中…