目 录CONTENT

文章目录

基于MCP实现AI控制手机跟人聊微信

成培培
2026-11-17 / 0 评论 / 0 点赞 / 5 阅读 / 0 字

最近在github上发现一个挺好玩的东西,玩的效果上来看就是授权一个本地 AI 助手,让它「看见」手机上真实的屏幕画面,并替我点按、滑动、输入——最后我用它来在微信里跟指定的人聊天。

不是那种返回一段文字让你自己发的"聊天助手",而是 AI 真的在看你的屏幕、真的在点你的按钮,听起来很神奇,其实就是硬件层面把 ADB 和 MCP 拼在了一起。

挺好玩的,感谢作者开源,源码在这里:https://github.com/teangtang1122/dsh-phone-control


它到底是什么

它是一个 独立的 stdio MCP 服务器,它通过 ADB 与一台固定的、经过我授权的安卓手机对话,向外暴露五个工具:

工具 用途
phone_status 只读检查固定手机连接
phone_apps 列出可启动的应用包名
phone_observe 截图、界面节点、OCR、目标与坐标尺
phone_open_app 用真实包名打开应用
phone_action 文字点击、准星预览/确认、滑动、按键、输入

接入支持 MCP 的本地 AI 助手(比如 DSH)之后,助手就能调用这些工具,像一个人拿到一部手机那样使用它。

可以用它做什么

我的场景比较简单:让 AI 帮我在微信上和指定的人聊天。

传统做法是去装各种「微信协议插件」「QQ 桥接」之类的东西——本质是逆向模拟登录、注入客户端,风险高、容易被封号,而且很多本地工具实际上要依赖一个中间桥接服务。

而这个项目走的是另一条路:它不去碰微信的协议,就站在真实界面上操作。 助手 phone_observe 一行命令,把手机屏幕上微信的实时画面连文字目标一起拿回来;它看到"发送"按钮,就 phone_action 点下去;看到输入框,就把中文打进去,就像你在旁边看着一个人操作你的手机,而不是给微信开个后门。

怎么使用

如果你也想试试,README 也里写得很细,这里给最简路径,装完后一定先 npm run doctor 只读检查,它不往手机发任何输入,下载源码执行一下命令:

npm ci
# 安装依赖
python -m venv .venv && .venv/bin/python -m pip install -r requirements.txt
npm run config        # 填写 ADB 路径、真实设备序列号、Python 路径
npm run doctor        # 只读环境检查

需要中文/emoji 输入时,再单独去 scrcpy 官方下 4.1 版本,把服务端文件(不是 scrcpy.exe)路径填进配置。配置完了后config.json配置文件里就是类似这样:

$ cat config.json
{
  "adbPath": "/Users/chengpei/Library/Android/sdk/platform-tools/adb",
  "serial": "fca983a8",
  "pythonPath": "/Users/chengpei/PythonProjects/dsh-phone-control/.venv/bin/python",
  "ocr": true,
  "scrcpyServerPath": "/Users/chengpei/Downloads/scrcpy-macos-x86_64-v4.1/scrcpy-server"
}

最后MCP客户端我这里是在deepseek-harness的MCP连接器插件里可视化配置,配置如下:
https://www.chengpei.top/upload/mcp-phone-ctrl.jpg

注意

不过玩的话要注意几点,不然容易玩脱。。。
第一点,它把一台安卓手机的完整操作权限,通过 ADB 下放给了 AI。 工具表面只暴露了几个固定的动作,但底层确实是完整的 ADB 命令能力——所以你授权它操作微信,理论上它自然不只是"只能操作微信",凡是能通过点击、滑动、输入完成的事,它原则上都能做。所以我这里是在提示词里限制了它只能操作当前这个聊天回话,并且全程盯着它在。

第二点,也是很多人会忽略的:手机屏幕上的内容会暴露给后台的大模型。 phone_observe 会把你整个微信界面连同聊天记录一起,以图片形式送进 AI 的上下文。一旦截图交给云端模型,整段聊天内容就可能在你的电脑之外流转。在意隐私的话,优先用本地模型,或至少想清楚你的聊天记录会流向哪里。

第三点,关于用 AI 控制微信这件事本身。一些"微信 / QQ 机器人"是通过逆向协议、注入客户端来被程序控制,属于踩腾讯红线,很容易被封号。这个项目刻意绕开了那条路——它不碰微信协议、不注入、不逆向,只是通过 ADB 在真实界面上去点击和输入,就像一个人亲手在操作手机,所以风险比"协议插件"低很多。但即便如此,也不能说完全安全:自动化操作的模式仍然可能被风控识别为"非常人操作"


仓库:https://github.com/teangtang1122/dsh-phone-control
技术栈:Node.js(@modelcontextprotocol/sdk + zod)、Python(Pillow / RapidOCR)、ADB、scrcpy 4.1 控制协议。

0

评论区