爱意满满的作品展示区。
Derrors

[开源] iPhone -control: 基于 Rust 构建,在 Linux 上让 AI 操作真机 iPhone

  •  
  •   Derrors ·
    Derrors · 10 days ago · 1088 views

    banner.zh-CN.png

    为什么做

    之前用 go-ios 、pymobiledevice3 、WDA 这些拼了一套方案,每个都要单独装、单独签名,隧道动不动就断,还得自己写脚本盯着,后来干脆用 Rust 重写了一个。

    能做什么

    iphone-control

    • 截图、点击、滑动、长按、输入文字(中文也行)、按实体键、开关 App 、打开链接,一共 15 个 MCP 工具
    • 能读界面元素,AI 可以直接说“点设置”,不用自己猜坐标
    • 尽量少来回:每个操作做完可以直接带回操作后的界面,多步操作也能一次发完。我测了三个日常任务,加上模型思考的时间,总耗时少了 44%(比如算 12×34 ,从 58 秒降到 35 秒)
    • 游戏、地图这类读不到元素的界面就看截图点坐标。我试过让它玩消消乐,有一关 16 步拿了三星
    • 能无人值守:拔插数据线、手机重启、WDA 崩溃都会自动恢复;免费 Apple ID 的 7 天签名会自动续;出问题会通过 Bark 或 Telegram 提醒
    • 可选自动解锁:自动输入锁屏密码解锁

    底层用的是 idevice 、Impactor 和 WebDriverAgent ,整个是一个 Rust 二进制,不需要 Xcode ,不需要付费开发者账号,也不用越狱。

    目前在 iPhone 15 Pro Max + iOS 27 ,iPhone 12 mini 上测过,其他机型和版本欢迎反馈

    11 replies  •  2026-11-15 12:19:52 +08:00
    Tink
    Tink
    10 days ago
    1
    延迟咋样呢
    Derrors
    Derrors
    OP
    10 days ago
    2
    @Tink 用的是 USB 连接手机和机器,延迟很低,耗时主要来自于 AI 思考时间
    Pters
    Pters
    10 days ago
    3
    可不可以控制支付宝收能量做任务
    freemoon
    freemoon
    10 days ago
    4
    可以设计一个 [开启屏幕常亮] 功能,让 ai 开启定时任务执行
    Derrors
    Derrors
    OP
    10 days ago
    5
    @freemoon 理论上是可以的,你可以试试哈哈哈
    Derrors
    Derrors
    OP
    10 days ago
    6
    @freemoon 不需要屏幕常量,这个工具可以自动输入锁屏密码解锁的
    freemoon
    freemoon
    10 days ago
    7
    @Derrors 黑屏了也行嘛
    Derrors
    Derrors
    OP
    10 days ago
    8
    @freemoon 是的
    xiaofsu
    xiaofsu
    10 days ago
    9
    mark 一下,正好有一个 11 ios27 的,回家试试看。
    Derrors
    Derrors
    OP
    9 days ago
    10
    @xiaofsu 欢迎反馈😄
    Derrors
    Derrors
    OP
    1 day ago
    11
    最近一周新增的功能和优化如下,欢迎大家体验和反馈⭐~

    画面(控制台)
    - iOS 27 及以上直接用手机硬件编码的 HEVC 视频,约 60 帧、原生分辨率;其他情况自动改用 H.264(本机硬件编码,流量约为原来的 1/15),再不行用 MJPEG。(0.2.1)
    - 弱网模式:HEVC 流量约减一半,H.264 也会降。(0.2.6)
    - iOS 27 视频里看不到的系统弹窗会画到画面上,可以直接点。(0.2.4)
    - 控制台界面改版:适配宽窄窗口,设备显示商品名并套上外框。(0.2.2)

    AI 任务
    - 任务由守护进程管理。task run -- <命令> 让任何 agent 平台都能在任务里运行。可以暂停、接管、交还、停止、确认,命令行里有整套 task 子命令。(0.2.4)
    - 可以把任务限定在某些 App 里,到了范围外每一步都要人确认。(0.2.4)
    - Agent 不能控制或批准自己的任务。(0.2.4)

    远程和多机
    - viewer --lan 把控制台开放到局域网,同一端口走 HTTPS(自签证书或用自己的证书)。(0.2.4)
    - 同一端口提供 /mcp(MCP over HTTP)。mcp --url 能把 stdio 转到另一台机器;task --url 可以从另一台机器开任务、控制任务。(0.2.4)
    - 控制台和 /mcp 都要登录。支持带名字的令牌和只读令牌。(0.2.4,0.2.5 加固)
    - service viewer install 把控制台装成后台服务。(0.2.4)

    安装和升级
    - 签名更新:update 一条命令就能检查并升级,支持受管服务、Homebrew 和签名的 .deb,空闲时可以自动装补丁。(0.2.2–0.2.3)
    - 设置菜单可以用方向键操作;completions 生成 Bash、Zsh、Fish 补全脚本。(0.2.4)

    稳定性和速度
    - WDA 卡死约 30 秒就能发现,重启后就绪从 11 秒降到 1.4 秒。守护进程重启时,请求会等它回来,不再直接失败。(0.2.4–0.2.5)
    - 每台设备该用哪种锁屏和 Home 方式会被记住;iOS 27 以下的 iPad 现在能锁屏了。(0.2.4,未发版的改动把这些记录存到磁盘,重启后不丢)
    - 局域网下点按、按 Home 和画面都更快:请求共用连接、后台查询给操作让路,画面卡顿从 1.1 秒降到 0.1 秒。(0.2.6)
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2198 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 14:36 · PVG 22:36 · LAX 06:36 · JFK 09:36
    ♥ Do have faith in what you're doing.