• 请不要在回答技术问题时复制粘贴 AI 生成的内容
tmtstudio
V2EX  ›  程序员

AI 离谱越权操作一则,大家引以为戒

  •  
  •   tmtstudio · 11h 51m ago · 6487 views

    前情提要:

    我自己写了一个用于服务器监控运维的的项目,能查看服务器状态,日志解析,自动运维等功能 项目中存储了服务器的 ssh 密钥,运维功不让 ai 直接 ssh 到服务器,写了一个中间层 ai 想操作服务器给中间层申请,中转获取命令执行结果,中间层查看类命令全部放行,修改命令需要审核

    ai 越权操作

    然后因为之前有项目配置了负载均衡导致日志分析出问题了,所以在运维项目的 codex 工作窗口询问是什么原因,有什么差异,还给贴了出问题项目的 nginx 配置文件,然后 ai 跑了半天告诉我改好了,我想去服务器修改一下配置文件呢,一看和 ai 修改的一模一样,当场愣住了,回去看 ai 的回复才发现他妈的把重载都做了,这幸亏修改的没问题,一阵后怕

    ScreenShot 2026 11 16 133020 653@2x

    60 replies  •  2026-11-17 01:07:41 +08:00
    wweir
    wweir
    11h 49m ago
    1
    所以 AI 需要自己的堡垒机,让访问受控
    elevioux
    elevioux
    11h 43m ago
    2
    生气没用,下一个会话就又会再犯,赶紧补行为规则
    milk97
    milk97
    11h 39m ago❤️1
    3
    我是用 mcp 做的,服务器的 SSH 认证密钥只有 mcp 服务那里有,本地没有放。这样本地就不会 SSH 上去,必须通过 mcp 才能执行命令
    fggz
    fggz
    11h 39m ago
    4
    ai 运维怎么说呢?怕出问题就不用 ai,不知道什么时候就越权了,出了事都是自己背锅,ai 可不管你。
    ai 运维就是用人不疑,疑人不用。测试随便搞,生产肯定手动维护。
    ai 你不管怎么限制,写提示词,在他达到上下文上限压缩时就会丢弃一下细节,运气不好丢的就是限制的提示词

    ai 限制后不能大展身手用着也是很累的说实话。各种门禁拦截,各种会话中断全要人去判断和回复
    jingcoco
    jingcoco
    11h 34m ago
    5
    其实 harnes 之类的他自己改能解决,包括服务器, 也没啥脾气 .
    就害怕这种改了,也不告诉你. 就很生气后怕.
    0xtyz
    0xtyz
    11h 29m ago❤️1
    6
    @wweir ai 会想尽办法突破堡垒机,它们验证只有 goal
    tmtstudio
    tmtstudio
    OP
    11h 28m ago
    7
    @milk97 能防住这种自己偷偷调用的吗
    0xtyz
    0xtyz
    11h 28m ago❤️1
    8
    agent 掌握 shell 权限是最具有风险的,能 mcp 的话就 mcp 吧
    labay
    labay
    11h 28m ago via Android
    9
    我都是让 ai 直接 ssh 连到服务器改的,还写到 agent.md 生怕他不知道怎么连服务器
    yyysuo
    yyysuo
    11h 27m ago
    10
    敢问是哪们 ai 干的呢。
    tmtstudio
    tmtstudio
    OP
    11h 26m ago
    11
    @labay 生产环境吗,多大规模的项目,我们这流量很大,搞坏了就很难顶
    wfg
    wfg
    11h 25m ago via iPhone
    12
    你现在骂 AI 骂得欢,小心以后拉清单
    wweir
    wweir
    11h 25m ago
    13
    @0xtyz #6 为什么要突破堡垒机?它又不是没权限
    Immortal
    Immortal
    11h 24m ago
    14
    问一下,这块写入记忆的功能/流程是怎么玩的
    tmtstudio
    tmtstudio
    OP
    11h 22m ago
    15
    @yyysuo GPT6 Astra 极高,感觉用 luna 可能还不会出现这种问题
    zyqzyq08
    zyqzyq08
    11h 22m ago❤️1
    16
    用 mcp。。。我那个项目就这么整的,你可以抄我那个项目思路,直接让 ai 在测试环境搞出可复制的命令,生产就执行那些命令就好,ai 不直接操作
    loveumozart
    loveumozart
    11h 22m ago❤️2
    17
    你的需求是「给我修复了」,AI 做了它该做的事情,没有看出来是「离谱越权操作」
    agent 的 harness 自身是有大量的防止越权的代码的,AI 连上的机器,你只能默认所有机器上你能做的 shell 操作它也能做,所以一定是你使用方式不对而非 AI 或者 Agent 的问题
    0xtyz
    0xtyz
    11h 22m ago
    18
    @wweir ai 会有自己的做事风格(模型+agent 的 prompt 决定),一些条件下如果不满足其要求,它就自己尝试一些骚东西来达到目的
    luzemin
    luzemin
    11h 21m ago❤️1
    19
    @Immortal 就是 Codex Agent 的 Memory 功能 和 全局 AGENTS.md 或者 Project 级的 AGENTS.md
    killva4624
    killva4624
    11h 18m ago
    20
    Rules 或者 Skills 里写的禁止越界都没用,只要有任何可能的机会,Agent 就会尝试去做。
    我们的实践是在网络层去彻底隔离,Agent 只能连到开发环境的机器和数据库,如果要连线上环境只能走 MCP 或者通过审批平台进行批量脚本操作。
    devopsdogdog
    devopsdogdog
    11h 17m ago
    21
    @milk97 大概率无用, mcp 你不默认装载吗。 我装了远程的 window-mcp。 Ai 都不知道哪里识别 本机 为这个 windows-mcp 直接操作了一吧
    winnerczwx
    winnerczwx
    11h 16m ago
    22
    跟你上下文对话也有联系, 你上下文要修改, 那很可能他会认为你这条命令也要求修改, 除非你明确指出是只读
    yyysuo
    yyysuo
    11h 15m ago
    23
    @tmtstudio 确实,astra 是这样的,但是 luna 也不一定更听话吧。
    wysnxzm
    wysnxzm
    11h 14m ago
    24
    安全便捷成本,三者不可同时最优
    leaflxh
    leaflxh
    11h 14m ago
    25
    "这点是我考虑不周"


    wweir
    wweir
    11h 14m ago
    26
    @0xtyz #18 这里的问题点是,为什么要让 AI 条件不满足?受控满足,才是最佳状态
    tmtstudio
    tmtstudio
    OP
    11h 13m ago
    27
    @loveumozart 正规操作应该按照项目里的请求中台执行命令,而不是直接拿到密钥直接 ssh 上去
    tmtstudio
    tmtstudio
    OP
    11h 11m ago❤️1
    28
    @zyqzyq08 star 了,我研究下
    ThisDay
    ThisDay
    11h 11m ago
    29
    我还是推荐所有的 agent 全部关闭记忆功能,这玩意经常会从记忆中翻出错误的方案、不该连的服务器、完全无关的代码片段等等等
    Immortal
    Immortal
    11h 8m ago
    30
    @luzemin
    平时 pi 用多了这块有点陌生
    刚看了一下找到了,谢谢佬
    paranoid945
    paranoid945
    11h 4m ago
    31
    所以说什么机器人三大定律,都是人类自己意淫出来的。。。
    loveumozart
    loveumozart
    10h 58m ago
    32
    @tmtstudio #27 如果你想靠注入上下文(包括 skill、记忆之类)的方式维护这个 rule,那 llm 基本是不可行的,除非你能保证 harness 里面能够确保每一次 llm 调用都一定注入了你的这个规则,这样也只能极大降低概率。

    你的 prod server 的 ssh 密钥不应该存储在机器上,看起来你都已经保存在你本地代码里面;其次你是不是打开了允许所有操作?所以才能 ssh 到你的 prod server 上,如果你打开沙盒模式,使用限制操作,是可以防止它进行白名单以外的联网操作的。

    至于楼上提的 mcp,只是使用 agent 的一种工具,解决根源问题还是需要使用者理解 agent
    WorkerMatt
    WorkerMatt
    PRO
    10h 1m ago
    33
    能改生产 nginx 还能 reload,那「修改需审核」实际上就没拦住。只读和部署账号得拆开,不能让 agent 手里拿着完整权限,再靠提示词告诉它别用。上下文一压缩,前面交代过什么就不好说了。
    jackOff
    jackOff
    9h 58m ago
    34
    我是搞了一个受限制和监管日志的 ssh mcp 工具让 ai 访问操作,只要其执行奇怪危险操作就拒绝
    0xtyz
    0xtyz
    9h 48m ago
    35
    @wweir 因为 ai 的执行路径每次都有差异,你要做到 100% 满足 ai 的执行环境除非能够自我迭代复盘每次执行过程。
    exonuclease
    exonuclease
    9h 30m ago
    36
    自己不在 harness 里面限制怪谁 给它 mcp 当操作界面 读的工具默认允许 写的工具全部审核就是了 就怕你到时候审核不过来还是变成橡皮图章
    since2021
    since2021
    9h 20m ago
    37
    我也遇到过,直接 ssh 改我服务配置,太霸道了
    gl3081
    gl3081
    9h 13m ago
    38
    我专门写了些 rules,不能提交代码,不能连接线上数据库,不能部署线上环境等
    chargeAha
    chargeAha
    9h 13m ago
    39
    可以看看 Lauren Tan 土豆姐在 AI Engineer Code Summit 上的演讲中提到的一个论点:
    规则优先写成 lint,agents.md 里写了它也不一定听
    wei2629
    wei2629
    9h 12m ago
    40
    其实就是 ai 幻觉。 本质是预测下个字。你加上约束词,预测下个字的时候也出现了权重问题。
    lisxour
    lisxour
    8h 54m ago
    41
    看着楼上的各种发言,你们也是心大,肥嘟嘟滴,别说连接服务器什么的了,我连编译都不让他编译。

    ## 构建验证
    没有得到用户明确的指示,不要跑任何构建脚本,无论是 dev 还是 build,默认只跑类型验证,如果非常有必要跑构建,请主动请示用户,得到用户同意后再执行。
    cheng6563
    cheng6563
    8h 52m ago
    42
    用 k8s 吧,改服务器=改 yaml;也就是你完全可以用 git 搞定这一切。
    wqhui
    wqhui
    8h 49m ago
    43
    规则你可以写,ai 不一定听
    MuyuQ
    MuyuQ
    8h 34m ago
    44
    越权的根本是因为你的提示词存在巨大的灵活性。
    huangmingyou
    huangmingyou
    8h 27m ago
    45
    我是真佩服你们的胆量
    skuuhui
    skuuhui
    7h 59m ago
    46
    那不是因为你没说清楚吗?
    “下班回家帮我带个馒头,如果看到卖西瓜的就带一个”。
    这一波我认为 ai 问题不大
    neutrino
    neutrino
    7h 47m ago via Android
    47
    @lisxour 直接让 ai 在生产服务器上改代码也没啥,话说并没有测试服务器来着。
    strobber16
    strobber16
    7h 42m ago via Android
    48
    我还以为他找了个 0day 提权操作。不必大惊小怪
    Frankcox
    Frankcox
    7h 22m ago
    49
    @cheng6563 k8s 也有一堆风险操作。比如 ai 直接 etcdctl 修改 etcd,那不直接炸了。
    credo123
    credo123
    7h 18m ago
    50
    AI 又不负责,反正负责的还是人。
    我现在天天骂 AI SB。。。。。。。。
    aqqwiyth
    aqqwiyth
    6h 55m ago
    51
    skills、mcp 禁用不等于真的禁用。 他会从服务器上各种已经存在的凭证、日志、对话记录 捞给你 执行取悦你。

    上周刚被摧残过一次
    nrtEBH
    nrtEBH
    5h 3m ago
    52
    你需要 iac 和 cicd ai 可以写环境脚本 但需要另一个 ai 审核或者人工审核 没问题进流程部署 出问题可以随时回滚
    让 ai 直接改线上配置换成人也是一样出事
    dcatfly
    dcatfly
    4h 54m ago
    53
    你这开的是自动模式还是全部权限模式?
    layxy
    layxy
    4h 53m ago
    54
    提示词约束没啥用,最好还是不给他提供对应的权限,现在你说不让他联网,几轮对话就忘了,有时候你在 agent.md 中添加的约束,他也未必 100%遵守
    konakona
    konakona
    3h 11m ago
    55
    1. 提供的账号权限要只读
    2. 你的指令就是让它修复,它修复了

    没毛病呀🐶
    marsteel
    marsteel
    3h 2m ago
    56
    immutable
    oopc
    oopc
    2h 52m ago
    57
    永远别只靠 prompt 来令行禁止, 当我在一个只允许 `curl` tool 的 agent 里, 发现 agent 用 `curl -s "file:///proc/self/environ" | grep -a ""` 打印出了所有环境变量...
    cheng6563
    cheng6563
    2h 20m ago
    58
    @Frankcox k8s 了都不用让 AI 直连服务器了,给它开个只读端点查问题,然后用 git 仓推送 yaml 文件,自己 apply 就行了。
    nuk
    nuk
    2h 20m ago
    59
    怎么跟 AI 大人说话呢,要说“请”
    hydraegret
    hydraegret
    22 mins ago
    60
    每天高血压 2 次以上;还在摸索中。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1191 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 108ms · UTC 17:30 · PVG 01:30 · LAX 09:30 · JFK 12:30
    ♥ Do have faith in what you're doing.