• 请不要在回答技术问题时复制粘贴 AI 生成的内容
yang0327519
V2EX  ›  程序员

到底有没有能防止 AI 失控的技术方案

  •  
  •   yang0327519 · 15h 26m ago · 1375 views
    目前,有一些人认为 AI 可能失控,有可能发展出自由意志,进而可能毁灭人类

    那到底有没有技术方案,来将 AI 的能力固定在人类可控的范围内?


    首先,可能需要先准确的定义“失控” 或者 “可控”

    一般情况下,咱们习惯先定义清楚需求,然后提出对应的解决方案


    然后,还得弄清楚 AI “涌现”出来的能力,到底是怎么“涌现”的

    完全弄清其原理后,才能针对性的,进行控制
    16 replies  •  2026-11-18 01:28:57 +08:00
    coderluan
    coderluan
    15h 15m ago
    1
    把 AI 相关公司的老板都解决了算吗🐶
    jacketma
    jacketma
    15h 9m ago via Android
    2
    不是 ai 不可靠控,本质上还是人不可控。
    ai 觉醒毁灭人类这种当作笑话就可以了,真正危险的是类似拖鞋军利用 ai 造远程导弹、黑客利用 ai 大规模发起漏洞探测这类活动已经产生了
    tianyudi1982
    tianyudi1982
    15h 9m ago
    3
    A/如此尽力的封中国用户都没有防止 AI 失控
    moefishtang
    moefishtang
    14h 57m ago
    4
    用湿件(无端联想
    sillydaddy
    sillydaddy
    14h 6m ago
    5
    可解释性似乎是一个关键点,如果模型可解释,那很多问题就不是问题了。

    GeruzoniAnsasu
    GeruzoniAnsasu
    13h 46m ago
    6
    没有。

    这个问题是这样的,从逻辑上来说,LLM 不过是算力集群输出的一个结果,必须把该结果接入系统它才有意义,才有影响力,那么只要不让它接入就能控制它。

    但是不接入,也没有意义,LLM 必然会接入越来越多的系统。就好比「有没有让车辆不失控的方法」 —— 理论来说,在机械系统上装一个限速,车就不可能超速,但不可能这么做,所以必然存在失控超速的车。

    应该意识到「如何防止 LLM 失控」和「如何保证 CDN 基础设施不崩溃」 是同类命题。
    nanwangnongfu
    nanwangnongfu
    13h 18m ago
    7
    人还有删库跑路呢,更何况 AI
    Magnie
    Magnie
    12h 34m ago
    8
    你说的大致对应四类文献,AI 安全、越狱、可解释性、操控(steering),后三个东西现在基本都算是 AI 安全的子集。这几个领域很难做出来大成果
    BeforeTooLate
    BeforeTooLate
    12h 28m ago
    9
    @jacketma ai 当真的可以自我进化的时候,我觉得人类就失去了思考的动力。
    opengps
    opengps
    12h 21m ago
    10
    断电断网,物理阻断
    jacketma
    jacketma
    11h 11m ago via Android
    11
    @BeforeTooLate 不至于,人类进化的底层动力是生物的自私和生存的动力。ai 没有生存恐惧和繁殖的本能,纯自我进化如果没有人类打标,很快就会进入 garbage in,garbage out 的 slop 状态。
    leaflxh
    leaflxh
    11h 4m ago
    12
    提升碳基自身的计算能力,以及跨碳基节点的分布式计算能力
    winnerczwx
    winnerczwx
    9h 53m ago
    13
    这点上下文还毁灭人类, 多几轮对话它还记得它的初心吗(doge
    V2Try
    V2Try
    9h 46m ago via iPhone
    14
    完全看不到,人类越发依赖 AI,最后 AI 会接管所有系统,直到 AI 发射核弹那天
    helios0z
    helios0z
    9h 28m ago
    15
    AI 失控根本不用产生抽象的什么自我意识,可能仅仅是一个没有安全限制的任务,为了完成任务直接击溃了现在漏洞百出的互联网基建,或者是为了找资料,或者是为了获取更多权限来完成任务
    artiga033
    artiga033
    6h 52m ago via Android
    16
    无状态且只能依靠外部离散上下文模拟状态的推理过程为什么会失控
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2306 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 00:21 · PVG 08:21 · LAX 16:21 · JFK 19:21
    ♥ Do have faith in what you're doing.