socialAnimal
V2EX  ›  问与答

关于 AI 对人类的威胁

  •  
  •   socialAnimal · 1 day ago · 1104 views

    现在网络上对 AI 威胁论的讨论几乎到了毛骨悚然的地步。其中不乏那些头部人工智能公司的研究员,说什么 AI 末日、若干年内 AI 会消灭所有人类等等。对此我实在理解不了。 现在的 AI 基本就是围绕大语言模型展开的,这种主要处理文本的概率模型它怎么来威胁人类呢?模型没有记忆功能,只能进行一问一答,即使现在能做一些复杂任务,也只是靠在外层套了一个 Agent 壳子来辅助而已。 它到底怎么来消灭人类?至少说说威胁的途径和可行性吧?似乎都在说 AI 会威胁人类生存,但都没说具体威胁手段有哪些。

    12 replies    2026-09-12 11:42:26 +08:00
    passive
        1
    passive  
       1 day ago via Android
    说到记忆,我的短期记忆可能还不如模型的 context 大,长期记忆需要微调模型或者我自己,刻到 ROM 的权重里。小时候每次“熟读并背诵”就是一次微调的过程。
    qilme
        2
    qilme  
       1 day ago via Android
    如果只把它当成下一 token 预测器,那确实啥也干不了,发明 coding agent 之前大概也想不到如此能干吧。所以可以没有条件就创造条件,说不定之后有人发明超高性能的端侧模型,然后用蠕虫病毒式的 agent 传播到每一台电脑上,让 agent 可以永久自动运行。
    Thesara
        3
    Thesara  
       1 day ago
    你可以看一下今天 anthropic 发的
    phrack
        4
    phrack  
       1 day ago
    有屁的威胁

    我愿意在 polymarket/区块链赌博

    现在给你 100 万,5 年后人类灭亡你不用还钱,你跟我都死了

    人类不灭亡你得还我 500 万

    我相信会有人开这个赌博的
    socialAnimal
        5
    socialAnimal  
    OP
       1 day ago
    @Thesara 我感觉他们说的很可怕,但我理解不了。
    shiny
        6
    shiny  
    PRO
       1 day ago
    威胁来自于授权使用物理资源。比如把使用武器的判断交给 AI 。
    Maxwe11
        7
    Maxwe11  
       1 day ago
    如果我办了一家 AI 企业,但是还没上市,不过现在外界估值过万亿美金,只要一上市就能赚来十辈子都花不掉的钱,我也整天叨叨叨 AI 太厉害了,我的 AI 今天自己攻破了我自己的防守,其他人都是抄我家的 AI,其他人的 AI 企业都没有道德必须都禁掉,我的 AI 今天已经发现了新的线索,物理界大一统理论即将被我的 AI 所攻破。

    如果我做空了 AI,那我会说,现在的 AI 都是垃圾,远远没有宣传的那么厉害,现在大规模投资的企业估值极度高估,马上就会一地鸡毛。

    威胁不威胁,取决于我是靠威胁赚钱,还是靠做空赚钱。
    413420
        8
    413420  
       1 day ago
    推荐你仔细阅读 anthropic 发布的威胁报告,此时此刻,许多人都在这么做
    yidinghe
        9
    yidinghe  
    PRO
       1 day ago
    “似乎都在说 AI 会威胁人类生存,但都没说具体威胁手段有哪些。” 因为料不到。A\ 披露有人尝试用 AI 研究生化武器来着。
    june4
        10
    june4  
       20h 31m ago
    合成新病毒什么的,目前门槛还有点高,但未来也不一定,万一象 3d 打印一样在家也能搞了呢
    FaustY
        11
    FaustY  
       19h 20m ago
    参考动漫《心理测量者》,核弹连意识也没有,但也能毁灭人类。
    火药能放烟花也能搞屠杀。
    工具的危险在于它的破坏力上限,现实世界,AI 连可怜的机器人三原则都不能 100% 遵守,底线总能被越狱不是 。
    datocp
        12
    datocp  
       18h 59m ago
    新闻里有宇树机器人,按定位应该是个街头机器人巡警,能跳能跑,外国用它来驱赶街头野生动物。小时候那电影叫啥来着,终结者。一看送外卖都被抢了。
    一直以为机器人的手部不行,可是人家的机器人能在工厂里做衣服。。。

    人类以后是不是智商比不过 AI ,体力活干不过机器人,还靠什么赚钱生存。还要被机器人抓捕。科幻片都成现实了。以后无家可归的人组成反机器人反 AI 同盟嘛,专门搞破坏。。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   939 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 22:41 · PVG 06:41 · LAX 15:41 · JFK 18:41
    ♥ Do have faith in what you're doing.