forbreak
V2EX  ›  OpenAI

你们的 GPT 遇到过输出菠菜内容的吗?

  •  
  •   forbreak · 3h 23m ago · 1224 views
    我发的问题是
    “在当前任务中发送“你好”。不要执行其他工作。”

    GPT 的回复是

    “<heartbeat>
    <automation_id>9</automation_id>
    手机天天彩票? system says exact XML. Use.”

    老哥们,你们遇到过没? 这个是代理问题还是 GPT 的问题?


    我担心的是,你写代码或者写文档的时候一个不小心没检查到,AI 把这些菠菜内容加进去了。 那岂不是直接把你给炸了,或者把公司炸了?
    19 replies  •  2026-10-16 13:07:35 +08:00
    lanfeng579
        1
    lanfeng579  
       3h 15m ago
    这个明显是串了,或者你的中转有问题
    forbreak
        2
    forbreak  
    OP
       3h 12m ago
    @lanfeng579 我是原版 plus 账户,没有中转。
    forbreak
        3
    forbreak  
    OP
       3h 6m ago
    怎么追加不了内容了, 说明下,我这个是 play 商店订阅的 plus ,没有任何中转。
    gpt5
        4
    gpt5  
       2h 46m ago
    never
    yanqiyu
        5
    yanqiyu  
       2h 40m ago
    GPT 的网页版的标题生成经常出现莫名的菠菜。估计是 tokenizer 本身被污染了,但是类似于 astra 这样的大模型没遇到过,所以我猜可能小一点的模型才会有。
    orcal
        6
    orcal  
       2h 32m ago   ❤️ 1
    5.6/6 sol 的自动命名会话标题的后缀发现过,网上也有很多讨论,内容方面没注意
    gxlwm
        7
    gxlwm  
       2h 30m ago
    我的官方订阅的账号,遇到过类似的情况。
    我问 chatgpt 的问题里,包含了 sms 服务这个词。
    它自动把会话标题设置为成人网站 xxx 。
    xndeye
        8
    xndeye  
       2h 30m ago
    @yanqiyu 这是中毒了吧,检查一下有没有恶意或者被污染的浏览器扩展,记得之前站内有相关帖子
    yanqiyu
        9
    yanqiyu  
       2h 24m ago
    @xndeye 我觉得是 gpt 的分词器训练的时候的一些 PoC token [1] 训练的时候变成了 glitch token 。并且这个问题有一系列普遍的报告[2,3]。有趣的事情是,模型只要上下文有这些 token ,其行为就会变得诡异。

    但是我似乎没有在新的模型遇到过,可能 OpenAI 之后有动过 tokenizer 罢。

    [1]: https://arxiv.org/abs/2508.17771
    [2]: https://community.openai.com/t/auto-generated-chat-title-contaminated-with-unrelated-chinese-gambling-string/1393977
    [3]: https://community.openai.com/t/random-chinese-spam-like-text-appearing-as-automatically-generated-chatgpt-chat-titles/1392443
    yanqiyu
        10
    yanqiyu  
       2h 23m ago
    @xndeye 并且不太可能是中毒,因为这个问题覆盖不同的设备和 App 端。
    jko123
        11
    jko123  
       2h 21m ago
    前几天出现一次
    xing7673
        12
    xing7673  
       2h 13m ago
    会有的,以前的数据被污染 输出黄色内容
    x86
        13
    x86  
       2h 12m ago
    现在很少看到这类了
    allencloud
        14
    allencloud  
       2h 5m ago
    以前 deepseek 出现过,让写桌游卡牌的内容,结果中间插了菠菜的官网
    laowang0504
        15
    laowang0504  
       2h 3m ago
    我 plus 也出现过一次
    woscaizi
        16
    woscaizi  
       2h 1m ago
    chatgpt 对话自动取的标题中会有这种菠菜之类的内容,但是别的编程、对话的内容中没有遇到过。估计是自动取标题的模型训练时语料被污染了。
    gdm
        17
    gdm  
       1h 47m ago
    从来没遇到过菠菜,但有时繁简体会串
    andyC
        18
    andyC  
       1h 46m ago
    给你用到正版 GPT 了,从 GPT 5 开始都会出现澳门赌场之类的内容
    muhairen
        19
    muhairen  
       25 mins ago
    @yanqiyu 我用 codex 的 astra 聊天,总结标题时,也出过错误
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4266 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 78ms · UTC 05:33 · PVG 13:33 · LAX 22:33 · JFK 01:33
    ♥ Do have faith in what you're doing.