Home Sign Up Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
oblivion
V2EX  ›  程序员

亲手造成的运维事故：在 Live CD 环境下部署并运行了 8 个月

  oblivion · Sep 18, 2023 · 40937 views
This topic created in 1145 days ago, the information mentioned may be changed or developed.
前情提要：今年春节时去部署了一套内部系统，访问量不大，加上临近春节协调资源难，就先单机部署了，
对方提供的是 H3C 的物理机，准备安装 Ubuntu 系统，对运维要求带桌面安装，
中途被电话打断，回到机器旁边看到已经在 Ubuntu 桌面了以为对方运维帮装好了，
于是直接部署好了我们的系统，测试没问题就离开了，后面也一直相安无事，没出过什么问题。

直到昨天晚上组里同事去给他们更新部署，由于各种巧合提示磁盘空间不足，于是各种操作后给重启了机器，
发现.....进 Live CD 桌面，目录是空的，重启弹出光盘，提示找不到启动磁盘，
通宵一夜后就在刚刚给我打来了电话，我：？？？？
各种记忆恢复术后想起来，当时 Ubuntu 压根就没装进硬盘啊？

由于是单机部署，暂时没想到能恢复数据的方法...
  • Ubuntu
  • 部署
  • 运维
  • 桌面
    176 replies  •  2024-07-07 15:30:54 +08:00
    1  2  
    ❮ ❯
    realpg
    realpg
    Sep 18, 2023
    101
    @davidyin #9
    国产化的服务器系统甚至不能没有桌面
    资源紧张想不要桌面都不行
    jfcherng
    jfcherng
    Sep 18, 2023
    102
    重啟治百病 藥到命除
    fengpan567
    fengpan567
    Sep 18, 2023
    103
    卧龙凤雏，为啥不 df 看下空间占用
    Iamsonny
    Iamsonny
    Sep 18, 2023
    104
    好奇，live cd 环境下，你的应用程序是怎么部署成功。。。
    raptor
    raptor
    Sep 18, 2023
    105
    系统装完直接部署？

    难道不是应该 update&upgrade 一下再重启后部署么？
    cheng6563
    cheng6563
    Sep 18, 2023
    106
    @Iamsonny live cd 环境，其实就是把/挂到内存里，只要内存不满的话该干嘛干嘛。。
    yyzh
    yyzh
    Sep 18, 2023
    107
    @raptor 新版 ubuntu 在更新完后会提示重启受影响的服务来达到不用重启就能完成更新.
    Jirajine
    Jirajine
    Sep 18, 2023 via Android❤️1
    108
    这让我想起了自己服务器一些临时服务懒得写服务脚本，开个 tmux 终端命令行直接跑然后 detach ，就这样服务器运行 1 年多没重启过积累了好多临时服务，某天意外断电重启后已经忘了要跑哪些服务了😂
    cat9life
    cat9life
    Sep 18, 2023
    109
    这也太 6 了吧 6 到停不下来
    raptor
    raptor
    Sep 18, 2023
    110
    @yyzh 我信不过这种，都是重启一次系统。
    c2const
    c2const
    Sep 18, 2023
    111
    谢谢你，让我今天有了好心情 :)
    guoyuchuan
    guoyuchuan
    Sep 18, 2023
    112
    6 啊
    rebecca554owen
    rebecca554owen
    Sep 18, 2023 via Android
    113
    应了那句话，能用了就别动。
    whitehack
    whitehack
    Sep 18, 2023
    114
    ubuntu 20.04 和 22.04, 有个自动更新服务. 前几天自动更新.把我 mysql 重启了. 我承认我菜.
    Senorsen
    Senorsen
    Sep 18, 2023
    115
    nba... 带桌面安装已经很奇葩了，难道安装时 apt update 不会看到有 livecd 的源，用 terminal 部署不是会注意到主机名和 username 有 livecd 的痕迹么。。。
    更何况看起来你们是传统部署（非 K8s/容器），一般不是应该看看系统重启后，服务能否自行恢复启动么？（不过确实也难说，大学时某外包公司给我校部署的某系统就是开个 terminal ./start.sh 跑的，nohup 都没有，更别说 service 。“稳定”运行半年后，机房双路供电异常重启，服务就挂了）
    IamUNICODE
    IamUNICODE
    Sep 18, 2023
    116
    怎么做到的，震惊。。
    epiccheese
    epiccheese
    Sep 18, 2023
    117
    噗。。。对不起。。。我忍不住笑出声了（手动狗头.jpg
    eatgrass
    eatgrass
    Sep 18, 2023
    118
    为啥不用老毛桃 windows pe 呢
    PrinceofInj
    PrinceofInj
    Sep 18, 2023
    119
    不行，我今天的功德没了，但还是请允许我笑一会儿
    hyzjshwo
    hyzjshwo
    Sep 18, 2023
    120
    看对面也不怎么会 linux 运营吧？硬盘不足折腾不行就用万能重启法？把锅甩给对面，说 linux 系统不能随便
    lloovve
    lloovve
    Sep 18, 2023 via iPhone
    121
    @msg7086 那么重启前会不会备份？
    ih8es9OIzne0959p
    ih8es9OIzne0959p
    Sep 18, 2023
    122
    属实牛逼
    jimmyczm
    jimmyczm
    Sep 18, 2023
    123
    你用 PE 还能挂载硬盘
    adoal
    adoal
    Sep 18, 2023❤️4
    124
    我的习惯：业务系统部署完之后一定要把涉及到的服务器都重启一遍还是否可以无人工介入的情况下正常服务。
    allgy
    allgy
    Sep 18, 2023
    125
    linux to go
    tf2
    tf2
    Sep 18, 2023
    126
    @adoal 这真是个好习惯
    bugmaker1024
    bugmaker1024
    Sep 18, 2023
    127
    稳！
    ding2dong
    ding2dong
    Sep 18, 2023
    128
    连夜提桶跑路
    7lQM1uTy635LOmbu
    7lQM1uTy635LOmbu
    Sep 18, 2023
    129
    #124 然后发现机器上原有的服务炸了，寄
    paranoiagu
    paranoiagu
    Sep 18, 2023 via Android
    130
    忽然想到是不是应该提供一个带 docker 引擎的 live cd ，然后启动后，运行容器，数据持久化到硬盘。硬盘就干干净净，只要数据。😄😄😄
    zlhsvc
    zlhsvc
    Sep 18, 2023
    131
    这锅得甩给对方运维，这几个月了居然没发现
    hostname
    hostname
    Sep 18, 2023 via Android
    132
    这八个月没巡检过吗😂
    skadi
    skadi
    Sep 18, 2023
    133
    install ubuntu
    bao3
    bao3
    Sep 18, 2023 via iPhone
    134
    我觉得你们的人也有责任，即使我自己家里的 N5105 小主机，我要更新前，也是用 tar 把目录备份，copy 到 U 盘里。当然也需要有良好的习惯，比如我所有的配置都放在 /srv ，只备份它就行。
你们的人，居然不做备份，直接重启，也是要负责任的。
    suxixi
    suxixi
    Sep 18, 2023
    135
    自爆
    SuperMaxine
    SuperMaxine
    Sep 18, 2023 via Android
    136
    @paranoiagu 讲道理你说的这不是 unraid 么，系统就在 U 盘里，磁盘阵列每块硬盘单独拿出来在别的电脑上都能正常读写
    wdlth
    wdlth
    Sep 18, 2023
    137
    安装完的时候不升级组件、内核那些再重启的么？
    yadiman
    yadiman
    Sep 18, 2023 via iPhone
    138
    作为 incident followup, 可以去 ubuntu 提 issue, 建议 live cd 环境下，每隔 24 小时弹窗警告。
    dxppp
    dxppp
    Sep 19, 2023
    139
    慕名而来
    yunweier
    yunweier
    Sep 19, 2023❤️1
    140
    生产至少两个副本吧，两个 live cd ，重启一个还有另一个
    laminux29
    laminux29
    Sep 19, 2023
    141
    1.难，就先 XXX ，这才是最大的问题，本质是贪了。难就不应该急着去处理，先把难点解决了再说。

    2.Live CD 好好规划，当成生产其实问题不大。但问题是，你们没好好规划。
    simo
    simo
    Sep 19, 2023
    142
    刚经历过一场事故，恢复数据，那叫一个痛啊
    mikewang
    mikewang
    Sep 19, 2023
    143
    你们就没有人尝试过取下光盘吗？还是说光驱就一直挂在服务器上没管，也真行。

    LiveCD 拔下光驱没多久就会报错了，因为它不像 WinPE 那样一次性加载到内存，而只是缓存部分。

    LiveCD 部署环境我也干过，是测试环境，机器紧张硬盘又被借走了。内存 500G+，LiveCD 上装个 docker 直接无盘跑测试了。就是因为这个我知道 LiveCD 卸载光盘就会报错的。
    MareDevi
    MareDevi
    Sep 19, 2023 via iPhone
    144
    笑死了
    msg7086
    msg7086
    Sep 19, 2023
    145
    @lloovve 重启前应该至少备份了 8 次了（茶）
    dayeye2006199
    dayeye2006199
    Sep 19, 2023
    146
    服务器带 UI 就不太合理。。
    chutsetien
    chutsetien
    Sep 19, 2023
    147
    @kingfalse 现在看出来 Windows PE 的 72 小时强制重启的作用了 ;)
    event112
    event112
    Sep 19, 2023
    148
    看笑了
    louisxxx
    louisxxx
    Sep 19, 2023 via iPhone
    149
    我记得 Live CD 是把内存挂载当磁盘用。重启就没有了
    yc8332
    yc8332
    Sep 19, 2023
    150
    live cd 和普通的差别还是很大的吧
    nxforce
    nxforce
    Sep 19, 2023
    151
    Linux 带桌面反而会降低系统稳定性。
    lomomcat
    lomomcat
    Sep 19, 2023 via Android
    152
    甲方实在不行至少请个考过 RHCSA 证书的人，考过就行，不需要拿到证书，而不是请这种出了运维事故还跑到 v 站炫耀自己穿开裆裤的人
    CC11001100
    CC11001100
    Sep 19, 2023
    153
    @lomomcat 还好吧，相比成功经验很多失败经验启发更大，op 愿意分享沙雕经历给大家开开眼挺好的 😂
    aapeli
    aapeli
    Sep 19, 2023
    154
    首先：
    1. 人类总是会出错的，难以避免的
    2. 你们需要一个自动化的装机系统 ，用来初始化操作系统, 自动处理相关流程
    marc2017
    marc2017
    Sep 19, 2023
    155
    have you tried turning it off and on again?
    onesec
    onesec
    Sep 19, 2023
    156
    磁盘空间不足就重启？ 这是正常运维干的事情吗？至少看看哪里空间占用大吧？ 这不马上发现系统不对劲吗？
    只能说不要太相信所谓友商的运维，可能他们平时就是关机重启的维护人员
    NoKey
    NoKey
    Sep 19, 2023
    157
    对方运维会不会来这里看到这个，然后，恍然大悟~
    JensenQian
    JensenQian
    Sep 19, 2023
    158
    这怎么跑了八个月都没挂的
    jadelike
    jadelike
    Sep 19, 2023
    159
    牛逼，回帖留个纪念，见证历史了
    x86
    x86
    Sep 19, 2023
    160
    我装个虚拟机都要重启完再拍个快照，你这都不带重启确保完整的
    zuijiapangzi
    zuijiapangzi
    Sep 19, 2023
    161
    物理机，不用做优化重启的吗？
    iseki
    iseki
    Sep 19, 2023 via Android
    162
    这么一看，Windows PE 每过一段时间就自动重启，还是挺科学的
    sc2yml
    sc2yml
    Sep 19, 2023
    163
    正常物理服务器交付，系统安装好后应该做安全加固，安全加固完成需要重启服务器后检查加固项是否完成
    yulihao
    yulihao
    Sep 20, 2023 via iPhone
    164
    多少有点离谱了🥲
    LiveCD 下居然能正常跑 8 个月
    NoahBishop
    NoahBishop
    Sep 20, 2023 via Android
    165
    太抽象了
    LindsayZhou
    LindsayZhou
    Sep 20, 2023
    166
    @mikewang #143
    应该是要看情况吧。如果我没记错的话，内核启动参数里加个 toram ，会全部加载到内存里跑，弹出介质也是没事的。

    Alpine 那边甚至有个 diskless 模式，就是 OP 这种玩法。虽然文档没有明确提及可不可以，不过我觉得移除介质也没什么问题。
    yagamil
    yagamil
    Sep 20, 2023
    167
    live cd 真的是用 CD 盘么?

    我自己一直都是烧录到 u 盘里面的.

    有时候配置下,内容还可以写入到 u 盘, 所谓的 u 盘口袋系统
    mikewang
    mikewang
    Sep 20, 2023
    168
    @LindsayZhou 是的，不过那个得开机时手动输进去，或者是特制的 Live CD ，默认是关闭的。这种特意去指定的情况下，基本上不可能是误操作了吧，哈哈。
    LindsayZhou
    LindsayZhou
    Sep 20, 2023
    169
    @mikewang #168 前一阵子在 archcn 看到过，又说 arch 启动的时候会
    LindsayZhou
    LindsayZhou
    Sep 20, 2023
    170
    @mikewang #168 前一阵子在 archcn 看到过，又说 arch 的 liveos 启动的时候会去查内存大小，足够大的时候会全部加载到内存。
    其他发行版就不知道了。

    以前公司装系统是用 pxe 装的，如果是这样的话，一直开着倒也正常。
    LindsayZhou
    LindsayZhou
    Sep 20, 2023
    171
    @LindsayZhou #170 刚换 alice 阵列键盘在试手，有些不熟悉，错字有些多，见谅。
    mikewang
    mikewang
    Sep 20, 2023
    172
    @LindsayZhou #170 了解了，感谢科普~
    crc8
    crc8
    Sep 21, 2023
    173
    服务器系统，LiveCD? 带桌面安装是什么意思？服务器系统是先有 CLI 再安装桌面系统的啊，如何带桌面安装？

    除非用的 Desktop-LiveCD ，要不然现在哪个发行版的 Server 系统可以带桌面安装，Server-LiveCD?
    jsonsong
    jsonsong
    Nov 9, 2023
    174
    难以理解
    空间不足不应该第一反应 df 或者 lsblk 吗
    随便一看都能看出问题啊
    责任两边五五分
    但离谱程度,还是重启系统的人更离谱
    noahhhh
    noahhhh
    Jan 16, 2024 via Android
    175
    啥情况，重点开楼主怎么被夹了
    xys7326
    xys7326
    Jul 7, 2024
    176
    livecd 也是一种 serverless （ x
    1  2  
    ❮ ❯
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2282 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 127ms · UTC 12:15 · PVG 20:15 · LAX 04:15 · JFK 07:15
    ♥ Do have faith in what you're doing.