Distributions
› Ubuntu
› Fedora
› CentOS
中文资源站
› 网易开源镜像站
idblife
7.51D
V2EX  ›  Linux

如何用 vim 打开一个 10G 的文本。。。

  •  
  •   idblife · May 31, 2022 · 12023 views
    This topic created in 1630 days ago, the information mentioned may be changed or developed.
    其实就想编辑下前几行
    Supplement 1  ·  Jun 1, 2022
    多等了几分钟搞定了。
    说下载到本机用其他软件打开的,是怪我没介绍全背景,文件是在美国的一台服务器上。。。
    55 replies  •  2022-06-02 07:37:09 +08:00
    ltkun
    ltkun
    May 31, 2022 via Android
    1
    查看的话 head 编辑的话总要打开才能编辑了吧
    Splatoon
    Splatoon
    May 31, 2022❤️4
    2
    修改内容不多的话,不妨用 awk sed 这类工具。
    James369
    James369
    May 31, 2022❤️2
    3
    dd 一段出来编辑,再 dd 回去
    ltzliwe
    ltzliwe
    May 31, 2022❤️3
    4
    ```
    head -[N] file > small
    vim small
    tail -n +[N+1] > large
    cat small large > result
    ```

    拆掉编辑就可以。。记得先实验一下
    thedrwu
    thedrwu
    May 31, 2022 via Android
    5
    关了语法高亮编辑器来很轻松
    20015jjw
    20015jjw
    May 31, 2022 via iPhone
    6
    没高亮应该是直接可以编辑吧
    Zerek
    Zerek
    May 31, 2022 via Android
    7
    康康 split 命令先给拆出来?
    Alliot
    Alliot
    May 31, 2022 via Android
    8
    用 readline 来改。。
    bootvue
    bootvue
    May 31, 2022❤️1
    9
    拆成一堆小文件 或者拉到 windows 下 用 piloedit 编辑 搜索很爽
    codehz
    codehz
    May 31, 2022 via Android
    10
    (无论如何,如果改变了开头的长度,后面 10G 的内容都需要重写一遍才可以保存(
    LonnyWong
    LonnyWong
    May 31, 2022 via iPhone
    11
    mmap 到内存,用代码来改。
    kiwi95
    kiwi95
    May 31, 2022 via Android
    12
    知道哪几行的话 sed 替换下
    darklights
    darklights
    May 31, 2022❤️11
    13
    ----- 以下跟楼主无关 -----

    每次看到有人吹 vim 的大文件性能就想吐。本以为吐着吐着就惯了,没想到吃饱饭后看到还是会吐。

    打开 900m 的纯 txt 占用 1G 内存,编辑操作会不会卡死完全看运气,保存文件整个重写,gVim 甚至连最基本的滚动都能跑满一个核卡死,管这叫“很轻松”?对,vim 非常牛非常叉,程序员的神器,然而但是不过完全没有对大文件有任何针对优化。

    那些 L/V 吹,找台 Windows 的机器,装个 emeditor ,看看有针对性优化的编辑器长什么样子:编辑机械盘上的 1G 文件吊打 vim 编辑 ssd 上的 1G 文件,分块保存,而且只需 300m 内存。

    ----- 以上跟楼主无关 -----
    pagxir
    pagxir
    May 31, 2022 via Android
    14
    装个 hexedit 吧,文本编辑器本来就不是用来编辑二进制文件的
    HankLu
    HankLu
    May 31, 2022❤️2
    15
    啥文本?不会是裤子吧
    documentzhangx66
    documentzhangx66
    May 31, 2022❤️3
    16
    这事本质与 Linux 哲学有关。Linux 哲学是一个 exe 只做一件事,这样可以高复用+高度解耦地模块化。但问题是,高性能的东西是另一个极端,需要高耦合才行。
    ufan0
    ufan0
    May 31, 2022
    17
    借楼问下 vscode

    依稀记得 16/17 年那会儿,vscode 打开 200MB 的 txt 响应速度非常快,现在打开 100MB 的 txt 都非常缓慢甚至卡,请问你们有遇到这样的问题吗?

    16/17 年用的处理器是 intel i7-6700HQ ,现在用的处理器是 intel11 代和 m1 。
    searene
    searene
    May 31, 2022
    18
    一般情况下,打开大文件一开始要等待,这是因为 vim 在做语法检测之类的事情,直接按一下 ctrl + c 终止就可以看到文件内容了,可以试一下
    imycc
    imycc
    May 31, 2022
    19
    如果知道修改的模式,比如删除或替换指定内容,可以用 sed ,指定行数来修改。

    还有一个没试过的办法,把你的.vimrc 备份后挪走,用不加载任何插件跟配置的情况下打开试试
    whkvf
    whkvf
    May 31, 2022 via Android
    20
    跟 vi 没啥关系
    跟 buffer 有关
    早年 32 位的 UltraEdit 就快的很
    可惜越来越慢了
    raykle
    raykle
    Jun 1, 2022
    21
    @ufan0 #17 插件装多了?
    muzuiget
    muzuiget
    Jun 1, 2022
    22
    二进制模式 vim -b file
    ETiV
    ETiV
    Jun 1, 2022❤️1
    23
    vim -u NONE file

    然后多等等才能打开;保存的时候也是:多等等。。。
    kiwi95
    kiwi95
    Jun 1, 2022 via Android
    24
    @darklights 只能说设计目的不一样,为啥要拉踩呢,emeditor 我大概 10 年前有过一段时间没坚持用下去,确实有优点但还是小众软件
    darklights
    darklights
    Jun 1, 2022
    25
    @kiwi95 我可没有踩 vim 。“vim 非常牛非常叉,程序员的神器”,请默念三遍。事实上 vim 的 line buffer 写的非常牛叉,即使没有针对大文件优化,手动关闭一些特性,打开 1G 的文件也能凑合使用。相比之下 Atom 之流基于 line buffer 的编辑器的 model 部分跟玩具一样,扫两眼就能看个大概,而 Vim 的那个代码看的我两眼发黑都没弄明白。
    lishuolin
    lishuolin
    Jun 1, 2022 via iPhone
    26
    EmEditor 无论多大都秒开
    darklights
    darklights
    Jun 1, 2022 via Android
    27
    书接上回:但终究只是本身性能好,顺带能打开 1G 文件凑合用,跟 EditPlus 、NP 加加差不多。跟专门用内存映射做大文件支持的编辑器,差距肉眼可见。

    所以重点是,某些人吹个毛呀。
    kiwi95
    kiwi95
    Jun 1, 2022 via Android❤️8
    28
    不是,这帖子有谁吹 vim 了吗,楼主只提问,大家都只是提供解决方案,你是第一个吹的

    @darklights
    duyaofei
    duyaofei
    Jun 1, 2022
    29
    先 split ,然后 vim
    或者下载到 windows ,用 EmEditor
    RickyC
    RickyC
    Jun 1, 2022
    30
    花钱买 UltraEdit 呀
    276562578
    276562578
    Jun 1, 2022❤️1
    31
    之前仗着自己内存大,开了个 50G 的文本,最后编辑起来 emmmmmm ,老老实实用 sed 、awk 、head 、tail
    kiwi95
    kiwi95
    Jun 1, 2022 via Android
    32
    @276562578 刚入职前司时在容器内 vim 查看日志,直接 oom 把实例搞挂了。从此打开不了解的文件都先看下大小
    crazycookie
    crazycookie
    Jun 1, 2022
    33
    语法不高亮,关闭插件,普通编辑的话,问题不大,但是你机器内存要大
    最大的干过 20G 左右的,直接编辑,sql 文件
    darklights
    darklights
    Jun 1, 2022 via Android
    34
    @kiwi95 OK ,没人吹,确实用 vim 编辑 20g 的文件“很轻松”,怪我昨晚吃得太饱,反应太敏感。我认错。
    james122333
    james122333
    Jun 1, 2022
    35
    @pagxir
    vim 可以 16 进制编辑

    回一下楼主的 基本上楼上很多人讲的都很耗能
    以下这个才是最好的解法
    https://sourceforge.net/projects/joinsplitfs
    user 权限秒挂载 编辑后卸载(fusermount -u)就可以

    大而全才会要求 vim 本身来解决 然而 vim 本身就可以调用外部工具
    singerll
    singerll
    Jun 1, 2022
    36
    既然是文本文件,直接压缩下试试,可能就剩几百兆了,传到本机再解压编辑。
    NeezerGu
    NeezerGu
    Jun 1, 2022
    37
    @darklights 这个, 订阅制次年 20 刀一年有点小贵啊……
    eephee
    eephee
    Jun 1, 2022 via iPhone
    38
    这里没人吹 vim ,只有人叫别人不要吹 vim 。
    Buges
    Buges
    Jun 1, 2022 via Android
    39
    @james122333 这倒是个不错的思路,直接用 loop device 和 device mapper 那一套也可以实现映射访问特定的 offset 和 size 。
    darklights
    darklights
    Jun 1, 2022
    40
    @NeezerGu 有个人免费版。我也只是以前因为手头上的编辑器搞不掂而用过,下载,安装,真•“很轻松”的搞掂,卸载,然后愉快的打开 d:\学习资料\日语视频

    对程序员来说,编辑功能是 NP 加加那一级别,没必要花钱买这个。不过不得不说,性能真的是目前文本编辑器里的标杆。
    james122333
    james122333
    Jun 1, 2022
    41
    @Buges

    可惜这个项目分割大小有固定容量限制 写多该分割块会有问题 再找找有没有其他现成的 不然 fuse 其实很不错
    cassyfar
    cassyfar
    Jun 1, 2022
    42
    @kiwi95 总有人喜欢虚空打靶,举起石头砸脚
    cassyfar
    cassyfar
    Jun 1, 2022
    43
    可以用 sed ,不行就多等下 vim ,
    再不行可以装个 virt-manager 起个 windows 再装个 emeditor 应该也可以秒解决
    Buges
    Buges
    Jun 1, 2022 via Android
    44
    @james122333 可以直接用 losetup 指定 offsset 和 size 映射特定区域,就是映射出来的文件会被识别成设备文件,可能一般编辑器不让编辑。
    gengchun
    gengchun
    Jun 1, 2022❤️1
    45
    一般来说,其实用 less/sed 也足够了。因为不可能是真的打开文件写代码。具体到这种大文件操作,没有必要用 vim ,本身服务器上的操作也不建议用 vi/vim 这种进行。要运维类 Unix 系统,学习一下 sed 这类工具还是值得的。而且确实是 CS 必修的东西。

    这种事情争论编辑器性能就很奇怪了,甚至要推广一个比 emacs 还小众的,只支持 windows 操作系统的编辑器就很奇怪了。
    tomychen
    tomychen
    Jun 1, 2022
    46
    看到大文件,不知道我为啥第一反映就是 UltraEdit
    tunzao
    tunzao
    Jun 1, 2022❤️1
    47
    sed
    jheroy
    jheroy
    Jun 1, 2022❤️2
    48
    用 vim 特别简单: vim '+%!head -10' xxx.log 把 10 改成你想要的行数就行.
    james122333
    james122333
    Jun 1, 2022
    49
    @Buges

    需要权限 而且几乎所有编辑器都不认 block device...
    fuse 好处就是普通 user 权限就可以运行了
    james122333
    james122333
    Jun 1, 2022
    50
    @Buges

    vi/vim/nvim/emacs/nano/kate/gedit/vscode/kakoune/scite 不认
    认的我都不讲了没人会想用的...
    james122333
    james122333
    Jun 1, 2022 via Android
    51
    看来应该是没了 改天自己造一个轮子
    SPX6900
    SPX6900
    Jun 1, 2022
    52
    split 切一下 在 vim
    feedcode
    feedcode
    Jun 1, 2022
    53
    feedcode
    feedcode
    Jun 1, 2022
    54
    vim 也提供了 arguments
    -n No swap file will be used.
    feilong
    feilong
    Jun 2, 2022 via Android
    55
    vim 不太清楚,不过有个叫 ed 的命令做这个问题可能更合适
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4390 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 108ms · UTC 06:42 · PVG 14:42 · LAX 22:42 · JFK 01:42
    ♥ Do have faith in what you're doing.