hanh1985

境外公共数据集搬运国内

  •  
  •   hanh1985 · 2 days ago · 1952 views
    想把境外的公共数据集(一般几百 G 一批)下载搬运到网盘上(比如百度网盘),搞了个海外的不限流量的 VPS,下载到 VPS 上再上传网盘,但是感觉这样有点亏硬盘空间(也探索过 alist 这样的方案)。有没有流式传输的方法,尽量减少对硬盘的占用。
    14 replies  •  2026-11-20 18:20:12 +08:00
    TrackBack
    TrackBack
    2 days ago
    1
    ramdisk?
    qilme
    qilme
    2 days ago
    2
    流式传输,那不就是梯子吗
    osilinka
    osilinka
    2 days ago
    3
    直接 huggingface 下载?
    UnluckyNinja
    UnluckyNinja
    1 day ago
    4
    这么大文件放网盘,那你一定有网盘会员吧,那直接离线下载不就好了,最多搭个反代,记得做下验证就行
    mytsing520
    mytsing520
    PRO
    1 day ago❤️1
    5
    传到对象存储,开全球加速,国内下载
    aimuz
    aimuz
    1 day ago
    6
    百度网盘有离线下载,在 VPS 弄一个 Nginx 反代。
    前提是你的 VPS 的网络不错。不然国内直接下载境外的公共数据集没啥区别
    hanh1985
    hanh1985
    OP
    1 day ago
    7
    @osilinka 不是 huggingface,主要是 NCBI 的测序数据
    hanh1985
    hanh1985
    OP
    1 day ago
    8
    @aimuz 谢谢,codex 也给了这个思路,我当时测试没有成功,后面再试试
    hanh1985
    hanh1985
    OP
    1 day ago
    9
    @mytsing520 这样费用是不是很高呀
    hanh1985
    hanh1985
    OP
    1 day ago
    10
    @UnluckyNinja 对的,百度网盘有会员,目前有 14T
    hanh1985
    hanh1985
    OP
    1 day ago
    11
    @qilme 但是不想和境内直接扯上关系,怕总是被封影响稳定,所以想着海外 VPS 就直接上传网盘了
    hanh1985
    hanh1985
    OP
    1 day ago
    12
    @TrackBack 这样是不是得内存大呀。现在只有小 vps,硬盘小,内存小,好处是不限流量
    mytsing520
    mytsing520
    PRO
    1 day ago
    13
    用完就删除就行了
    hanh1985
    hanh1985
    OP
    1 day ago
    14
    @mytsing520 测试下来真不错👍。实实在在做到了数据不落硬盘。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   946 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 23:04 · PVG 07:04 · LAX 15:04 · JFK 18:04
    ♥ Do have faith in what you're doing.