尝试走美国或者日本的主机建立代理，但是带宽还是不是很理想，不知道大家之前有处理过类似的问题，有可能走哪个国家主机借道快一点？
代理速度峰值 200k 。
迅雷本地直接下最快 1M ，但是之后要走定义同步（估计每 10 分钟 300M 这样），所以不大可能一直用迅雷搞。
代理速度峰值 200k 。
迅雷本地直接下最快 1M ，但是之后要走定义同步（估计每 10 分钟 300M 这样），所以不大可能一直用迅雷搞。
This topic created in 3618 days ago, the information mentioned may be changed or developed.
 |
shenxianDec 9, 2016
1
aria2 起十个进程下载？
|
 |
wxunm60tAn8bODGsDec 9, 2016 via iPhone
2
ftp 本身在日本，速度应该不慢，代理中转如果愿意给流量费可以试试 aws ，直连试试 QQ 旋风离线。
|
 |
3
拷贝到一个盘，寄回来，这样可能比较快
|
2
 |
kokutouDec 9, 2016 via Android
5
挂个线路牛逼的 ss 。。。
|
 |
6
@kokutou 有试过 ss ，但是 ss 在美国和日本速度都不理想
|
 |
7
日本主机 → Oneprovider 香港 → 国内移动线路
|
 |
geeksuDec 9, 2016
8
拷盘寄+1
|
 |
9
亚马逊 已经论证了，用卡车运数据其实更快。。。
|
|
10
@duobei 是在不行的话是打算这么弄～但是增量数据还是希望能够快点，不然 300*1024/200 > 10min
|
|
11
@shenxian 估计也是要下很久的～而且后续稳定链路也比较麻烦。
|
|
12
@Laynooor 多谢，一会弄个香港主机试试看。
|
|
ripeDec 9, 2016
13
接 7 楼
测试 IP ： 27.0.232.1 https://ooo.0o0.ooo/2016/12/09/584a2183e69f6.png |
 |
ericbizeDec 9, 2016
14
楼主不放心别人的话就自己先搞到香港，再跑去香港搬回来。放心的话就让外面的给带回来或者邮寄回来～～～
|
 |
yoke123Dec 9, 2016
15
我擦 3T 的数据 厉害啊 我的哥 开专线？
|
 |
firefox12Dec 9, 2016
16
3T 的数据 你应该考虑 数据一致性的修复和验证。
|
|
ericbizeDec 9, 2016
17
阿里云隧道打通（国内国外各一台），包带宽？
|
 |
cc930415Dec 9, 2016
18
如果是企业宽带可以问下是否有外网加速服务（电信精品网，联通企业都有，每个月要加钱）
个人的话可以尝试用微林转发加速走 NTT 线路， 20 元 /24G ，速度可达到 20M （ 2.5 ），但是流量费要 3K 了，可以试着问下客服？，而且根据以往经验，加密大流量会被 GFW 封端口。。。 |
 |
wenymediaDec 9, 2016 via Android
19
3T … 飞日本自取可能都比下载快… 两小时航程 往返撑死 3 天
|
|
20
@yoke123 科研数据～体积比较大
|
 |
21
永远不要低估满载硬盘的卡车的带宽
|
|
22
@firefox12 首先多谢提醒。多文件一共 3T ，单文件本身有做压缩，而且文件格式比较特殊，破坏了估计是打不开的。
|
|
23
@mcfog 哈哈，这个新闻我也看到了
|
 |
debiannDec 9, 2016
24
300M/10minute 的话速度是 4Mbps ，用阿里云开固定带宽可以胜任，长期用也没问题。
问题是初始的 3T 。 用美国慢，忽略。 用日本，有快的，但短时间内 3T 流量，容易被停机。 所以还是赶阿里云国际版的末班车下载一波。 |
 |
sfree2005Dec 9, 2016 via iPhone
25
虽然不知道你的应用场景 但是不是这 3T 一定要拉到本地？如果要做各种分析 能不能直接就在外面另外弄个服务器在上面处理？
|
 |
zxyDec 9, 2016
26
你开个 kcp ，我来帮你试试
|
 |
d7101120120Dec 9, 2016
27
如果条件允许，办一个移动宽带，便宜方便快速专门用来做数据隧道。
|
 |
DesignerSkylineDec 9, 2016
28
基因数据吗？这么大。。
|
 |
29
移动宽带+1
wget 单线程下载 Linode 东京节点测速文件 2016-12-09 11:42:01 (3.83 MB/s) - ‘ 100MB-tokyo.bin ’ saved [104857600/104857600] axel 4 线程的话是这个速度 Downloaded 100.0 megabytes in 19 seconds. (5170.48 KB/s) 基本上跑满 50M 带宽 |
|
30
@DesignerSkyline netcdf 格式的，多维度气象数据
|
 |
goodbestDec 9, 2016
31
科研数据走 cernet ipv6 嘛，速度会很快的。
|
 |
jeocatDec 9, 2016
32
找个日本朋友下载这个数据装进硬盘再寄过来～
|
|
goodbestDec 9, 2016
33
各位可能还忽略了一个问题：
既然这么大的数据，难道那个 FTP 自身就不限速么？ |
 |
cedaredDec 9, 2016
34
微林
|
 |
techmoeDec 9, 2016 via Android
35
在不考虑数据安全性的情况下，可以尝试使用 PCS API 上传到百度云试试
|
 |
zzutmebwdDec 9, 2016
36
遇到这类问题全部无脑推荐 btsync 极快
|
 |
yulgangDec 9, 2016
37
要是用 Amazon S3 中转呢
|
 |
chousbDec 9, 2016
38
这种数据量，请考虑使用顺丰协议。
|
 |
cat9lifeDec 9, 2016
40
这么大数据想不到好办法...太快首先源服务器别拖垮了 ：）
|
|
41
@goodbest 在日本主机上下载基本可以跑慢百 M
|
 |
skylancerDec 9, 2016
42
老实说，你要速度的流量费足够你飞日本来回几次了
香港飞日本的廉价航班也就 4 500 港币 |
|
43
@cedared 由于资源有限，目前我们暂时无法更多的新用户提供服务。 >_<
|
 |
deadEggDec 9, 2016
44
走韩国把，有很棒的路线。
韩国网络非常快，如果走韩国的话你线路的瓶颈在于韩国到你这。应该可以到 10M 左右 |
 |
SequencerDec 9, 2016
45
然后 3t 文件分段
开十个 vultr 的最低配 都装上 btsync |
 |
imyipDec 9, 2016 via Android
46
BBR
|
 |
xzpjerry731Dec 9, 2016
47
@simapple 求链接或者搜索的姿势……偶尔能看到这个梗，一直找不到出处
|
 |
ActraceDec 9, 2016
48
楼主 3T 数据用微林 vxtrans 拉估计要破产。
还是老老实实做成 http 资源，然后用百度或者迅雷什么的离线拉吧。 |
 |
cloudbeyondDec 9, 2016
49
TsunamiUDP
|
 |
wclebbDec 9, 2016 via iPhone
50
@xzpjerry731 我刚搜到，亚马逊拉满 17 轮卡车。
|
 |
51
|
 |
misty8873Dec 9, 2016
52
直接让他们发硬盘吧。。。
|
 |
lynnworldDec 9, 2016
53
分成 1500 个 2g 的文件，分发到多个主机上，再分别下载。
|
 |
irainsoftDec 9, 2016
54
分卷加密压缩 再拉到一个邻居 windows 服务器上百度云吧...
其实最好的方式还是寄回来 |
 |
WyattDec 9, 2016 via Android
55
找个日本的主机装锐速或者新出的 BBR 当跳板，应该快很多
|
 |
RqPS6rhmP3Nyn3TmDec 9, 2016
56
迅雷离线……讲真
|
 |
57
正在同步 600G 左右的数据，只能跟 LZ 说，千万不要用 VPN, SS 之类的 GFW 没办法分析的协议。流量一大就 RESET 之，要么就断流。（谁跟我说 CN2 没干扰的_(:з」∠)_，量一大照样干扰的跟渣渣一样，各种 reset ，限速， QOS ）
我现在用的是 UDP 的 SS over KCPTUN + Aliyun HK ，初步稳定下来了，但是问题在于流量放大了两倍左右，不过挺稳定， LZ 可以试试 HTTP 代理。 |
 |
cydysmDec 9, 2016
59
大阪 speedtest 12Mbps
|
 |
mliilmDec 9, 2016 via Android
60
试试迅雷离线下载？
|
|
61
现在用日本阿里云 ECS 搭了个 ftp 反向代理，貌似快了很多，杭州本地通过反向代理的 ftp 下载可以到 3M/s ，之前是直接从阿里云国内 ECS 访问日本 ECS ，速度只有 200K/s
感谢 @Laynooor @d7101120120 @ctj 提醒我国内不同网络的差异性 |
|
62
@mliilm 这个试过，也不是很理想，而且文件个数很多，添加比较麻烦。
|
|
63
@BXIA 这个试过，也不是很理想，而且文件个数很多，添加比较麻烦。
|
|
64
@ovear 感谢分享经验，看来刚才断掉是被 reset 掉了。
|
 |
springxDec 9, 2016
65
@zhuzhe1983 科研数据不可以走 ipv6 吗，直接 1000M 起飞啊
|
|
ovearDec 9, 2016
66
@zhuzhe1983 刚才看了下， UDP 流量被全掐了，中断了。。看来还是要找个自带重传的软件比较靠谱，我这文件数目也好多，不适合做成 http ，不然直接打包就好了。
lz 找到好方法了记得 @我下哈~，我继续研究怎么传了_(:з」∠)_ |
 |
wataraDec 9, 2016
67
@zhuzhe1983 个人情况。。。我用日本代理下载日本网盘差不多 8M/s ，可能联通线路连日本比较好
|
|
springxDec 9, 2016
68
如果楼主能接入 ipv6 的话，在日本部署个大带宽的双栈主机做转发，应该可以稳定跑满速。
|
|
69
@springx 但是我们不是教育网啊，普通 IT 公司如何接入呢～
|
 |
AsisADec 9, 2016
70
在数据量过大、网络不好的时候，发硬盘确实是个可行的办法， AWS 现在都提供邮寄硬盘的服务了...
|
 |
postliveDec 9, 2016 via Android
71
随便找个阿里 B 的梯子 200mbps 跑满 就看 FTP 主机的带宽了 要不开个 VPS 从 VPS 上往下拖
|
 |
nikubenkiDec 9, 2016
72
老司机开车吗
|
 |
akwIXDec 9, 2016
73
亚太地区的流量很贵的，单向计费的那 3TB 多点，双向计费的得 6TB+的流量呢
你还是寄硬盘吧 |
 |
ppwangsDec 9, 2016
74
200k 算你 10 个线程， 2mb/s ，一天 168.75 Gb ， 3T 数据大概 18 天。
我觉得拷到硬盘寄回来可能还要快一点，而且不丢包 |
 |
PeterDDec 9, 2016
75
试试 aget
pip3 install aget $ aget url -s 100 -s N N 是并发下载个数 |
 |
Gran1987Dec 9, 2016 via iPhone
76
速度快还便宜的方法我觉得只有邮寄了，在日本找个网速给力的地方把数据拖下来几个小时，寄回中国最多四五天。
|
 |
ClarencepDec 9, 2016
77
|
 |
wdhwg001Dec 9, 2016
80
@ovear Resilio 。
文件分片√ 正确性验证√ 重传√ 可惜它仍然是加密的，且 GFW 不可识别。 如果想要 GFW 可识别的话，只能自己写脚本分片到 50M 以下，然后目标服务器在国内，备案，然后走 80 端口和 HTTP 协议，特征不给到这份上的话，估计这么大的东西无论怎么传都会被 GFW 当成加密数据的。 所以我更信赖装着硬盘的卡车。 |
 |
82
用迅雷，你胆真大。
我从服务器上 wget 下载的东西都加密的，你还敢用迅雷，他会免费给你保存 10 年滴。 |
 |
JJaicmkmyDec 9, 2016
83
坐飞机去日本，第二天带着硬盘飞回来，耗时大约 24 个小时，相当于 1000Gbps 的带宽，而且花费也才几千，我觉得这是最实惠的选择了。
|
 |
zhs227Dec 9, 2016
85
一定是买硬盘寄回来或者带回来比较快。
|
 |
damontianDec 9, 2016
86
最好还是拷在硬盘，加密后邮寄，数据太多太大，下载出错率也很高，到时候回来后用密钥解密再转移。
|
 |
abbatuuDec 9, 2016
87
上海到茨城 299 春秋是你不二之选
|
 |
happilylbDec 9, 2016 via Android
88
3T 得看到什么时候啊！！！
|
 |
fihtDec 9, 2016
89
不知道为什么这么纠结...
前段时间在数据海洋家下了 500G 的不可描述,走 v6 10M/S 也就是一晚上的事情啊..飞去日本就没必要了吧== 不然的话楼主你给我硬盘,我下载好了给你邮过去... |
 |
boterDec 9, 2016
90
其实我想说。。应该是最近的海底电缆有问题，楼主测试找找跳板即可
|
 |
oohDec 9, 2016
91
希望 lz 最后能结帖
|
 |
zanderDec 9, 2016
92
邮寄。
|
 |
g5Dec 9, 2016
93
京东下单多块 1T 硬盘，最好拷两份数据，走顺丰或人肉，七天内退硬盘。成本就哈哈了。。。。
|
 |
jhaohaiDec 9, 2016 via iPhone
94
在日本人肉下载然后顺丰回国内
|
 |
badcodeDec 10, 2016
95
楼主没有说时间这个前提
|
 |
luo362722353Dec 10, 2016 via Android
96
可以考虑 BT ，自建 tracker ，准备一台 seedbox ，从 seedbox 回传网盘，或者自动同步网盘…
|
 |
zhaoxiting1997Dec 10, 2016
97
开个移动宽带，多播跑满百兆，然后下载 3 天。。。或许你可以去看看移动的百兆光纤会不会提供千兆光猫，能多播到千兆。。。
|
 |
lzhrDec 10, 2016
98
卡车比光纤快 2333
|
 |
JamesMackerelDec 10, 2016 via Android
99
不是有一本书里面写过吗？
没有任何一根光纤的带宽，能够比得上一辆满载硬盘在高速公路上奔跑的卡车。 |
|
ericbizeDec 10, 2016
100
想起来一个不出境的办法，先下载到百度云，（实测在外面上传百度云并不慢），然后再国内下载回来。 以前同学爬虫的几百 G 数据我就是这样倒腾回国的。 但是我是人在国外， Linux 怎么实现上述操作我就不知道了。当然还有一个办法，运营商的缓存服务器～～～
|
Select Language