部门最近处理数据，从 IT 那里导出了 20G 的 txt 文件，但是不晓得怎么用。V 友萌给点建议撒~
This topic created in 3482 days ago, the information mentioned may be changed or developed.
 |
hcymk2May 3, 2017
1
没什么特殊要求,而且那个 txt 文件是 CSV 格式的话, 直接分割 20G 的 txt
http://stackoverflow.com/questions/23757991/maximum-number-of-rows-of-csv-data-in-excel-sheet |
 |
F281M6Dh8DXpD1g2May 3, 2017
2
导入了之后打算干啥?
|
 |
3
倒进去了也打不开……导进去干啥
|
1 |
954880786May 3, 2017 via iPhone
4
开两个文件指针，一边读一边写啊
|
 |
EmdeBoasMay 3, 2017
5
java nio MappredByteBuffer
|
 |
iyaozhenMay 3, 2017
6
导进去要干啥？
|
 |
andychen20121130May 3, 2017
7
一部分一部分处理啊。有什么难的
|
 |
lcattMay 3, 2017
8
excel 也不支持 20G 的数据量啊
|
 |
h4x3rotabMay 3, 2017
9
要是想分割还好说，不分割不大可能放进一个 excel 文件里
|
 |
xcodeghostMay 3, 2017
10
导入进去后，估计你打不开了。
|
 |
feng1234May 3, 2017
11
让 IT 那边给你们拆分
|
 |
jugeliziMay 3, 2017
12
你想用 excel 自带的分析工具。。。
|
 |
weipingMay 3, 2017
13
支持不了,学学 python, 处理下。
|
|
U7Q5tLAex2FI0o0gMay 3, 2017
14
我想说，IT 导出 txt 的时候为什么不按大小切割
|
 |
rssfMay 3, 2017 via iPhone
15
execl20g ？你觉得 execl 不会死还是咋地！倒数据库吧
|
 |
foxniMay 3, 2017
16
execl 有行数限制的好不，20G 的打不开，导进去也没用。
|
|
F281M6Dh8DXpD1g2May 3, 2017
17
正经的，楼主还是想办法把这 20g 数据倒进数据库吧，然后才好分析啥的
|
 |
bozongMay 3, 2017
18
有点挑战。。。
|
 |
lty1993May 3, 2017
19
买个 LibXL 然后 Parse TXT 一行一行插去 Excel。
|
 |
JackyBaoMay 3, 2017
20
我很想知道 Excel 打开 20G 的文件，会不会爆内存？
|
 |
EricInBjMay 3, 2017
21
直接改成 csv 后缀用 excel 打开
然而 excel 会罢工吧。。。 |
 |
TunarMay 3, 2017
23
boom ！
|
 |
SeptembersMay 3, 2017
24
@JackyBao 我 60G 的 CSV 喂 数据库什么事情都没发生
|
 |
25
下载了一个分割器，分成了几百个小文件...
主要是我不会用数据库啊（惭愧 谢谢谢谢各位的解答，谢谢。 |
 |
bytenoobMay 3, 2017
26
第一步：把冰箱门打开；第二步，把大象装进去；第三步：把冰箱门关上
|
 |
TinkMay 3, 2017
27
excel 也打不开
|
 |
xavier007May 3, 2017
28
导进去也打不开，还不如导入到 sqlite 或者其他数据库里
|
 |
29
excel 最多支持 1048576 行，导不完的。100M 的文件打开都慢的要死，弄个 mysql 处理吧
|
 |
araralorenMay 3, 2017
30
~~ execl 表示这锅我不背
自己写代码分批处理比较好吧，既然是数据处理 |
 |
jy02201949May 3, 2017
31
 建议导入到数据库里用吧，起码写个 select 分析分析还是可以的，放 EXCEL 你用啥系统、软件都玩不转 |
 |
icedxMay 3, 2017
32
Python -> .csv -> .xls
|
 |
johnWallMay 3, 2017
33
这个锅直接给 Hive 就好了吧。。逃
|
 |
lrh3321May 3, 2017
34
叫 IT 的给你 建个临时的数据库，把数据直接往里面导，20G 的 txt，转成 excel 你照样打不开
|
 |
35
难道不是先看看是什么格式的吗？
|
 |
im8aMay 3, 2017
36
python > csv > xls +1
代码一小时内写完然后 i3 跑个一天搞定 |
 |
tracyoneMay 3, 2017 via iPhone
37
先用正则表达式工具分析数据然后再倒入到 excel
|
 |
syhsyh9696May 3, 2017 via Android
38
Linux 下先 split 分割合适大小在搞，这样也太大了
|
 |
vexexvMay 3, 2017
39
会 sed 不？然后改一下文件后缀就成了，只是能打开 20G 的 excel 吗？
|
 |
whaleMay 3, 2017
41
一个数据文件 20G，还是 txt，遇到会很头痛！
|
 |
42
Python 读读快的
|
 |
vus520May 3, 2017
43
不应该是放到数据库或者 hadoop 中么
|
 |
GinsonMay 3, 2017
44
txt 用 shell 处理吧，比 excel 不知道高到哪里去了
|
 |
wanganjunMay 3, 2017 via iPhone
45
导到数据库吧，excel 是可以连接，读取数据库数据的
|
 |
46
你需要用 zepplin 然后用 csv 的库 把它读进去 查询就 select
|
 |
keenkillerMay 3, 2017
47
算了吧。。能导进去又怎么样，你有那么大的内存么……
|
 |
lanyMay 3, 2017
48
20G boom
|
 |
FunctionOneMay 3, 2017
49
所以说，不要收集太多数据……
|
 |
jyf007May 3, 2017 via Android
50
我做 it 也是用 jq 处理 json 改 csv，但是之中有过滤啊。
|
 |
fyMay 3, 2017
51
Excel 格式有一个限制是必须全部载入内存后才能打开。
所以说…… |
|
52
推荐个方案：本地安装 MySQL，客户端 WorkBench 导入数据和清洗数据，Tableau 连接数据库分析出图
|
 |
runntuuMay 3, 2017
53
长么大还没见过 20G 的 txt，表示想看。。
|
 |
zanderMay 3, 2017 via iPhone
54
try sql.
|
 |
dexterzzzMay 3, 2017
55
说 excel 100 多 w 行限制的根本不知道 excel 现在发展到什么地步了，去看看什么是 powerpivot，power bi。
|
 |
QuaintjadeMay 3, 2017 via Android
56
[IT 表示不想理你，并向你扔了条裤子]
[你接住了裤子，并开始纠结如何套到头上] |
 |
hahahasnoopyMay 3, 2017
57
@dexterzzz 居然 Excel 都能这样玩了，惊了
|
 |
rayray314May 4, 2017
58
Power Query + Power Pivot 可玩，Power BI 亦可。
|
 |
HuangLiboMay 4, 2017
59
还是用数据库吧...
|
 |
s7wordMay 4, 2017
61
20G txt?给 excel 它能吃的消？
|
 |
wuYinMay 4, 2017 via Android
62
大公司面试题既视感[doge]
|
 |
xpsairMay 4, 2017
63
excel 好像只能处理到 50W 行左右的数据，多了就会显示说只加载了一部分。
|
 |
ryd994May 4, 2017 via Android
64
excel 那么可怜，你为什么要这样欺负它？
|
 |
zhidianMay 4, 2017
66
我想吐槽了，如果一楼不对……你确定不是 csv 的文本 Excel 能知道怎么导入？是 csv 的话拆分起来不是 so easy ？
|
 |
RomanticlizhiMay 4, 2017
67
@dexterzzz 2003 一个 sheet 是 6w 多，2007 一个 sheet 是 100 多 w，这没毛病的
|
|
RomanticlizhiMay 4, 2017
68
@davidqw 是一个 sheet 支持这么多行，并不影响你多 sheet
|
 |
shizhourenMay 4, 2017
69
Python 是怎么读 txt 文档的，这算是机器学习吗？
|
 |
UnknownRMay 4, 2017
70
上次打开个几百 mb 的 log 都瞎眼，20G，那画面太美，不知道能不能打开，excel 的逻辑上限 2^20 行，也就是 100w 行多一点，而且你的内存最低要求也要 4 根插满的 8G，
|
 |
GoForce5500May 4, 2017
71
安利 Spark，写好 Parser 就可以开始统计了。
|
 |
changweiMay 4, 2017 via Android
72
想不到这个世界上怎么总会有一些奇奇怪怪的需求
|
 |
AlexhexMay 4, 2017
73
非码农。
之前我也处理过一些很大的实验数据。后来用 Python 手工把采样频率降到了原先的 1/10 （就是每 10 行抽一行），然后再导入 Excel 处理。 |
 |
Sh888May 4, 2017
74
SQL Server ETL
|
 |
75
@zhidian #66
不是 csv 只要有分隔就能导入啊 基本我导入的都是 txt 很少 csv @tairan2006 #47 您对 EXCEL 的认知还停留在 2007 吧……现在已经 2017 年了…… excel powerpivot, power query, power view 都是神器 |
 |
HGladIatorMay 4, 2017
76
喂猫不用 spark hadoop 什么的 专制各种大文件
|
 |
lilydjwgMay 4, 2017
77
导进去了也打不开……导进去干啥
|
|
davidqwMay 4, 2017
78
@Romanticlizhi 可以试下单 sheet 百万行 excel 的分析，不说处理速度和数据拆分衔接的问题，光软件日常崩溃就够喝一壶的
|
 |
yuedingwangjiMay 4, 2017
79
excel 肯定就读不了那么多的行
|
|
dexterzzzMay 4, 2017
80
一群不懂 excel 的人...( ＿ ＿)ノ｜
|
|
keenkillerMay 4, 2017
83
@realpg 搜了一下，长见识了…不过平时还是用 DB 用的多
|
 |
sampengMay 4, 2017
84
20G...普通的统计 shell 也能跑出来。其实并不多，20G 并不代表行数多。python 处理也比 excel 强啊。居然有人在 V2EX 问怎么扔 excel 里面。这很神奇啊。。难道不是怎么用 XXX 做计算之类的么。。不按套路出牌啊
|
 |
learnshareMay 4, 2017
85
20G Excel 不会炸么
|
 |
FelldeadbirdMay 4, 2017
86
几十 M 的 excel 已经打开慢了。。20G，不敢想象。
|
 |
elexMay 5, 2017
88
使用 csv,一边读一边写，存到 csv 再打卡就可以
|
 |
tjxjjMay 20, 2017
89
等 30 年差不多了。。。，到哪个时候计算机的性能差不多可以就打开了
|
Select Language