如题,刚刚试了一下用 Pandas.merge 内存炸了。
|
1
据说 pandas 的 merge 是专门优化过的算法,那是不是意味着就算我把数据导入数据库用 sql 来做内存也顶不住?
|
|
rrfengApr 28, 2018 via Android
2
什么样的数据什么样的 join ?这种肯定要根据具体情况优化了。
100w 也没有 16G 吧?一条多大? |
|
resulyApr 28, 2018
4
使用 chunk 试一下?
|
|
data2worldApr 28, 2018
5
上代码,谢谢
|