V2EX › kingmo888 的所有回复 › 第 17 页 / 共 23 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 9 10 11 12 13 14 15 16 17 18 ... 23

❮

❯

2017 年 3 月 22 日

回复了 lecher 创建的主题 › Tornado › pypy 拿到赞助之后出了支持 Python3.5 的版本

@mathgl 我这种技术渣渣，移植什么的向往但是，，，臣妾做不到啊。顶多昨个中文语言包什么的（ spyder ），付费，估计 windows 版本这是个大活。

2017 年 3 月 21 日

回复了 lecher 创建的主题 › Tornado › pypy 拿到赞助之后出了支持 Python3.5 的版本

@mathgl 我是 windows 用户。。貌似只有 linux 版本

2017 年 3 月 11 日

回复了 kingmo888 创建的主题 › MacBook Pro › 对于只会用 windows 的我来说，很好奇你们的 macbook pro 都用来干什么？

@weixiangzhe 你是 xps 几呀。装黑苹果的意义是啥。

2017 年 3 月 11 日

回复了 cnwtex 创建的主题 › 云计算 › 阿里云是涨价了吗？

@ylsc633 我勒个去。勾选已经禁用

2017 年 3 月 6 日

回复了 lecher 创建的主题 › Tornado › pypy 拿到赞助之后出了支持 Python3.5 的版本

@mathgl x86 也可以接受啊。只要是 pypy for py3.5 即可。。。

2017 年 3 月 6 日

回复了 lecher 创建的主题 › Tornado › pypy 拿到赞助之后出了支持 Python3.5 的版本

@lecher 请问有木有 windows 的？

2017 年 3 月 6 日

回复了 lecher 创建的主题 › Tornado › pypy 拿到赞助之后出了支持 Python3.5 的版本

@lecher 谢谢。我这是 windows 哈

2017 年 3 月 6 日

回复了 lecher 创建的主题 › Tornado › pypy 拿到赞助之后出了支持 Python3.5 的版本

没有找到 pypy for python3.5 的下载地址咧？

以前就听过 pypy ，也装过一次，但是貌似很难达到 anaconda 这种傻瓜式布置环境和模块的程度啊。
自己装模块的时候老是有问题。

2017 年 3 月 4 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 同时，我尝试了一下在 put 的时候指定 data_columns ，发现存储速度在下降，文件大小增加了将近一倍。

这种情况就很尴尬了。
每个 code 的数据单独存放，不用指明 index 和 data_columns 读取很快，可以读出来在内存里进行检索。唯一的问题就是通过 XX.keys()来获取所有表名会很慢。是否可以通过单独建一个表存放表名。嘿嘿。

所有 code 数据都存放到一个表里的话，为了检索，就必须使用 data_columns ，否则所有数据都读入内存的话既不科学又撑不住。

不知大神有什么好的思路？

2017 年 3 月 4 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 高手你好，我还有一个问题哈，就是存储的模式上，是所有数据都怼到一个表里好，还是分表保存（一个代码的数据一个表这种）

2017 年 3 月 3 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 那会报错吗？还是等待写入？如果报错的话，还是需要自己处理的哈，不然的话有的进程就写不进去了。

2017 年 3 月 3 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 是这样的，原始文件是大约 3000*255 个 csv 的股票订单数据，

多进程>>>

处理函数(文件路径)：
读入一个文件，
处理为分钟数据，
进程锁开
塞入 hdf5
进程锁关

2017 年 3 月 3 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 3Q ，确实问对地方了。
ptrepack --complib=zlib test_c4.h5 --complevel=9 out.h5
ok.

还发现了一个问题，请教一下，是不是数据越多，在 put 的时候就越慢？感觉效率不够呀。
越来越慢

2017 年 3 月 3 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@wh0syourda66y 感谢你。
刚试了下，
原始文件 1.5M ，没加任何参数的情况下， out.h5 大小为 2.2M 。。
压缩方式上貌似没有 zlib?

2017 年 3 月 3 日

回复了 kingmo888 创建的主题 › Python › 请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

@justou 是的。我是在测试追加来着。但实际上，并没有追加，只是把这个主键重新赋值了。从读取的数据上检查过。

而且，我做新的测试，就是 remove 所有的 keys ，使用 hdfview 查看确实数据都没有了。但是文件大小还是很大。

1 ... 9 10 11 12 13 14 15 16 17 18 ... 23

❮

❯