V2EX › MasterofNone 的所有回复 › 第 19 页 / 共 35 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 ... 15 16 17 18 19 20 21 22 23 24 ... 35

❮

❯

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

列 1 窗口大小为 2 ，选择 min_period = 1,那么 01-01 对应 11 ，01-02 对应 (11+12)/2 ，01-03 对应(12+13)/2...01-09 对应(18+19)/2

列 4 相对于列 1 来说如果窗口大小为 2 ，选择 min_period = 1 ，那么 01-01 对应 41 ，01-02 对应 41+42 ，01-03 对应 42+43....01-03 对应 48+49 （简而言之列 4 的窗口是相对于前面三列的窗口来相应调整）

所有的 rolling 均是向前滑动，即滑动的值均是针对已出现的值，计算 01-09 不能用 01-10 的值，因为 01-10 是将来时

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@wxf666
1.滑动窗口按 <年, 地区> 分组，按 <时间> 顺序滑动，计算 element1/2/3 的滑动平均值，并将值安置在滑动起点的同一行
2.element1/2/3 是窗口大小分别为 5/10/15 的平均值，element4 是对应滑动窗口内的 element4 值的合计
3.对

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@wxf666 第一条即是需要实现的功能，原始数据中只有每天的数据，没有滑动，也没有合计

数据表就和你这个差不多，窗口是在 5 、10 、15 中滑动，分组的话按某一年某一点来算。

两个处理水平重复，外加 20 种模式，为上面的表乘以 2 再乘以 20 ，即 40 个相同结构的表但数据不一样

2022 年 10 月 31 日

回复了 tancy 创建的主题 › Apple › 有没有 apple news 平替产品？

最好的我觉得还是 rss

2022 年 10 月 31 日

回复了 alex58 创建的主题 › 程序员 › 又搞了一台服务器，大佬们帮我看看是否踩坑了， 2 核 3g 一年 260 元

本坛子里可都是 mjj ，绿云这种垃圾就别拿出来了

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

更正：dateday19010101-21001231 ，timedelta 为 1d ；

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@wxf666

dateday, geometry, element1, element2, element3, element4

geometry 大概 300 个，为经纬度的组合，精细到小数点后四位；
dateday19010101-21001331 ，timedelta 为 1d ；
element[1-3]均需要处理成滑动平均，element4 计算滑动窗口的总和，所有 elements 值域在[0, 50]

以上组合完成后需要两个处理水平重复，外加 20 种模式（即 X 2 X 20

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@wxf666 不好意思，数据给不了，原先数据是存在 csv 里面的，后面我清洗过后转成了 parquet

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@fairless #38 哈哈哈，难度一下子上来了

@nuk 我试试

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@specter119 对，我是在做 rolling ，感觉 dask 也没快到哪里去

2022 年 10 月 31 日

回复了 nii 创建的主题 › 生活 › 经历了极为诡异的一件事情……

前几天是不是有个一样的帖子？

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@wxf666
@FYFX
我去试试各位的方法，感谢

2022 年 10 月 31 日

回复了 RipL 创建的主题 › Apple TV › 最近日亚购入 Apple TV，建一个 Apple TV 交流群

就是不晓得会被会砍单

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@wxf666 level 用于构建 dataframe ，我再考虑考虑

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@FYFX #25 能具体说说吗？我这每个循环都相当于处理逻辑的实参

@liuxingdeyu #26 dask 已经这么做了

@TimePPT #27 可以 groupby ，这样的话就要涉及 multiindex 。另外我的机器内存放不下所有数据

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@zzl22100048 我再看看吧，我现在想做优化的原因在于循环内的处理逻辑一直在变动，每次变动后需要一天的时间才能算出来一个模式（还不知道对不对），我着急...
另外：
1.我确实需要全部遍历
2.每一层的迭代对象我都预处理成固定长度的对象了

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@wxf666 https://gist.githubusercontent.com/vfq/0337327cdb29538e2f39e21b9eb99deb/raw/4cb9878145e3723e1919059502e6acfdf82551c2/sample.py

差不多是这样的吧

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@featureoverload 好的，我再思考下

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@liuxingdeyu #16 f 里就是根据 list_a 遍历加载模式数据（按日排列），然后根据年份（ list_b ）及模式中的要素值计算相关指标（几乎都是加减乘除和 datetime 操作），再和定义好的界限值比较，组成新的 dataframe 返回，已经安排上了 dask ，现在是多进程、多线程在跑，但是一个模式也要跑 28h 的样子，现在想调优，但是不知道具体瓶颈是在哪儿

@wxf666 如上，现在的想法是把嵌套的循环打平，不知道先行 product 后，能不能提高执行效率

2022 年 10 月 31 日

回复了 MasterofNone 创建的主题 › Python › Python 的多层嵌套循环如何优化？

@lolizeppelin #12 对于硬盘 IO 的循环也可以这么操作吗？

@wxf666 #13 协程给我的感觉就是难以 debug ，能不用我尽量不用

@paramagnetic #14 我现在遇到的问题就在于：需要调取同一目录下不同模式的模拟数据（大概 40 多 G ，3kw 条数据），每种模拟数据还有不同的处理水平，每个模式的数据文件中还有不同的要素，最终需要每个要素正交，分别计算。因为 pandas 只能在单核上跑，后面加上了 dask 之后还是慢，我就在想是不是要优化多层嵌套循环

1 ... 15 16 17 18 19 20 21 22 23 24 ... 35

❮

❯