V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  qazwsxkevin  ›  全部回复第 35 页 / 共 37 页
回复总数  725
1 ... 27  28  29  30  31  32  33  34  35  36 ... 37  
@ManjusakaL 可以对线程启动的内容纪录 PID ? 假如各个进程跑的都是是 Chrome.exe ,12 个进程跑满,内存会有 N 个 python.exe ,N 个 Chrome.exe ,怎么分辨谁是谁? 能零失误杀进程?
以前只试过用 psutil.pids()来获取 PID 杀进程。。。
@feelapi 请教,如果业务的具体逻辑实现用 cpp 开发,在 win 的平台下(不使用 WEB 的方式,WEB 在人力的成本投入其实不低吧?)用什么做 UI,衔接最好,成本最低,人也容易上手?
@JoeoooLAI,多线程没试过,我是前一段时间试过多进程会有这种情况
@liukangxu 应该不会,CPU 数和核数,是很清楚的,我打算这几天忙完后,再申请个虚拟机试试,



刚才上面忘了补充,是虚拟机是 Win7
2019 年 11 月 18 日
回复了 ArJun 创建的主题 问与答 如何看待潘石屹学 Python ?
不知道目的何在
如果有切合实际的目的
我是这样看的
在高度来看,目标产出比会比靠这口饭活的人高很多
他对学习 python 有问题的话,解决时效会比 v2 的所有人都会优良(他有钱去推磨)
他一定不会学习细到很细(譬如去找 python 工作的要求),但是他应该能触悟到比靠用 python 吃饭的人更多的东西
总之,真要学,他起点非常高。
v2ray 是不是已经确定被可以被干扰了?
2019 年 11 月 13 日
回复了 JustinL 创建的主题 微信 有人觉得微信监听聊天内容吗?
@a566 [一般来说输入法监听的比较严重,最好是用谷歌已经停止更新的输入法]
有么? 特指哪个最后的版本? 可否给大家贴个传送门?
2019 年 11 月 13 日
回复了 st2026 创建的主题 问与答 腾迅云 hk 主机稳定吗
广州,联通线路,连接 11~15ms 之间
2019 年 11 月 13 日
回复了 st2026 创建的主题 问与答 腾迅云 hk 主机稳定吗
11.11 新用户 88 ¥一年买了一个,现在都还未有时间架设,只是早前听说过用企鹅和阿狸的 HK 主机做梯不会被封,或者说被封几率比较低,这次有优惠就先买了先
粗暴点,爬出去,把相近版本的 chromedriver 都下载下来,逐个替换上去试试
我记得 webdriver 有 option 是可以指定 driver.exe 的路径的。。。
by the way,我没有路由器的管理权
2019 年 10 月 26 日
回复了 qazwsxkevin 创建的主题 Python multiprocessing 的进程池,能否做到监控一些状态?
@ClericPy,有不明白的地方,concurrent.futures,比如:

```
eStatusSuit = []
e = futures.ProcessPoolExecutor(max_workers=5)
eStatus = e.submit(ProcessCaseID,someVarA ,someVarB)
eStatusSuit.append(eStatus)
#
eStatus = e.submit(ProcessCaseID,someVarC ,someVarD)
eStatusSuit.append(eStatus)
#
eStatus = e.submit(ProcessCaseID,someVarE ,someVarF)
eStatusSuit.append(eStatus)

#此时是向 e 提交了 3 个任务
#eStatus 对象,我看了一下,似乎是无法查看到 33 个任务具体状态,只能等待 eStatus 全体执行完毕,全部返回 eStatus.result()?
#eStatus.result()是个阻塞式,想不到怎么用。。。

#我是想建立能跑 5 个进程的可控队列,不知道这么干是否合适,还是有更方便的方式?

aExecutor = futures.ProcessPoolExecutor(max_workers=1)
bExecutor = futures.ProcessPoolExecutor(max_workers=1)
cExecutor = futures.ProcessPoolExecutor(max_workers=1)
dExecutor = futures.ProcessPoolExecutor(max_workers=1)
eExecutor = futures.ProcessPoolExecutor(max_workers=1)

然后做个
aExecutorStatus = aExecutor.submit(ProcessCaseID,someVarA ,someVarB)
bExecutorStatus = bExecutor.submit(ProcessCaseID,someVarC ,someVarD)
#省略...

#对各个 ExecutorStatus 的 running(),done()进行循环判断,哪个 False/True 了,就从 queue 里取任务提交过去,哪个失败了,再调度一下优先权
if aExecutorStatus.running():
xxx
#省略...

不知道是不是这样乱来的?
```
@momocraft
@ClericPy
嗯,明白了,感谢,回头我尽量把方式改为 with,有个基础概念不是很清晰的地方,with 包起来的内容,完成后我记得应该是全自动清的,而不用手动去 close,不知道有无理解错(刚起步写 python 没多久,以前基本没用过 with )


另请教 @ClericPy:见过大佬您多次推荐 cdp,其实很早想请教在 github 或者其它地方,有无简单入门的 demo 例子,可以实现 cdp 去 open link,对页面 id/xpath 进行点击,获取页面 html 代码这些简单的起步学习? 官网的每个方法的解释,比较碎...
@Trim21 嗯嗯,是的,是 finnally 里,其实我原本的代码里,finally 是没有的...
2019 年 10 月 22 日
回复了 qazwsxkevin 创建的主题 Python 如何多线程(可控数量)历遍完字典?
@robinlovemaggie 我这两天自己学习了一下多线程,还不够深入,尽管上面高手们都提到了解决方法,其实一次取 5 个,每次 5 个这样压入函数进行独立线程处理,等 5 个处理完,再下一批,也是可以的,起码比起单线程处理要好多了。。。

细想了一下,保持 5 个,出 1 个进 1 个的 FIFO 队列算法,太难了,我这里的情况可能要连整个处理函数的设计都要改。。。

加上现在的集合来源,是字典,我本来在 for 的历遍里面是有一些 continue 拐弯的,现在也甚是头疼怎么改。。。
2019 年 10 月 22 日
回复了 qazwsxkevin 创建的主题 Python 如何多线程(可控数量)历遍完字典?
@Vegetable,感谢解答~
@qza1212 ,是的,刚刚琢磨到,字典历遍方式似乎不太适合我这样放到线程队列里,正在琢磨其它办法。。。
@ps1aniuge 学习 ing...
2019 年 10 月 22 日
回复了 qazwsxkevin 创建的主题 Python 如何多线程(可控数量)历遍完字典?
感谢大伙热心的回复,先挑一些疑问简单回帖了先,手上还有其它事在忙着 ^_^

@Vegetable,是在 Win 的环境下作业的,那么多了线程,历遍的效率总会有提高的吧?

@scukmh,磁盘读写么? 不多,doSomething 就是轮流去生成几个 10 几 kb 的文本,读几个 1MB,2MB 大小的文件,下载几个网页(这个就是要等爬虫的返回时间,不确定时间点就在这里)

doSomething 函数封装得很好,函数完全是独立的,不交叉到局外通信,while 到不完成不返回,超过重试次数就自己结束,有一个地方交叉,可能就是抛出异常的时候,会向"d:\error.log"写点东西,会担心同时多进程同时异常都往 error.log 写内容?
@skt041959 Win7,我做系统的时候特意用回 Administrator
@dantelovepizza 这不就是用了 pyinstaller 来编译的么?
@littlespider89 看来没办法了,有几个用到的库,只能在 3.6 以上使用。。。。
2019 年 10 月 7 日
回复了 qazwsxkevin 创建的主题 Python selenium+webdriver 如何实现这种半自动响应?(爬虫)
@Karpov @ClericPy @napsterwu @ClericPy @jowenzzzzz
感谢各位老大热心肺腑的指导思路,
我自己也是用 firefox 的,老早有想法想找一个现成的 xpi 扩展,或者游猴脚本,触发一下就直接输出网页源代码保存到指定的文件夹,后来一直都没找到这样现成的 xpi,加上当时的欲望并不强烈(主要是我工作是搞数据通信传输的,并不是前端开发领域,搞 firefox 自定义扩展、脚本需要对浏览器的 DOM,JavaScript 功底比较好,对于我来说,这个学习成本也许有些高),所以这事情后来不了了之,你们的思路是对的,应该从浏览器本身着手,也许我真的应该要认真去翻一下 JavaScipt 和 Firefox 的 API 了。。。
1 ... 27  28  29  30  31  32  33  34  35  36 ... 37  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   862 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms · UTC 20:26 · PVG 04:26 · LAX 13:26 · JFK 16:26
♥ Do have faith in what you're doing.