我试了 urllib 的 urlopen 和 requests 的 get ,得到的都只是静态的内容,网页里的表格内容没有得到。
|
bytenoobMay 31, 2016
1
抓包分析请求
|
|
wizardozMay 31, 2016
2
表格里面的内容有可能是 ajax 或者 websocket 获取的,并不是在请求页面的时候就有。
|
|
wizardozMay 31, 2016
4
如果是 ajax 那好办,用浏览器的 F12 看看它请求了什么东西就可以了。
如果是 websocket 就难办了。 |
|
5
phantomjs
|
|
SlipStupigMay 31, 2016
6
@wizardoz iframe ajax 表单字段随机化,有没办法不开浏览器能直接跑通
|
|
7
感谢各位热心回复。
搜了搜,好像有用 PythonWebKit 或 PyQtWebKit 来做的。 |
|
jinfeng333May 31, 2016
8
phantomjs +1
|
|
9
phantomjs + 2 , 配合 casperjs 可以搞很多小动作,嘿嘿嘿
|
|
tkpcMay 31, 2016
10
system("google-chrome")
|
|
11
selenium + phantomjs 呢
|
|
12
有两种思路,一种是如果你想分析 js 处理后的网页源码可以使用 selenium+phantomjs ,但是有坑在携带 cookie ,修改 header 等方面。一种是用 requests 获取到网页未经 js 处理的代码,之后分析网页的 js 处理情况并结合 nodejs 对网页进行二次加工,这样而且可以极大的加快你的处理速度,具体的可以看我写的这个 http://xinali.github.io/2016/05/22/python%E5%A4%84%E7%90%86js%E7%BD%91%E9%A1%B5/
|