V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  ClericPy  ›  全部回复第 88 页 / 共 137 页
回复总数  2733
1 ... 84  85  86  87  88  89  90  91  92  93 ... 137  
2020 年 2 月 4 日
回复了 ech0x 创建的主题 微信 你觉得微信好用吗?
微信的设计违反了 职责单一原则 /🐶
@asus10tu #15
工具有的是吧
早年要抓 TCP, 所以用的 wireshark
后来基本只抓网站, 所以浏览器的调试工具足够用了
后来因为要在三个平台抓包, 就用了 Charles
再后来证书什么的有点问题, 试了 fiddler 的自定义规则, 还是不好使
然后发现阿里开源了个 AnyProxy, 真香, 用了几天又因为系统洁癖把 node js 删了...
后来部署生产环境用到 mitmproxy, 比以前随手学的时候香多了, 从那以后基本只用 mitmproxy 了, 在服务器上 nginx 做下域名映射, app 什么的直接挂服务器代理, 还能改流量(比如给某些页面注入点 js)
再后来看到 utools 有抓包工具, 然而又对爬虫深恶痛绝... 就没有然后了

requests.utils.quote 其实内置库里也有, 平时更常用的是 quote_plus, 区别一搜就知道了
你乱码明显就是 fiddler 强行解码的锅, 它想强行解码也是为了用户可读, 你试试在请求上右键 copy 什么的能拿到原始的结果没有

我后来用 Charles 最舒服的其实还是右键 copy 成 curl, 然后用自己写的 curl parser 转成 Requests 直接用的字典, 什么都不改就可以重发请求了
2020 年 2 月 4 日
回复了 firejoke 创建的主题 Python 大家学爬虫的热情把文泉学堂爬挂了
曾经也想给自己网站带上 ddos 防火墙, 后来总结了月流量=2, 就算了...
2020 年 2 月 3 日
回复了 yezhiye 创建的主题 Python Python selenium find_element_by_xpath 出错
1. 没有源码, 不知道你这定位到哪去了
2. 没有结果, 不知道你说的 find 到的到底是不是 div
3. selenium 如果不靠谱, 为什么不直接拿整个 HTML 丢给自己家的 lxml 去解析
@asus10tu #9
乱码一般是用了默认(但不一定正确)的编码强行解码导致的, 感觉你抓包工具的问题, 毕竟不解码一般没法给用户看

以前遇到过一种就是阿里巴巴爬虫, 当时他们的 url 是 urlencode 之前先 gbk 编码了一次, 也就是 encode 了两层, 不知道和你这情况类似么

你的抓包工具有可能为了给用户容易看, 强行 urldecode 了一次, 然后解出来的和阿里巴巴 url 一样少解码一次的情况下, 直接盲目 decode 输出给用户了

目前因为是盲猜瞎调试, 所以只能排除法, 先换个靠谱点的抓包工具, 尤其是别轻易 decode, 拿到 bytes 自己用一些编码尝试性解码看看

你的粤逆向 decode 一下就知道了

print('ÔÁ'.encode('latin-1').decode('gbk'))

基本可以定位是你抓包工具只认 latin-1 或者 u8, 然而该 api 走了 gbk..... 换个靠谱抓包工具吧
直接说最终目的算了, 你上来就问底层可能方向都错了, 何况还是违反协议的
比如想在什么地方看到原始中文
2020 年 2 月 2 日
回复了 minglanyu 创建的主题 问与答 室内简易跑步机有推荐吗
作为 30 岁以上超重人群... 我比较想买那个健走机(还是叫健步机来着)... 现在不敢出门, 又想活动太难了, 每天 200 个仰卧起坐, 腿和屁股根本不瘦
2020 年 2 月 1 日
回复了 veDone 创建的主题 问与答 就没有替代迅雷的软件吗?速度减半都可以。
现在用着胡萝卜周的极速版, 不用迅雷 X 是因为只要是去广告的, 都没了挂代理功能...

后来感觉需要代理的情况直接用绿色版 FDM 就够了, 一直设置着代理

反正挺多时候下载是脚本命令行调起的, FDM 很坑的一点是命令行只能 fdm.exe url, 没法指定文件名, 这不如迅雷靠谱
<少数派报告> 是发生在 2054 年的华盛顿特区...
<疑犯追踪> 里的 Machine 也不知道有是没有...

现在治病靠免疫, 防疫靠自觉吧
2020 年 1 月 29 日
回复了 0gys 创建的主题 分享发现 广东省已经通知境内企业建议不得早于 2 月 9 号复工
朋友圈已经看到一群被要求回北京广州 SOHO 的了... 要求去了住处隔离 14 天再去公司... 怎么感觉一年比一年难
2020 年 1 月 28 日
回复了 loliordie 创建的主题 Python 今天突然被人问到 object 和 instance 有什么不同
点进来以前以为会讨论 A class is an instance of a metaclass.......
山东联通已经挂了很久了, ssh 挂代理吧, 现在真体会到水深火又热了
带着笔记本记录...

面试官内心: 这货看起来不是真打算来啊...

带个录音笔吧
2020 年 1 月 22 日
回复了 raysonx 创建的主题 宽带症候群 山东联通 GitHub 空路由
今天中午开始的 ssh 连不上 github, 只好在 .ssh/config 里加了一句 http 代理
2020 年 1 月 21 日
回复了 hunterJax 创建的主题 健康 想问问大家心脏有过异常感吗?
先排除下肋间神经痛
同学在外企也是严格管控的, 输入法都不让换......

office 的话, 学好 vba, 忘了是不是安装时候默认内置, 反正当初说要支持 Python 纯扯淡

平时自动化, 写好 vbs

浏览器自动化, js 大法

实在愿意折腾, powershell 也是门有点意思的语言

其他的就不太算编程语言了...
2020 年 1 月 21 日
回复了 duola1024 创建的主题 奇思妙想 想到了个价值几个亿的点子,就差个程序员啦~
其实同一辆车开一个 IM 聊天室确实是挺不错的想法, 别被人用成广场舞一样的 O2OYP 工具就好.

如果能嵌入 12306 app 就更省事了, 聊天可以匿名, 注册拒绝匿名, 拉黑次数多的用户直接禁言

车长可以官方频道发布有关该车的各种实况信息: 火车晚点啦, 大雪封路啦, 哪个车厢有空座啦, 紧急医生求助啦, 同线路加车厢啦, 特价晚餐啦, 到站提醒啦, 问答帖啦(问题顶踩)

直接就不用打开坑爹的贴吧和知道, 这俩东西点啥都是下载 APP...

信息时代还存在信息不对称就太伤悲了, 然而就我坐火车的经历来说, 这东西并不是刚需...
用过两者的社区版, VS 一开始感觉不愧宇宙第一, 然而用久了感觉还是不舒服, 因为也是走的微软家那个 LSP, 所以 没修的 upstream issue 依然没修, 平时用用感觉代码提示还算不错, 比较较真的时候还是 Pycharm 更准确一点. 这俩费内存是都不让人省心... 现在不用它俩, 只因为颜值...

LSP 各种崩溃, 各种幺蛾子卡顿, 各种不支持 . 引用跳转, 我在 vsc 上快被整烦了, 开了微软的 VS intellicode 插件才算好点, 不开直接不出补全
1 ... 84  85  86  87  88  89  90  91  92  93 ... 137  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1038 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 42ms · UTC 18:54 · PVG 02:54 · LAX 11:54 · JFK 14:54
♥ Do have faith in what you're doing.