推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
okface
V2EX  ›  Python

论文数据库爬取?

  •  
  •   okface · May 16, 2018 · 3888 views
    This topic created in 3104 days ago, the information mentioned may be changed or developed.
    1.不是知网、万方;
    2.在 tb 上买了一个集成平台的账号,号称几百个数据库论文都可以搜索到,登陆后可以选择你要跳转的数据库,然后这个数据库你就可以任意搜索下载了。想知道这种跳转技术是如何实现的,人家数据库那边不会检测到你是违法账号吗?如果要抓该数据库,直接传个 cookie 就行了?

    ps:招爬虫工程师,联系 [email protected]
    15 replies  •  2018-05-16 22:16:03 +08:00
    zynlp
    zynlp
    May 16, 2018 via iPhone
    1
    这是在面试吗?
    ProkillerJ
    ProkillerJ
    May 16, 2018 via iPhone
    2
    htfy96
    htfy96
    May 16, 2018 via Android
    3
    2 的话,一般是买了这些数据库的某个学校的校外代理账号泄露了,你连集成平台,集成平台把你的请求通过校外代理发出去。分析过之前买的某家就是利用了兰州大学的校外代理
    okface
    okface
    OP
    May 16, 2018
    4
    @zynlp 没有那么刻意吧。。当然面试聊这个也可以啊
    okface
    okface
    OP
    May 16, 2018
    5
    @ProkillerJ 地址打不开。。。被知乎删掉了吧
    omph
    omph
    May 16, 2018
    6
    偷的合法帐号,就这样
    PythonAnswer
    PythonAnswer
    May 16, 2018 via iPhone
    7
    小哥就是被捉然后自戕的 注意法律风险
    yu099
    yu099
    May 16, 2018 via Android
    8
    这个下载一多比如一下子几小时上百篇,直接整个学校论文下载都停掉了。
    学校被这样子搞过
    ProkillerJ
    ProkillerJ
    May 16, 2018 via iPhone
    9
    复制错了 应该是这个 https://zhuanlan.zhihu.com/p/27609168
    @okface
    seven2016
    seven2016
    May 16, 2018
    10
    跟 vip 视频解析一个原理呀,肯定是有合法的账户能够看到每个数据库的内容,才能抓下来。然后根据用户的需求构造参数用户合法账户去拿数据返回给用户。
    Leigg
    Leigg
    May 16, 2018 via Android
    11
    你都没试过,就来问,人家说的是给你搜索,不是给你爬,一个是人,一个是程序
    ioth
    ioth
    May 16, 2018
    12
    兼职
    alvin666
    alvin666
    May 16, 2018 via Android
    13
    正规数据库是肯定有反爬机制的,我们学校买的数据库之前就因为下载量太大被封了一些 ip,要是不正规的数据库,谁知道里面的论文哪来的
    xmoiduts
    xmoiduts
    May 16, 2018 via Android
    14
    触发反爬,直接上门。学校有过翻车经历,题主慎重。
    当年那几个老哥好像下了 7w 篇。
    googlefans
    googlefans
    May 16, 2018 via iPad
    15
    肯定会被封
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1105 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 142ms · UTC 23:43 · PVG 07:43 · LAX 15:43 · JFK 18:43
    ♥ Do have faith in what you're doing.