charlesjq
V2EX  ›  PHP

[造轮子]爬取搜狗微信公众号文章

  •  
  •   charlesjq · Nov 21, 2016 · 4611 views
    This topic created in 3648 days ago, the information mentioned may be changed or developed.

    背景:想做一个公众号文章资源 APP ,发现搜狗有搜索公众号文章功能,果断开撸。 http://wxiread.com (用 CMS 搭了个简易的站)。 详情点击 http://www.jianshu.com/p/6bd1b08bd903

    8 replies  •  2016-12-06 12:14:46 +08:00
    Tyrion
    Tyrion
    Nov 21, 2016
    1
    暖贴,你这个还是很好玩的,哈哈,不过属于根据搜狗的推荐去爬了,要是能够制定微信公众号去爬更好吧~?
    charlesjq
    charlesjq
    OP
    Nov 21, 2016
    2
    @Tyrion 嗯,是的;回头看下 =_=
    levon
    levon
    Nov 21, 2016
    3
    不错
    ylsc633
    ylsc633
    Nov 21, 2016
    4
    没点进去看... 我记得那个传送门 好像也是扒取的 推荐的 不能定制抓取制定的..(现在不知道还是不是,不过那个网站现在排行非常靠前.且收录量特别大...).. 我曾试过... 有串加密 就没研究了...

    祝好运 如果可以 求解决办法
    mingyun
    mingyun
    Nov 21, 2016
    5
    厉害了,居然用的 php ,赞
    gouchaoer
    gouchaoer
    Nov 22, 2016
    6
    服务器去取图片的地方,我试了一下你似乎给图片加了缓存?
    charlesjq
    charlesjq
    OP
    Nov 22, 2016
    7
    @gouchaoer 没有哈,避免防盗链,图片走 api.php, 直接把原图输出的。
    wangyzj
    wangyzj
    Dec 6, 2016
    8
    请问如何解决从搜狗爬取公众号文章时无法获取文章原始地址的问题,从搜狗爬取的文章都是临时地址,在页面源码里面的 msg_link 变量多数为空,但从微信进入的公众号文章源码里面 msg_link 是有值的,且就是公众号文章的原始地址
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   952 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 20:05 · PVG 04:05 · LAX 12:05 · JFK 15:05
    ♥ Do have faith in what you're doing.