The Go Programming Language
› http://golang.org/
› Go Playground
Go Projects
› Revel Web Framework
cnbattle

抖音推荐列表视频爬虫

  •  
  •   cnbattle ·
    cnbattle · Aug 29, 2019 · 14363 views
    This topic created in 2636 days ago, the information mentioned may be changed or developed.
    基于 APP 爬取

    相关技术:golang adb nodejs anyproxy

    特点: 可设置仅抓取大于 xx 赞的视频

    github: https://github.com/cnbattle/douyin

    代码粗糙,主要分享下思路,这样的模式几乎可以抓取任何 APP HTTP API 的数据或内嵌 H5 数据,当然如果数据全部加密或编码传输的就不行了
    Supplement 1  ·  Aug 29, 2019
    各位老哥,退一步海阔天空,下班了,该回家玩耍了
    90 replies  •  2019-09-03 04:34:27 +08:00
    az999
    az999
    Aug 29, 2019❤️1
    1
    好的,已反馈给 抖音反爬组
    darknoll
    darknoll
    Aug 29, 2019
    2
    @az999 人家用真机,你反爬个卵啊
    az999
    az999
    Aug 29, 2019
    3
    @darknoll 嘴巴干净点,生活不如意 别冲我这里来。不惯着你
    gunjianpan
    gunjianpan
    Aug 29, 2019
    4
    @az999 宁可真干净

    app 端抓取信息确实是目前很多服务获取信息比较稳定的手段
    cnbattle
    cnbattle
    OP
    Aug 29, 2019
    5
    @az999
    自己给个反爬办法 上 protobuf 二进制传输 或自己定个简单的加密 /编码方式 不外泄 就爬不了
    glacer
    glacer
    Aug 29, 2019
    6
    @cnbattle 逆向 APP 不就行了?
    trys1
    trys1
    Aug 29, 2019 via Android
    7
    用真机,成本好高
    cnbattle
    cnbattle
    OP
    Aug 29, 2019
    8
    @trys1 虚拟机也行的
    deepall
    deepall
    Aug 29, 2019
    9
    又是一个志同道合的小伙伴
    cnbattle
    cnbattle
    OP
    Aug 29, 2019
    10
    @glacer 0.0 是可以,不过 逆向 app 相对来说 技术要求会高一些,会劝退我这样非专业做这个方向的人..
    LeeSeoung
    LeeSeoung
    Aug 29, 2019
    11
    检查当前环境是否使用代理,是的话要求去掉代理,上 https,可以拦住很多人了
    az999
    az999
    Aug 29, 2019
    12
    @gunjianpan 别在这里阴阳怪气的,装什么呢?
    cnbattle
    cnbattle
    OP
    Aug 29, 2019
    13
    @LeeSeoung 请问下, 如果不再真机 /虚拟机设置代理,在上游网络设置的话(如路由器设置代理),app 端能检测到吗? 不能很了解这块
    LeeSeoung
    LeeSeoung
    Aug 29, 2019
    14
    @cnbattle 可以做,但是上了 https 就比较难搞,所以我才补了一句用 https,纯 http 你用 wireshark 或者其他工具抓网卡流量就行。
    jinksw
    jinksw
    Aug 29, 2019
    15
    半物理爬虫😆
    cnbattle
    cnbattle
    OP
    Aug 29, 2019
    16
    @jinksw 简单粗暴😆
    dabaibai
    dabaibai
    Aug 29, 2019
    17
    @LeeSeoung https 也能中间人公鸡....防毛爬虫..永远不可能有技术能防爬虫的. 当然,你可以数据不展示
    golden0125
    golden0125
    Aug 29, 2019
    18
    是用 go 在安卓端写了个后台 APP 抓流量吗?
    Raymon111111
    Raymon111111
    Aug 29, 2019
    19
    真机当然可以做风控

    比如获取机器陀螺仪上的一些信息
    tongyang
    tongyang
    Aug 29, 2019
    20
    @az999 你这臭嘴 我佛了
    akira
    akira
    Aug 29, 2019
    21
    wsf 三连击
    yngby
    yngby
    Aug 29, 2019
    22
    @az999 我也佛了
    nicevar
    nicevar
    Aug 29, 2019
    23
    没必要整这么麻烦,一台 root 的手机+模拟滑动+tcpdump 过滤一下就搞定了
    jookr
    jookr
    Aug 29, 2019
    24
    有没有人推荐一个网页版看抖音的网址
    az999
    az999
    Aug 29, 2019
    25
    @tongyang
    @yngby
    来说一下,哪里服了?我是攻击者么?装你妈啊,曹尼玛
    npe
    npe
    Aug 29, 2019
    26
    @az999 以后记得加上狗头🐶
    aozhou
    aozhou
    Aug 29, 2019❤️3
    27
    @az999 开始使喷口了,您不是素质高吗?泼凉水素质高?别人看不惯了就说人家过得不好,喷不过了就开是脏话喷粉,没那素质别学素质用语,您玩不起,会现形。
    cnbattle
    cnbattle
    OP
    Aug 29, 2019
    28
    @golden0125 不是 ,大概是 用 anyproxy 代理,将需要的 json 数据提交到 go server
    cnbattle
    cnbattle
    OP
    Aug 29, 2019
    29
    @jookr 感觉可以搞一个 🐶
    tongyang
    tongyang
    Aug 29, 2019
    30
    @az999 你在这气急败坏的样子可真是好笑呢
    fvckDaybyte2
    fvckDaybyte2
    Aug 29, 2019 via iPhone❤️2
    31
    @az999 真没听出来“反爬个 ruan ”有攻击你的意思,草你妈我听出来了
    NeverMoreGY
    NeverMoreGY
    Aug 29, 2019❤️3
    32
    @az999 嘴巴干净点,生活不如意 别冲这里来。不惯着你
    yngby
    yngby
    Aug 29, 2019❤️2
    33
    @az999 嘴巴干净点,生活不如意 别冲这里来。不惯着你
    simonv3ex
    simonv3ex
    Aug 29, 2019❤️1
    34
    @az999 难受不,臭弟弟
    az999
    az999
    Aug 29, 2019
    35
    @yngby
    @NeverMoreGY
    @fvckDaybyte2
    @tongyang 我真笑死了,首先我不是首先攻击的,然后 “ ruan ”这个字,就是脏话,攻击人的,我反击攻击我的脏话而已,并不是生活不如意攻击的。 继续抱团攻击我。哈哈哈。
    simonv3ex
    simonv3ex
    Aug 29, 2019
    36
    啊呀,打断队形了
    yngby
    yngby
    Aug 29, 2019
    37
    @az999 宁可真是将双标进行到底呢哈哈哈,我就说了句我佛了你就要攻击我呢
    simonv3ex
    simonv3ex
    Aug 29, 2019❤️1
    38
    拉黑一个人,会让你看不到完整的世界;试试拉红?
    https://www.v2ex.com/t/592670
    az999
    az999
    Aug 29, 2019
    39
    @simonv3ex 抱团来怼我,可以啊,不难受,我占理怕什么? 继续啊,你们这些有什么逻辑思维么?哈哈哈。
    az999
    az999
    Aug 29, 2019
    40
    @yngby 说话不需要负责么? 乱说话也是要负责任的,我攻击你 是你首先攻击我了。
    fvckDaybyte2
    fvckDaybyte2
    Aug 29, 2019 via iPhone
    41
    @az999 是脏话就是攻击你的话,我朝天喊一句卧槽是不是全宇宙都被我攻击了?
    yngby
    yngby
    Aug 29, 2019
    42
    @az999 我哪里攻击你了嘛~我就是说了句服了呀 你就要骂人家嘤嘤嘤
    az999
    az999
    Aug 29, 2019
    43
    @fvckDaybyte2 你脑袋怎么长得? 别人对我说一句话脏话,难道我不反击? 我要跪着给他 道歉?
    yngby
    yngby
    Aug 29, 2019❤️1
    44
    @az999 你现在无端攻击我了,快给我跪着道歉
    wogong
    wogong
    Aug 29, 2019
    45
    @Livid Report @az999
    fvckDaybyte2
    fvckDaybyte2
    Aug 29, 2019 via iPhone
    46
    @az999 你脑袋长得真好,厉害👍,继续作,我看戏。
    vmskipper
    vmskipper
    Aug 29, 2019
    48
    嘴巴干净点,生活不如意 别冲这里来。不惯着你
    explore365
    explore365
    Aug 29, 2019
    50
    你音反扒组会如何来就此反扒,哈哈哈哈哈哈哈。。。。。
    explore365
    explore365
    Aug 29, 2019❤️1
    51
    https://www.v2ex.com/t/356202 你爬取别人资源时,咋没见过你这么装逼
    mamahaha
    mamahaha
    Aug 29, 2019
    52
    你这个价值太高了,应该封闭宣传啊,这样有点亏啊,我先下载了。
    leafdream
    leafdream
    Aug 29, 2019
    53
    @az999 智障
    cnbattle
    cnbattle
    OP
    Aug 29, 2019
    54
    @mamahaha 所以我要在 readme.md 里加个收款码吗 0.0
    renothing
    renothing
    Aug 29, 2019
    55
    其实这类 app,用自动化测试工具就能爬,反爬是不存在的。
    INTJ
    INTJ
    Aug 29, 2019 via Android
    56
    咋骂起来了!😂😂
    az999
    az999
    Aug 29, 2019
    57
    @explore365 不好意思,我今年 5 月份已经离职了。1l 我明显是 玩笑话,我不知道 哪里装逼了? 抱团攻击很爽么?
    Iamnotfish
    Iamnotfish
    Aug 29, 2019
    58
    认真脸提问:抖音(或者其他 APP,头条,淘宝啥的)会律师函警告做其爬虫的程序员吗?如果会的话出发点是什么?我不太懂,另外有人知道抖音的 ROBOT.TXT 是啥不?
    yngby
    yngby
    Aug 29, 2019
    59
    @az999 道歉啊 别装死
    az999
    az999
    Aug 29, 2019
    60
    @yngby 你这些思维逻辑真差,太 low 了,真的,首先你先嘲讽攻击我的,我反击了,你先跪下道歉好吧。
    GoTop
    GoTop
    Aug 30, 2019
    61
    有没有 python 版啊
    Pi7bo1
    Pi7bo1
    Aug 30, 2019
    62
    @az999 biubiu~ 你死了
    cnbattle
    cnbattle
    OP
    Aug 30, 2019
    63
    @GoTop 只是 golang 起了一个 web server 接收 anyproxy post 过的 json 数据 和 用 adb 控制模拟滑动 其他都是一样的,我不了解 python,只能自己实现了

    1 用 python 写个 web server 处理 https://raw.githubusercontent.com/cnbattle/douyin/df129be17c6711b0a37682df8cb0c253c517c9d0/body.json 这样的一个 json 数据,

    2 用 python 调用命令行 运行 这几个命令即可,
    ```
    打开抖音 adb shell am start -n com.ss.android.ugc.aweme/.main.MainActivity
    关闭抖音 adb shell am force-stop com.ss.android.ugc.aweme
    屏幕滑动 adb shell input swipe 500 1000 400 100
    ```
    cnbattle
    cnbattle
    OP
    Aug 30, 2019
    64
    @Iamnotfish 不知道 0.0 躲在角落,瑟瑟发抖~
    airqj
    airqj
    Aug 30, 2019
    65
    这 V 站近年来素质变得可怕啊      
    被攻击的人反驳了几句就变成了主动攻击人了    哈哈哈
    LiHaiWordGe
    LiHaiWordGe
    Aug 30, 2019❤️1
    66


    @simonv3ex 好用
    ddup
    ddup
    Aug 30, 2019 via Android
    67
    感谢
    yngby
    yngby
    Aug 30, 2019
    68
    @az999 我没有嘲讽你啊?我说了句我佛了就算嘲讽你吗?但你可是实打实的骂我了,跪下道歉
    uTuw2C6uf964Kx6o
    uTuw2C6uf964Kx6o
    Aug 30, 2019
    69
    这小破站越来越有意思了,什么人都能访问到,还能在这里吵起来,
    微信 base64 发出来,加好友对骂,不要在小破站骂街,容易降低各位的身份
    TypeErrorNone
    TypeErrorNone
    Aug 30, 2019
    70
    @az999 你怎么这么暴力?
    haha12000
    haha12000
    Aug 30, 2019
    71
    @az999 活捉一喷子
    graceday
    graceday
    Aug 30, 2019
    72
    @mrant 这个办法好,要不建个微信群,来个群吵如何?
    z54749412
    z54749412
    Aug 30, 2019
    73
    @az999 你的人生到底多灰暗啊?养成了 这张臭嘴。
    darknoll
    darknoll
    Aug 30, 2019
    74
    @az999 nc 玩意儿
    hellomimi
    hellomimi
    Aug 30, 2019❤️1
    75
    《论狗头保命的重要性》![doge]( )
    GoTop
    GoTop
    Aug 30, 2019
    76
    @cnbattle #63 恩,看了你的解释感觉用 python 来实现也没什么问题
    max6
    max6
    Aug 30, 2019
    77
    没忍住,哈哈哈...
    woshinide300yuan
    woshinide300yuan
    Aug 30, 2019❤️1
    78
    哈哈,活生生让一个人给带歪了。。。
    哈哈哈哈哈哈……
    真傻逼!
    BigDogWang
    BigDogWang
    Aug 30, 2019
    79
    这个帖子简直大型 block 现场
    BigDogWang
    BigDogWang
    Aug 30, 2019
    80
    @glacer 有几个能逆向出来的呢,朋友接到任务,要做一个抖音第三方软件,光登陆这一步就卡住了
    caneman
    caneman
    Aug 30, 2019
    81
    这个人有点像煎蛋的电池哥,不知道 V2 有没有人玩煎蛋
    niknik
    niknik
    Aug 30, 2019
    82
    我看都在喷这个人,我以为他很委屈差点打抱不平,看了一下楼,我决定

    @az999 nmsl,你没商量,那没事了,你买啥了,尼美舒利,戳你妹,出那么,曹年末,次那么,超耐磨,cnm
    niknik
    niknik
    Aug 30, 2019
    83
    @az999 都在喷你,臭弟弟,是不是怀疑人生了,是不是在思考我错在哪儿了,加油,会有更多人喷你的,嘻嘻
    Buges
    Buges
    Aug 30, 2019 via Android
    84
    @GoTop 可以了解下 mitmproxy
    Leigg
    Leigg
    Aug 30, 2019 via Android
    85
    我也佛了,不过我佛的是二楼还有…一批混子
    renhua
    renhua
    Sep 1, 2019
    86
    @Livid Report @az999
    yankebupt
    yankebupt
    Sep 1, 2019
    87
    @cnbattle 好吧折腾了几个小时发现
    1 go 运行时第一次上网自动抓 dependency 还挺好玩的
    2 好像已经没一个肯在 vmware player 15 虚机里面肯跑的安卓模拟器能正常运行抖音全手动划屏刷 20 秒不崩了
    3 好像已经没一个安卓模拟器能让人放心在日常非 vmware 环境下安装了(包括 bluestacks)
    4 (想喷想玩这个连个随时能三清的五百以下的备机都不肯备的同志们可以跳过这一步了)
    5 正在考虑要不要整个 U 盘启动的可以直通显卡的虚机试试可不可以模拟器 /app 不崩...有时间再说了
    cnbattle
    cnbattle
    OP
    Sep 1, 2019❤️1
    88
    @yankebupt go1.11 mod 很方便,而且现在国内已经有好几个代理

    我用的那个 倒能撑到 1 分钟以上,我建议是用 别公司封装出来的那些安卓模拟器,他们对手机型号 定位 啥的模拟可能会有更好一点的稳定性

    我现在在家用树莓派 2b 和一个触摸屏失效 电池 异常的手机运行,中间有个问题 就是 2b 的 usb 电压太低 一直插着手机电量会慢慢掉下来,所以我把手机拆了把屏幕的供电线拔了就可以一直运行
    hp66722667
    hp66722667
    Sep 2, 2019
    89
    1 楼被爆了,哈哈
    Mitt
    Mitt
    Sep 3, 2019
    90
    抖个机灵都能被你们喷成这样,两边脾性是不是都太暴了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4363 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 208ms · UTC 08:51 · PVG 16:51 · LAX 00:51 · JFK 03:51
    ♥ Do have faith in what you're doing.