• 请不要在回答技术问题时复制粘贴 AI 生成的内容
dhlwing
V2EX  ›  程序员

疫情区间没什么事情做,抓了一些抖音的数据

  •  4
     
  •   dhlwing · Feb 24, 2020 · 14853 views
    This topic created in 2446 days ago, the information mentioned may be changed or developed.

    有兴趣的可以访问这里:https://dds.lookeridea.com/admin/douyin/authors

    2 月 16 号到现在抓了 50 多万的作者信息,接下来准备做一些热点的视频分析,比如作者的归类,视频热度监控等。 不知道还有什么可玩性。

    另外请教下各位这种类型的数据分析如果做商用的话有什么法律风险吗?我看到一些其他网站比如飞瓜也在做类似的业务。不知道他们怎么规避相关的风险

    Supplement 1  ·  Feb 24, 2020
    暂时不对外开放,有兴趣访问的可以单独私信我
    Supplement 2  ·  Feb 26, 2020
    感谢各位老铁的良言相劝
    v2 上的高人很多,有人上去后不断的测试数据,之前的分页没有设置最大数值,有人一次分页使用几百条到几万页,数据库差点崩掉,感谢你们的测试。

    另外说吃牢饭的朋友们,尤其感谢你们,我主贴就是在问风险问题,感谢你们的不吝赐教,但是我还是想多说一句,在中国乃至全球,商业行为都没有什么高尚与不高尚的道德可言,你们大概忘记了你们日常使用的百度或者 google 的数据是从哪里来的。再说今日头条,他的内容一开始是怎么来的,这不用我多说了吧?放眼整个中国互联网发展史,哪些大厂,曾经的 bat,某些时候他们的手段也依然有人不齿的一面。因为这就是商业,这就是商业生存的法则
    95 replies  •  2020-02-26 17:53:47 +08:00
    3K1yf6UvnVz5w008
    3K1yf6UvnVz5w008
    Feb 24, 2020
    1
    我想问问这是怎么抓的呢
    dhlwing
    dhlwing
    OP
    Feb 24, 2020
    2
    @gebishushu 做了一些 app 的逆向
    miao666
    miao666
    Feb 24, 2020 via Android
    3
    。。。
    herozzm
    herozzm
    Feb 24, 2020
    4
    layer 玩的 666,用了啥数据库?
    andylsr
    andylsr
    Feb 24, 2020 via Android
    5
    做 app 逆向已经明确触犯条款了
    taotaodaddy
    taotaodaddy
    Feb 24, 2020 via Android
    6
    已经踩进了灰色地带?
    Vegetable
    Vegetable
    Feb 24, 2020
    7
    有意思,网站名字也是抄来的,UI 也是复制的,还不是一家,大哥你这一下子侵犯多少家?
    dhlwing
    dhlwing
    OP
    Feb 24, 2020
    8
    @Vegetable 有抖大师这个网站吗?不好意思真不知道啊。。。。ui 是开源的 layer 啊
    dhlwing
    dhlwing
    OP
    Feb 24, 2020
    9
    @Vegetable 搜了下 还真的有。。。不过好像网站并不能打开?
    lscho
    lscho
    Feb 24, 2020 via iPhone
    10
    真不怕死啊,抓信息已经违法了。
    hackshen
    hackshen
    Feb 24, 2020
    11
    老哥 很强大👍
    houlin
    houlin
    Feb 24, 2020 via Android❤️4
    12
    数据很好,楼上说的别怕,可以看看新榜的数据监控的盈利模式,你这个数据我看了下,可以监控哪些作者在刷数据,对广告主,品牌商还是很有价值的,他们投广告,或者换量,就怕遇到数据作假的,你这个做成收费的,一次一查询或者包月
    Vegetable
    Vegetable
    Feb 24, 2020
    13
    @dhlwing #8 你详情页左边那部分不是和飞瓜一毛一样的文案吗,监控下次发文这种都没改一下
    dhlwing
    dhlwing
    OP
    Feb 24, 2020
    14
    @houlin 谢谢,很有启发

    @Vegetable 顶楼也说了飞瓜,详情是参照了他的
    IMCA1024
    IMCA1024
    Feb 24, 2020
    15
    这数据我也想学习一下 有点意思
    psirnull
    psirnull
    Feb 24, 2020❤️1
    16
    面向监狱开发
    TimPeake
    TimPeake
    Feb 24, 2020
    17
    6 啊
    kissazi2
    kissazi2
    Feb 24, 2020
    18
    看了用户名和密码,没有注册的地方,怎么搞?
    ersic
    ersic
    Feb 24, 2020
    19
    @dhlwing #8 有个抖大大
    dhlwing
    dhlwing
    OP
    Feb 24, 2020
    20
    @kissazi2 上面的几位大佬说的吓得我战战兢兢,赶紧把网页暂时关了
    asche910
    asche910
    Feb 24, 2020
    21
    逆向做得好,牢饭吃到老(狗头
    2kCS5c0b0ITXE5k2
    2kCS5c0b0ITXE5k2
    Feb 24, 2020
    22
    @houlin 官方本身就有假数据... 而且广告主找抖音不就行了
    SjwNo1
    SjwNo1
    Feb 24, 2020
    23
    自投罗网还行 👍
    EarthChild
    EarthChild
    Feb 24, 2020
    24
    我想着你这有啥 json 接口呢。找了半天啥也没!啥也不是!!!
    feiniu
    feiniu
    Feb 24, 2020
    25
    ????需要登录?
    shenjixiang
    shenjixiang
    Feb 24, 2020
    26
    居然没搜到我的抖音号。。。
    EarthChild
    EarthChild
    Feb 24, 2020
    27
    @shenjixiang #26 收到了 东北人(酱)在洛杉矶的抖音号。
    dhlwing
    dhlwing
    OP
    Feb 24, 2020
    28
    @EarthChild 哈哈哈 你想干啥呢
    dhlwing
    dhlwing
    OP
    Feb 24, 2020
    29
    @shenjixiang 少侠抖音多少,我收录观摩一下
    shenjixiang
    shenjixiang
    Feb 24, 2020
    30
    @dhlwing 算了,算了,人红是非多。。
    Vegetable
    Vegetable
    Feb 24, 2020
    31
    https://starsp.toutiao.com/ 官方的给大家看看
    h123123h
    h123123h
    Feb 24, 2020 via iPhone
    32
    你还好意思发出来。。。。v 站不少字节的吧
    littlewing
    littlewing
    Feb 24, 2020
    33
    律师函警告
    dhlwing
    dhlwing
    OP
    Feb 24, 2020
    34
    @Vegetable 官方也不可能面面俱到,总有差异化的地方
    wangyzj
    wangyzj
    Feb 24, 2020
    35
    我更好奇逆向代码
    c0py7hat
    c0py7hat
    Feb 24, 2020 via iPhone
    36
    能帮助上热门不……
    netChen
    netChen
    Feb 24, 2020
    37
    去年已经有一波爬虫公司被请去喝茶了,楼主明确说的是爬的抖音的,抖音背后是谁啊?况且去年的公司都是把爬虫美名成客户定制、潜在客户挖掘、定向客户获取等等,商业化??楼主还是玩玩算了,别想太多。
    rety2008
    rety2008
    Feb 24, 2020
    38
    LZ 可以给个账号看一下吗?
    pyengwoei
    pyengwoei
    Feb 24, 2020
    39
    留个联系方式哇
    tanghongkai
    tanghongkai
    Feb 24, 2020❤️3
    40
    @rety2008 你猜猜账号密码是啥,拿出你们的社工经验,我一次就进去了
    yunxue
    yunxue
    Feb 24, 2020
    41
    怎么私信,有联系方式吗
    Elethomdog
    Elethomdog
    Feb 24, 2020
    42
    留个联系方式,聊一聊
    dhlwing
    dhlwing
    OP
    Feb 24, 2020
    43
    @rety2008
    @pyengwoei
    @yunxue
    @Elethomdog
    联系微信同 v 站 id
    JerryCha
    JerryCha
    Feb 24, 2020
    44
    楼主留个联系方式吧,待会头条的 HR 看到了就会邀你去面试了。
    exploreexe
    exploreexe
    Feb 24, 2020
    45
    想知道 LZ 是怎么逆向的 有啥参考资料吗?之前一直想抓 不知道怎么玩。
    EarthChild
    EarthChild
    Feb 24, 2020
    46
    @dhlwing #43 我能说我已经猜出来账号密码了吗?你别改就行。我加你微信聊一下。
    dhlwing
    dhlwing
    OP
    Feb 24, 2020
    47
    @EarthChild 还真有人进去之后改了。。。
    hantsy
    hantsy
    Feb 24, 2020
    48
    @netChen 这几年的确很多人靠这些数据赚大钱了。
    但是太危险,现在条子对计算机也不懂,爬数据在去年被抓的,判刑太多了。
    maitiantuzi
    maitiantuzi
    Feb 24, 2020
    49
    这就是闲的
    hantsy
    hantsy
    Feb 24, 2020
    50
    @dhlwing 想做这些数据应用,找个比他还大的靠山吧。
    yueshang1
    yueshang1
    Feb 24, 2020
    51
    律师函警告
    linvaux
    linvaux
    Feb 24, 2020
    52
    楼主吃牢饭前合影留念
    bolianlai
    bolianlai
    Feb 24, 2020 via iPhone
    53
    我对代码逆向部分有点兴趣看看
    bengol
    bengol
    Feb 24, 2020 via Android
    54
    祝你好运
    weiziyan
    weiziyan
    Feb 24, 2020 via Android❤️1
    55
    认真的吗 双 admin ??
    dym
    dym
    Feb 25, 2020
    56
    @tanghongkai 听你这么一说,我也一次性进去了!
    tanghongkai
    tanghongkai
    Feb 25, 2020 via iPhone
    57
    @dym @weiziyan 我今天早上手贱随便改了个密码,想不到作者又给改回去了,属实🐂🍺
    laoyuan
    laoyuan
    Feb 25, 2020
    58
    这个领域的法律和司法还不成熟,基本上只要你拿来赚钱了,就可以把你送进去。
    LinStar
    LinStar
    Feb 25, 2020
    59
    果断盲猜居然进去了....
    devtk
    devtk
    Feb 25, 2020
    60
    对母猪,我是警察
    benzzz
    benzzz
    Feb 25, 2020
    61
    @tanghongkai #40 切回帖子看楼主有没有发个测试账号,看到你这条就懂了
    1rror
    1rror
    Feb 25, 2020
    62
    0.0 弱密码进去了
    Nicoco
    Nicoco
    Feb 25, 2020
    63
    老哥走好,app 逆向有点危险,保重!
    darknoll
    darknoll
    Feb 25, 2020
    64
    楼主能不能教教我?
    CoderGeek
    CoderGeek
    Feb 25, 2020
    65
    自己偷摸着玩还凑合 人家主要做内容 你爬了还明目张胆的散出来玩 也是厉害 v2 上不少头条的人 LZ 注意
    RouJiANG14
    RouJiANG14
    Feb 25, 2020
    66
    @tanghongkai 看到这条,突然明白!
    samfan
    samfan
    Feb 25, 2020
    67
    www 主站淘小铺 也 copy 过来的~ lz 强大
    goldenalex
    goldenalex
    Feb 25, 2020
    68
    建议下线,自己弄弄可以,别公开出来啊。。。

    这是面向监狱的编程设计。。。
    evernight
    evernight
    Feb 25, 2020
    69
    楼主,我们大厂招人,有意的话私聊
    gabezhao
    gabezhao
    Feb 25, 2020
    70
    恭喜楼主获得限量版金手镯一副
    netChen
    netChen
    Feb 25, 2020
    71
    @hantsy 说的太对了,看来老哥也是经常关注圈内信息啊,如果粗略算下来,去年被请喝茶的不低于十家公司。我认识的一个哥们去年在其中的杭州一家公司做前端,出事儿的那天早上赶巧迟到了,被其他关系好的同事透漏了消息,为了保险直接买火车票回老家了,但是他也是技术部的啊,结果刚两天就被他老家的派出所的同志给“引渡”杭州了,管吃管住了一个月,最后补齐了饭费和伙食费才被放出来了,2019 互联网寒冬,不是没有道理的。现在大家都知道有些信息能值大钱,但是还都不知道怎么合理用它,边界在哪儿
    huayumo
    huayumo
    Feb 25, 2020
    72
    小心进去
    CosimoZi
    CosimoZi
    Feb 25, 2020 via Android
    73
    赶紧收手,逆向 app 已经违法,用户信息更加碰不得,危险至极。
    reus
    reus
    Feb 25, 2020
    74
    缺乏法律常识。
    你还敢给联系方式?
    aibay
    aibay
    Feb 25, 2020
    75
    想问下,比如 Youtube 相关数据网站 Socialblade 这种已经精细到每个 Youtuber 的估算收益了,他们的数据是怎么来的?国内似乎刚兴起社交网络的时候还有类似的数据网站,可是后来就没人敢做了,现在已经是敏感地带了。
    deplives
    deplives
    Feb 25, 2020
    76
    逆向完还收集用户数据,然而竟然还有层主建议出了盈利模式,你怕是在赌人家没有法务团队
    jon
    jon
    Feb 25, 2020
    77
    好奇逆向代码
    Msxx
    Msxx
    Feb 25, 2020
    78
    这些东西不都只能悄悄干吗?现在咱们村进步这么快的吗?!
    EminemW
    EminemW
    Feb 25, 2020
    79
    密码又改了?
    fifa666
    fifa666
    Feb 25, 2020
    80
    楼主还好吗?
    yitl666
    yitl666
    Feb 25, 2020
    81
    兄弟你的胆子挺肥啊,还敢发到论坛,真当头条的人不上 v 站啊😂
    ihciah
    ihciah
    Feb 25, 2020
    82
    入职头条的第一周,就被拉去听了“数据安全刑事风险培训”,主要就是讲爬虫风险。。
    未授权+逆向+绕过反爬+商业盈利,基本稳的。
    bytelee
    bytelee
    Feb 25, 2020
    83
    面向监狱编程
    hikarumx
    hikarumx
    Feb 25, 2020
    84
    估计要出事。、
    polymerdg
    polymerdg
    Feb 25, 2020
    85
    抓包?
    lI7RfFpJ007NWnY1
    lI7RfFpJ007NWnY1
    Feb 25, 2020
    86
    没有回复,估计进去了。lz 保重(狗头
    locoz
    locoz
    Feb 25, 2020
    87
    商用了看人家心情,但是逆向了从接口爬的基本上被搞就必死
    2828kakafa
    2828kakafa
    Feb 25, 2020 via iPhone
    88
    爬虫写的好,牢饭吃饭饱
    shmilypeter
    shmilypeter
    Feb 26, 2020
    89
    @ihciah 我所知的是,如果你搜集了客户生产环境上的个人信息(包括姓名,联系方式,身份证号),一告一个准都是稳稳的,目前涉及到个人数据的,都是十分的敏感
    ihciah
    ihciah
    Feb 26, 2020 via iPhone
    90
    @shmilypeter 嗯,我是说定罪稳的🤣
    dhlwing
    dhlwing
    OP
    Feb 26, 2020
    91
    感谢各位老铁的良言相劝
    v2 上的高人很多,有人上去后不断的测试数据,之前的分页没有设置最大数值,有人一次分页使用几百条到几万页,数据库差点崩掉,感谢你们的测试。

    另外说吃牢饭的朋友们,尤其感谢你们,我主贴就是在问风险问题,感谢你们的不吝赐教,但是我还是想多说一句,在中国乃至全球,商业行为都没有什么高尚与不高尚的道德可言,你们大概忘记了你们日常使用的百度或者 google 的数据是从哪里来的。再说今日头条,他的内容一开始是怎么来的,这不用我多说了吧?放眼整个中国互联网发展史,哪些大厂,曾经的 bat,某些时候他们的手段也依然有人不齿的一面。因为这就是商业,这就是商业生存的法则
    liuqiangxi
    liuqiangxi
    Feb 26, 2020
    92
    据我所知抓取用户下的视频是不用逆向的,抖音网页版就能抓取
    xiaoxiao001
    xiaoxiao001
    Feb 26, 2020
    93
    留下联系方式可以聊下,我有资源,缺少技术
    kakeiri
    kakeiri
    Feb 26, 2020
    94
    只要不是恶意攻击,拿来的数据不非法利用,都很正常,说人家非法的,只是你们想的太恶劣了,如果恶意攻击,楼主也不会发这些东西
    dhlwing
    dhlwing
    OP
    Feb 26, 2020
    95
    @xiaoxiao001 联系方式上面有说到
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1323 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 247ms · UTC 20:51 · PVG 04:51 · LAX 12:51 · JFK 15:51
    ♥ Do have faith in what you're doing.