• 请不要在回答技术问题时复制粘贴 AI 生成的内容
edis0n0
V2EX  ›  程序员

bing 和 google 的爬虫是怎么知道我新注册了域名的?

  •  
  •   edis0n0 · Jan 17, 2023 · 3430 views
    This topic created in 1393 days ago, the information mentioned may be changed or developed.
    随便打了 4 个单词在 godaddy 上注册了个长 com 域名用于自用的 api (本身连起来是无意义的,不用随机字母数字是怕公司网管当木马通信域名给 ban 了),觉得没有人会找到,首页都是 404 ,结果从注册那一天起 bing 和 google 的爬虫天天来好几趟
    13 replies  •  2023-01-18 17:01:28 +08:00
    kincaid
    kincaid
    PRO
    Jan 17, 2023
    1
    举一条途径,当然不一定是这个 https://czds.icann.org/zone-requests/all
    也可能跟注册商、解析服务商之间有什么 PY 交易
    pingdog
    pingdog
    Jan 17, 2023 via Android
    2
    Browser 会上报
    hez2010
    hez2010
    Jan 17, 2023
    3
    你要知道 GoDaddy 是微软的合作伙伴之一。另外 Google 有自己的域名服务,域名厂商之间数据大概是共享的。
    systemcall
    systemcall
    Jan 17, 2023 via Android
    4
    注册商那边上报给搜索引擎了吧
    看看注册域名的协议,有没有提到
    kincaid
    kincaid
    PRO
    Jan 17, 2023
    5
    @fuzzsh 正解,我看域名访问日志的时候发现如果有人要 Edge 访问我网站的时候还会同时去爬 robots
    crab
    crab
    Jan 17, 2023
    6
    开个抓包工具,你会发现浏览器会提交一些不是你请求的数据。
    hcocoa
    hcocoa
    Jan 17, 2023
    7
    你用什么浏览器上网?
    baobao1270
    baobao1270
    Jan 17, 2023
    8
    说几个可能性:
    1 、浏览器上报
    2 、CDN 上报
    3 、权威 NS 解析服务商上报
    em70
    em70
    Jan 17, 2023
    9
    为什么都是 bing,google 爬虫来,百度,搜狗,360 怎么不来
    abersheeran
    abersheeran
    Jan 17, 2023
    10
    @em70 因为百度垄断大陆市场,它是站长的亲爹,自己提交还爱理不理的。Google 有不少人抢它份额,搜索效果不好别人就转投其他搜索引擎了。
    MurkeyMua
    MurkeyMua
    Jan 18, 2023 via Android
    11
    你或许用的 chrome 或者 edge
    ragnaroks
    ragnaroks
    Jan 18, 2023
    12
    浏览器上报、证书透明度、NS 新增记录
    stabc
    stabc
    Jan 18, 2023
    13
    不觉得是所谓”上报“,应该是之前有人注册过,域名掉很久搜索引擎都会尝试爬
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1438 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 44ms · UTC 16:48 · PVG 00:48 · LAX 08:48 · JFK 11:48
    ♥ Do have faith in what you're doing.