akann
V2EX  ›  问与答

有什么简便办法判断网页是哪国语言?

  •  
  •   akann · Apr 4, 2012 · 7213 views
    This topic created in 5330 days ago, the information mentioned may be changed or developed.
    在有些论坛里发言的甚至不知道说的是哪国语言,用谷歌翻译都无从做起。
    7 replies  •  1970-01-01 08:00:00 +08:00
    akann
    akann
    OP
    Apr 5, 2012
    1
    这个问题搜索引擎上搜了都找不到答案,看来还是比较难,但问的人还是挺多的,看来还是有需求的,实际上可以用个数据挖掘引擎就可以判断的,但好像现在还没有网站做这个。
    akann
    akann
    OP
    Apr 5, 2012
    2
    zxwind
    zxwind
    Apr 5, 2012
    3
    @akann 随便敲了一行乱码

    fsdcw fwdf df wf fwe. fwef wefaqfa jojfewnf lfw?

    判断出来是Polish
    akann
    akann
    OP
    Apr 5, 2012
    4
    @zxwind 哈哈,我敲进去,判断也不准确,判断是葡萄牙语或者菲律宾语,看来这个问题的确还是挺难的。
    kafka0102
    kafka0102
    Apr 5, 2012
    5
    @akann 语言识别是个技术问题了。技术上来说是个分类问题。这方面的online api可能有一些,如果是工具包的话,tika对英文类语种支持的不错。语言识别最麻烦的是多语言混合的情况,比如一篇中文技术文章,结果以代码为主,中文很少,自然就倾向于识别成英文,但实际要处理成中文。我现在就是在tika的基础上,对亚洲语系的语料做了些处理,计算分类的概率时加了些判断,尽量让目标的中文页面识别准确些。
    raptium
    raptium
    Apr 5, 2012 via iPad
    6
    chrome 猜得挺准的啊
    akann
    akann
    OP
    Apr 5, 2012
    7
    @raptium chrome是根据页面源码的charset决定的,问题是同一个charset的页面可能会有多种语言啊,比如一个网站的charset一般都是一个,但是上这个网站的人可能使用多种语言,chrome就无能为力了。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1593 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 13:41 · PVG 21:41 · LAX 05:41 · JFK 08:41
    ♥ Do have faith in what you're doing.