企業與個人網絡營銷一站式服務商
        網站建設 / SEO優化排名 / 小程序開發 / OA
        0731-88571521
        136-3748-2004
        百度和谷歌的中文分詞技術
        信息來源:長沙做網站   發布時間:2011-8-21   瀏覽:

          中文分詞是百度和谷歌的核心技術之一,因此不會將細節公之于。中華論文聯盟只能利用黑盒方法進行推導,也即通過輸入檢索提問,查看結果情況,并通過兩個搜索引擎都具備的網頁快照功能查看各自對檢索提問的分詞情況。

          表1 檢索提問在百度和谷歌中的分詞情況*

          

         

          第一,推導百度的中文分詞技術

          第1個例子說明,如果對檢索提問用引號做精確檢索,百度對其不進行分詞運算。例2說明,如果輸入用空格進行分割的若干個子字符串,百度對其自動做分詞處理(如果用標點符號分割,也會做自動分詞處理)。例3、6、7、8、10等都說明百度對檢索詞會進行多種切分方式,并且首先是不進行切分,直接匹配,如果有結果則返回,并排在檢索結果最前面;然后再按照不同形式切分之后再去匹配。

          例4對“比爾蓋茨”的檢索表明,百度有專有名詞庫,例5對“旭日陽剛”的檢索表明,百度對新詞收錄較快。例9“旭日陽剛才”的分詞結果為“旭日陽剛/才”也說明,百度對新詞能夠識別。

          例11“大長今天天向上”,百度能夠識別出“大長今/天天向上”,“大長今”為一韓劇名,“天天向上”為一綜藝節目,百度均能正確地識別,表明其詞庫收詞范圍很廣,收詞量很多。例7、8說明,百度對在分詞時不會忽略“的”、“和”這些意義不大的字(即禁用詞),可以做更多的嘗試,百度對“了”、“嗎”等都不會忽略,仍作為檢索詞進行分詞。

          再探討百度是正向最大匹配還是逆向最大匹配。例7中,對“走路和氣質”可以分出“走路/和/氣質”,這種結果像是逆向最大匹配法,再看例12,“分居民生活水平”,如果逆向最大匹配法的話應該是應該分為“分/居民/生活水平”,但事實上百度對這個檢索提問的分詞結果并不如此,在這個例子上看似為正向分詞。因此,百度的分詞不是單純的正向最大匹配或者逆向最大匹配,采用的應該是雙向最大匹配法。

          通過有多種劃分方式的例子(比如例8),可以看出,百度首先是不進行分詞,得到“朱德的母親”,然后再識別出專有名詞或新詞,剩余部分又按照先不切分的方式,得到“朱德/的母親”,然后用最少切分法原則,并且用到了3元交叉切分法得到了“朱德的/的母親”。

          第二,推導谷歌的中文分詞技術

          例1說明,對于引號中的檢索提問,谷歌不進行拆分;例2說明,用空格分開的子字符串,谷歌自動做分詞處理(如果用標點符號分割,效果也一樣)。

          例3、4、5、6表明,谷歌對于專有名詞和新詞識別能力較差,對“比爾蓋茨”、“旭日陽剛”等都進行了分詞處理,甚至連“忐忑”都劃分為了“忐/忑”,“圖書館”劃分為“圖書/館”,“中醫藥”劃分為“中/醫藥”,說明谷歌的詞庫較小。

          例7、8說明,谷歌在分詞時,會對檢索提問中意義不大的字如“的”、“和”忽略,當作禁用詞,然后再進行分詞。

          例9、10、11、12都印證了谷歌采取的是逆向最大匹配法,并印證了對專有名詞和新詞識別能力差。在12個例子中涉及的專有名詞和新詞中,只有“朱德”被正確識別。




        上一條: 做企業網站更新難? 如何利用站內站策略解決
        下一條: 做網站從建設到優化到運營突破的五個問題
        案例鑒賞
        多年的網站建設經驗,斌網網絡不斷提升技術設計服務水平,迎合搜索引擎優化規則
        精辟網文
        多年的網站建設經驗,網至普不斷提升技術設計服務水平,迎合搜索引擎優化規則
        長沙私人做網站    長沙做網站    深圳網站建設    株洲做網站    東莞做網站    南京防腐木    湖南大拇指養豬設備    株洲做網站    
        版權所有 © 長沙市天心區斌網網絡技術服務部    湘公網安備 43010302000270號  統一社會信用代碼:92430103MA4LAMB24R  網站ICP備案號:湘ICP備13006070號-2  
        91久久精品无码一区二区毛片| 中文字幕日韩精品在线| 最近中文字幕免费2019| 无码精品A∨在线观看中文| 岛国av无码免费无禁网| 亚洲制服中文字幕第一区| 亚洲AV无码成人网站久久精品大 | 性无码免费一区二区三区在线| 99无码人妻一区二区三区免费| 亚洲国产综合精品中文第一区| 久久久久成人精品无码中文字幕| 久久亚洲中文字幕精品有坂深雪| 亚洲AV日韩AV高潮无码专区| 亚洲AV中文无码乱人伦在线观看| 无码人妻品一区二区三区精99| 亚洲精品中文字幕乱码三区| 少妇无码AV无码专区线 | 中文午夜乱理片无码| 亚洲av永久无码制服河南实里| 日韩精品无码人妻一区二区三区| 久久久无码精品亚洲日韩京东传媒| 人妻少妇精品无码专区动漫| 人妻无码αv中文字幕久久琪琪布| 亚洲精品无码永久在线观看| 亚洲AV永久无码精品网站在线观看 | AV大片在线无码永久免费| 久久亚洲日韩看片无码| 婷婷五月六月激情综合色中文字幕| 无码人妻一区二区三区在线| 亚洲中文字幕无码一去台湾| 日韩精品人妻一区二区中文八零| 人禽无码视频在线观看| 中文字幕无码毛片免费看| 亚洲最大激情中文字幕| 亚洲国产av无码精品| 麻豆aⅴ精品无码一区二区| 国产成人无码AV一区二区在线观看 | 五月天中文字幕mv在线女婷婷五月| 在线看中文福利影院| 免费a级毛片无码免费视频| 亚洲AV综合色区无码另类小说|