啥子是漢字分詞
何為分詞?漢字分詞與其它的分詞又有啥子不一樣呢?分詞就是將蟬聯的字序列依照一定的規范從新組派生詞序列的過程。在上頭的例子中我們就可以看出，在英文的行文中，單詞之間是以空格作為天然分界符的，而漢字只是字、句和段可以經過表面化的分界符來簡單劃界，惟獨詞沒有一個方式上的分界符，固然英文也一樣存在短語的區分清楚問題，不過在詞這一層上，上頭的例子中我們也可以看出，漢字比之英文要復雜的多、艱難的多。
到現在為止主流的漢字分詞算法有以下3種：
1、 基於字符串般配的分詞辦法
這種辦法又叫做機械分詞辦法，它是依照一定的策略將待剖析的中文串與一個充分大的機器辭典中的詞目施行配，若在辭典中找到某個字符串，則匹 配成功(辨別出一個詞)。依照電子掃描方向的不一樣，串般配分詞辦法可以分為正向般配和反向般配;依照不一樣長度優先般配的事情狀況，可以分為最大(最長)般配和最小(最短)般配；依照是否與辭性示明過程相接合，又可以分為天真分詞辦法和分詞與示明相接合的一體化辦法。常用的幾種機械分詞辦法如下所述：
1)正向最大般配法(由左到右的方向)；
2)反向最大般配法(由右到左的方向)；
3)最少切分(使每一句中切出的詞數最小)。
還可以將上面所說的各種辦法互相組合，例如，可以將正向最大匹根據處方配藥法和反向最大匹根據處方配藥法接合起來構成雙向般配法。因為漢語單字成詞的獨特的地方，正向最小般配和反向最小般配普通很少運用。普通說來，反向般配的切分精密度略高於正向般配，碰到的多種意思現象也較少。計數最後結果表明，天真運用正向最大般配的不正確率為 1/169，天真運用反向最大般配的不正確率為1/245。但這種精密度還遠遠不可以滿意實際的需求。實際運用的分詞系統，都是把機械分詞作為一種初分離段，還 需經過利用各種其他的語言信息來進一步增長切分的正確率。
一種辦法是改進電子掃描形式，稱為特點標志電子掃描或微記切分，優先在待剖析字符串中辨別和切分出一點帶有表面化特點標志的詞，以這些個詞作為斷點，可將原字符串分 為較小的串再來進機械分詞，因此減損般配的不正確率。另一種辦法是將分詞和辭類示明接合起來，利用浩博的辭類信息對分詞決策供給幫忙，況且在示明過程中又反 過來對分詞最後結果施行檢查驗看、調試，因此莫大地增長切分的正確率。
2、 基於了解的分詞辦法
這種分詞辦法是經過讓計算機模人格化修辭方式對句子的了解，達到辨別詞的效果。其基本思想就是在分詞的同時施行句法、語義剖析，利用句法信息和語義信息來處置多種意思現象。它一般涵蓋三個局部：分詞子系統、句法語義子系統、總控局部。在總控局部的協調下，分詞子系統可以取得相關詞、句子等的句法和語義信息來對分詞多種意思施行判斷，即它摹擬了人對句子的了解過程。這種分詞辦法需求運用數量多的語言知識和信息。因為漢語語言知識的籠統、復雜性，難於將各種語言信息團體 成機器可直接讀取的方式，因為這個到現在為止基於了解的分詞系統還居於嘗試階段。
3、 基於計數的分詞辦法
從方式上看，詞奠定的字的組合，因為這個在上下文中，相鄰的字同時顯露出來的回數越多，就越可能構成一個詞。因為這個字與字相鄰共現的頻率或幾率能夠較好的反映成詞的可信度。可以對語料中相鄰共現的各個字的組合的頻度施行計數，計算他們的互現信息。定義兩個字的互現信息，計算兩個中文X、Y的相鄰共現幾率。互現信息表現出來了中文之間接合關系的緊急程度。要緊急深重於某一個閾值時，便可覺得此字組有可能構成了一個詞。這種辦法只需對語料中的字組頻度施行統 計，不必切分辭典，故而又叫做無辭典分構詞法或計數取詞辦法。但這種辦法也有一定的限制性，會常常抽出一點共現頻度高、但並不是詞的常用字組，例如這 一、之一、有的、我的、很多的等，況且對常用詞的辨別精密度差，時空開銷大。實際應用的計數分詞系統都要運用一部基本的分詞辭典(常用詞辭典)施行串般配分詞，同時運用計數辦法辨別一點新的詞，將要串頻計數和串般配接合起來，既施展般配分詞切分速度快、速率高的獨特的地方，又利用了無辭典分詞接合上下文辨別不認識的詞、半自動消弭多種意思的長處。
分詞幾點要注意:
1.分詞算法的時效性能要比較高。特別是如今的web搜索，實時性要求頎長。所以作為漢字信息處置基礎的分詞首先務必佔用遍有可能少的時間。
2.分詞准確率的增長並不盡然帶來檢乾脆能的增長。分詞到了一定精密度在這以後，對漢字信息檢索的影響不再會很表面化，固然還是仍然有一點影響，不過這已經不是CIR的性能瓶頸。所以片面的一味尋求高正確率的分詞算法並不是很適應大規模漢字信息檢索。在時間和精密度之間存在矛盾沒有辦法兼顧的事情狀況下，我們需求在二者之間找到一個合宜的均衡點。
3.切分的顆粒度還是可以沿襲長詞優先准則，不過需求在查問擴展層面施行有關後續處置。在信息檢索中，分詞算法只消集中精神力思索問題怎麼樣消弭交錯多種意思。對於遮蓋多種意思，我們可以利用辭典的二次引得和查問擴展來解決。
4.未登錄詞辨別的正確率要比召回率更加關緊。要盡力保障未登錄詞辨別時不施行不正確接合，防止因為這個切分出不正確的未登錄詞。假如將單字不正確的接合成未登錄詞了，則可能造成沒有辦法准確檢索到相應的文檔。
百度的分詞
首先依據瓜分符號將查問分開。信息檢索 理論 工具 分詞後 <信息檢索，理論，工具>。
而後看看是否有重復的字符串，假如有，就遺棄駢枝的，只保存一個。理論 工具理論分詞後<工具理論>，GOOGLE不思索問題這個並歸計算。
繼續判斷是否有英文還是數碼，假如有的話，把英文還是數碼當作一個群體保存並把前後的漢字切開。查問電影變態下載分詞後<電影，變態，下載>。
假如字符串只裡面含有小於等於3個漢字字符的話，那就保存不動，當字符串長度大於4個漢字字符的時刻，百度的分詞手續纔出馬大乾快上，把這個字符串支解掉。
分詞算法類型正向最大般配，逆向最大般配，雙向最大般配，語言板型辦法，最短途徑算法判斷一個分詞系統行不行，關鍵看兩點，一個是消弭多種意思有經驗；一個是辭典未登錄詞的辨別譬如人名，地名，機構名等。
百度分詞采取了至少兩個辭典，一個是平常的辭典，一個是專用辭典(人名、地名、新詞等)。並且是專用辭典先切分，而後將剩下的片段交由平常的辭典來切分。
百度用分詞算法類型認為合適而使用的是雙向最大般配算法。
例子：查問毛澤東北京華煙雲，百度的分詞最後結果：毛澤東/北/京華煙雲
百度分詞可以識另外的人名，也可以辨別京華煙雲，這解釋明白有辭典未登錄詞的辨別的功能
首先查問專用辭典(人名，局部地名等)，將專出名稱切出，餘下的局部采取雙向分詞策略，假如兩者(正向最大般配，逆向最大般配)切分最後結果相同，解釋明白沒有多種意思，直接輸出分詞最後結果。
假如不完全一樣，則輸出最短途徑的那一個最後結果，也就是切分的片段越少越好，譬如<古巴，比，倫理>和<古巴比倫，理>相形挑選後者，<北京，華，煙雲>和<北，京華煙雲>相形挑選後者。
假如長度相同，則挑選單字詞少的那一組切分最後結果。遙遙遠的古代古巴比倫，這個查問被百度切分為<很遠，古古，巴比倫>，而不是切分為遙/遙遠的古代/古巴比倫
假如單字也相同，則挑選正向分詞最後結果。查問王堅強雄厚小：，百度將其切分為王/堅強雄厚/小，而不是逆向切分為王/強/體積
百度一直宣傳自個兒在漢字處置方面的優勢，從上頭看，分詞算法並無特別之處，消歧效果並不理想，縱然百度采取比上面所說的分詞算法復雜些的算法也難於說成是優勢，假如說百度有優勢的話，惟一的優勢就是那一個非常大的專用辭典，這個專用辭典登錄了人名(譬如大長今)，稱謂(譬如老夫人)，局部地名(譬如阿聯酋等)，估計百度認為合適而使用學術界揭曉的比較新的起名稱實體辨別算法從語料庫裡邊不斷辨別出辭典未登錄詞，漸漸擴大充實這個專門辭典。——本文來中國SEO論壇 原帖地址：
筆者信息：老陳,中國SEO論壇(/bbs)初創人之一