GB/T 13715-1992《信息處理用現(xiàn)代漢語分詞規(guī)范》基本信息

標準號：

GB/T 13715-1992

中文名稱：

《信息處理用現(xiàn)代漢語分詞規(guī)范》

發(fā)布日期：

1992-10-04

實施日期：

1993-06-01

發(fā)布部門：

國家標準化管理委員會

歸口單位：

全國信息技術(shù)標準化技術(shù)委員會

起草單位：

北京航空航天大學(xué)

中國標準分類號：

L70信息處理技術(shù)綜合

國際標準分類號：

35.020信息技術(shù)(IT)綜合

GB/T 13715-1992《信息處理用現(xiàn)代漢語分詞規(guī)范》介紹

國家標準化管理委員會于1992年發(fā)布了《信息處理用現(xiàn)代漢語分詞規(guī)范》(GB/T 13715-1992)。該標準于1992年10月4日發(fā)布，并于1993年6月1日正式實施。

一、標準的主要內(nèi)容

1、術(shù)語和定義：對分詞、詞、詞語等關(guān)鍵術(shù)語進行了明確的定義，為分詞操作提供了標準化的語言基礎(chǔ)。

2、分詞原則：規(guī)定了分詞應(yīng)遵循的原則，如較小詞長原則、歧義排除原則等，以確保分詞結(jié)果的準確性和一致性。

3、分詞方法：介紹了基于統(tǒng)計、規(guī)則和機器學(xué)習(xí)等多種分詞方法，為不同應(yīng)用場景提供了靈活的選擇。

4、分詞流程：詳細描述了分詞的整個流程，包括文本預(yù)處理、詞識別、詞性標注等關(guān)鍵步驟。

5、性能評估：提出了分詞效果的評估標準，包括召回率、準確率等指標，為分詞技術(shù)的研究和應(yīng)用提供了量化的參考。

二、分詞原則

1、較小詞長原則：優(yōu)先識別較短的詞，以減少分詞錯誤。

2、歧義排除原則：在遇到可能產(chǎn)生歧義的文本時，應(yīng)根據(jù)上下文選擇較合適的分詞方案。

3、詞頻優(yōu)先原則：在多個分詞方案中，優(yōu)先選擇詞頻較高的詞作為分詞結(jié)果。

三、分詞方法

1、基于統(tǒng)計的分詞方法：通過統(tǒng)計語言材料中的詞頻，構(gòu)建詞表，實現(xiàn)自動分詞。

2、基于規(guī)則的分詞方法：利用語言學(xué)規(guī)則，如詞性、構(gòu)詞法等，進行分詞。

3、基于機器學(xué)習(xí)的分詞方法：通過訓(xùn)練機器學(xué)習(xí)模型，如隱馬爾可夫模型、條件隨機場等，實現(xiàn)自動分詞。

四、分詞流程

1、文本預(yù)處理：包括文本清洗、分句等操作，為分詞提供干凈的輸入。

2、詞識別：根據(jù)分詞原則和方法，識別文本中的詞。

3、詞性標注：對識別出的詞進行詞性標注，如名詞、動詞等。

4、結(jié)果輸出：將分詞結(jié)果以一定的格式輸出，供后續(xù)處理使用。

五、性能評估

1、召回率：衡量分詞結(jié)果中正確識別的詞的比例。

2、準確率：衡量分詞結(jié)果中所有詞的正確性。

3、F1值：結(jié)合召回率和準確率，綜合評估分詞效果。

檢測流程步驟

溫馨提示：以上內(nèi)容僅供參考使用，更多檢測需求請咨詢客服。