句法（Syntactic）分析是NLP的經典任務

Syntactic tasks: Word level

Word level的句法分析任務有：形態分析、分詞、序列標注

形態分析：Morphological analysis，指將一個詞的詞根（stem）和詞綴（prefix & suffix）提取出來的任務

分詞：Word segmentation or Tokenization，不同的語言分詞方法不一樣。對于中文、日文等語言，語句由字符的序列組成，因此詞的形態化比較簡單，分詞一般指將文本中的字的序列分割成詞的序列。此外，中文分詞的歧義性較強。而對于英文，沒有所謂的“分詞”，對應的任務叫做Tokenization，指將文本序列切成由token組成的序列，如Wendy's -> Wendy + 's。Tokenization可以概括為按照特定需求，把文本切分成一個字符串序列（其元素一般稱為token，或者叫詞語）。

根據不同的需求，tokenization有不同的分割粒度：

字粒度：I have a apple -> I / h / a / v / e / a / a / p / p / l / e

詞粒度：I have a apple -> I / have / a / apple

subword粒度：I have a new GPU. -> ['i', 'have', 'a', 'new', 'gp', '##u', '.']

詞性標注：Part-of-speech(POS)，將詞在句子中扮演的角色進行標注，如動詞、名詞等。因為一詞多義的存在，這個過程也存在歧義性。具體的tag可以參考：Universal POS tags，更細粒度的tag(Spacy)

Syntactic tasks: Sentence level任務很多，其中Dependency parsing 和 Constituent parsing 比較常見。

成分句法分析：Constituent parsing，找到一句話中的層次短語結構

依存句法分析：Dependency parsing，這種句法結構通過詞之間的兩兩關系組成一句話的結構。這些關系包含：主語、賓語、修飾語等等，每個詞修飾一句話中的另一個唯一的詞（除了root節點，如下圖中的bought）。

CCG parsing，組合范疇句法分析，形式為一種高度詞匯化的句法

CCG supertagging：在組合句法分析中，給每個詞打標簽

Syntactic chunking：把一個句子，切成比較大的短語塊

編輯：黃飛

?