一文了解成分句法分析

常见方法

句法结构分析可以分为基于规则的分析方法、基于统计的分析方法以及近年来基于深度学习的方法等。

基于规则的分析方法：其基本思路是由人工组织语法规则，建立语法知识库，通过条件约束和检查来实现句法结构歧义的消除。

基于统计的分析方法：统计句法分析中目前最成功当属基于概率上下文无关文法(PCFG或SCFG)。该方法采用的模型主要包括词汇化的概率模型(lexicalized probabilistic model)和非词汇化的概率模型(unlexicalized probabilistic model)两种。

基于深度学习的分析方法：近几年深度学习在nlp基础任务取得了不错的效果，也涌现出了不少论文。

短语结构树可以被一一对应地转化成依存关系树，反过来则不然，因为一棵依存关系树可能对应多个短语结构树。转化方法可以通过如下实现：

根据中心词表，为句法树中每个结点选择中心子结点；

同一层内将非中心子结点的中心词依存到中心子结点的中心词上，下一层的中心词依存到上一层的中心词上，从而得到相应的依存结构。

StanfordCoreNLP

斯坦福的，提供成分句法分析功能。

Github地址：https://github.com/Lynten/stanford-corenlp

官网：https://stanfordnlp.github.io/CoreNLP/

# 安装：pip install stanfordcorenlp

# 国内源安装：pip install stanfordcorenlp -i https://pypi.tuna.tsinghua.edu.cn/simple

# 使用stanfordcorenlp进行句法成分分析

# 先下载模型，下载地址：https://nlp.stanford.edu/software/corenlp-backup-download.html

fromstanfordcorenlp importStanfordCoreNLP

# 对中文进行句子成分分析

zh_model = StanfordCoreNLP( r'stanford-corenlp-full-2018-02-27', lang= 'zh')

s_zh = '我爱自然语言处理技术！'

con_zh = zh_model.parse(s_zh)

print(con_zh)

(IP

(IP

(NP (NN 我爱))

(ADVP (AD 自然))

(NP (NN 语言))

(VP (VV 处理)

(NP (NN 技术))))

(PU ！)))

# 对英文进行句子成分分析

eng_model = StanfordCoreNLP( r'stanford-corenlp-full-2018-02-27')

s_eng = 'I love natural language processing technology!'

con_eng = eng_model.parse(s_eng)

print(con_eng)

(ROOT

(S

(NP (PRP I))

(VP (VBP love)

(NP (JJ natural) (NN language) (NN processing) (NN technology)))

(. !)))

Berkeley Parser

伯克利大学nlp组开源的工具。提供英文的句法分析功能。

官方地址：http://nlp.cs.berkeley.edu/software.shtml

SpaCy

Gihub地址：https://github.com/explosion/spaCy

官网：https://spacy.io/

代码已上传：https://github.com/yuquanle/StudyForNLP/blob/master/NLPbasic/Constituency.ipynb

1. 统计自然语言处理

2. 中文信息处理报告-2016

往 期 推 荐

ID:StudyForAI

学习AI学习ai(爱)

期待与您的相遇~返回搜狐，查看更多