| NLP | 您所在的位置：网站首页 › 任务当前对应的词语 › NLP |
NLP
|
词性: 语言中对词的一种分类方法，以语法特征为主要依据、兼顾词汇意义对词进行划分的结果, 常见的词性有14种, 如: 名词, 动词, 形容词等. 顾名思义, 词性标注(Part-Of-Speech tagging, 简称POS)就是标注出一段文本中每个词汇的词性. 举个栗子: 我爱自然语言处理 ==> 我/rr, 爱/v, 自然语言/n, 处理/vn rr: 人称代词 v: 动词 n: 名词 vn: 动名词词性标注的作用：词性标注以分词为基础, 是对文本语言的另一个角度的理解, 因此也常常成为AI解决NLP领域高阶任务的重要基础环节. 二、使用第三方工具包实现词性标注 1、使用LTP进行词性标注LTP 使用的是863词性标注集，其各个词性含义如下表。 jieba词性对照表: - a 形容词 - ad 副形词 - ag 形容词性语素 - an 名形词 - b 区别词 - c 连词 - d 副词 - df - dg 副语素 - e 叹词 - f 方位词 - g 语素 - h 前接成分 - i 成语 - j 简称略称 - k 后接成分 - l 习用语 - m 数词 - mg - mq 数量词 - n 名词 - ng 名词性语素 - nr 人名 - nrfg - nrt - ns 地名 - nt 机构团体名 - nz 其他专名 - o 拟声词 - p 介词 - q 量词 - r 代词 - rg 代词性语素 - rr 人称代词 - rz 指示代词 - s 处所词 - t 时间词 - tg 时语素 - u 助词 - ud 结构助词 得 - ug 时态助词 - uj 结构助词 的 - ul 时态助词 了 - uv 结构助词 地 - uz 时态助词 着 - v 动词 - vd 副动词 - vg 动词性语素 - vi 不及物动词 - vn 名动词 - vq - x 非语素词 - y 语气词 - z 状态词 - zg 3、使用hanlp进行中文词性标注 >>> import hanlp # 加载中文命名实体识别的预训练模型CTB5_POS_RNN_FASTTEXT_ZH >>> tagger = hanlp.load(hanlp.pretrained.pos.CTB5_POS_RNN_FASTTEXT_ZH) # 输入是分词结果列表 >>> tagger(['我', '的', '希望', '是', '希望', '和平']) # 结果返回对应的词性 ['PN', 'DEG', 'NN', 'VC', 'VV', 'NN'] 4、使用hanlp进行英文词性标注 >>> import hanlp # 加载英文命名实体识别的预训练模型PTB_POS_RNN_FASTTEXT_EN >>> tagger = hanlp.load(hanlp.pretrained.pos.PTB_POS_RNN_FASTTEXT_EN) # 输入是分词结果列表 >>> tagger(['I', 'banked', '2', 'dollars', 'in', 'a', 'bank', '.']) ['PRP', 'VBD', 'CD', 'NNS', 'IN', 'DT', 'NN', '.']hanlp词性对照表: 【Proper Noun——NR，专有名词】 【Temporal Noun——NT，时间名词】 【Localizer——LC，定位词】如“内”，“左右” 【Pronoun——PN，代词】 【Determiner——DT，限定词】如“这”，“全体” 【Cardinal Number——CD，量词】 【Ordinal Number——OD，次序词】如“第三十一” 【Measure word——M，单位词】如“杯” 【Verb：VA，VC，VE，VV，动词】 【Adverb：AD，副词】如“近”，“极大” 【Preposition：P，介词】如“随着” 【Subordinating conjunctions：CS，从属连词】 【Conjuctions：CC，连词】如“和” 【Particle：DEC,DEG,DEV,DER,AS,SP,ETC,MSP，小品词】如“的话” 【Interjections：IJ，感叹词】如“哈” 【onomatopoeia：ON，拟声词】如“哗啦啦” 【Other Noun-modifier：JJ】如“发稿/JJ 时间/NN” 【Punctuation：PU，标点符号】 【Foreign word：FW，外国词语】如“OK第三方工具包： 哈工大LTP首页 哈工大LTP4 文档 |
【本文地址】
公司简介
联系我们