自然语言处理之词性标注集 – 标点符

数据, 术→技巧

词性标注（Part-of-Speech tagging 或POS tagging)，又称词类标注或者简称标注，是指为分词结果中的每个单词标注一个正确的词性的程序，也即确定每个词是名词、动词、形容词或其他词性的过程。词主要可以分为以下2类：

这篇文章梳理的不是如何进行词性标注，而是介绍一些常用的词性标注集。

目录

PFR语料库是对人民日报1998年上半年的纯文本语料进行了词语切分和词性标注制作而成的，严格按照人民日报的日期、版序、文章顺序编排的。文章中的每个词语都带有词性标记。目前的标记集里有26个基本词类标记（名词n、时间词t、处所词s、方位词f、数词m、量词q、区别词b、代词r、动词v、形容词a、状态词z、副词d、介词p、连词c、助词u、语气词y、叹词e、拟声词o、成语i、习惯用语l、简称j、前接成分h、后接成分k、语素g、非语素字x、标点符号w）外，从语料库应用的角度，增加了专有名词（人名nr、地名ns、机构名称nt、其他专有名词nz）；从语言学角度也增加了一些标记，总共使用了40多个个标记。

美丽/a  ，

看似/v  抽象/a  ，

幻象/n  易/ad  逝/Vg  ，

单音节区别词和单音节名词或名语素组合，作为一个词，并标以名词词性n。

雄鸡/n， 雌象/n， 女魔/n， 古币/n

少数“单音节区别词+双音节词”的结构作为一个词。

总书记/n ，

煞/Dg  是/v  喜人/a  ，

办事处/n  的/u  “/w  准/h  政府/n  ”/w  功能/n  不断/d  加强/v  ,

义无反顾/i  ,

文教/j  ,

身体/n  健康/a  者/k  ,

落到实处/l  ,

凡/d  “/w  寅/Mg  年/n  ”/w  中/f  出生/v  的/u  人/n  生肖/n  都/d  属/v  虎/n  ,

但少数数量词已是词典的登录单位，则不再切分。

一个/m  ,   一些/m  ,

2. 基数、序数、小数、分数、百分数一律不予切分，为一个切分单位，标注为 m 。

一百二十三/m，20万/m，  123.54/m,  一个/m,   第一/m， 第三十五/m，   20%/m，  三分之二/m， 千分之三十/m,  几十/m 人/n， 十几万/m 元/q，  第一百零一/m 个/q  ,

3. 约数，前加副词、形容词或后加“来、多、左右”等助数词的应予分开。

约/d 一百/m 多/m 万/m，仅/d 一百/m 个/q， 四十/m 来/m 个/q，二十/m 余/m 只/q， 十几/m 个/q，三十/m 左右/m  ，

两个数词相连的及“成百”、“上千”等则不予切分。

五六/m 年/q， 七八/m 天/q，十七八/m  岁/q，  成百/m 学生/n，上千/m  人/n，

4．表序关系的“数＋名”结构，应予切分。

二/m  连/n ，　三/m  部/n  ,

理/v 了/u 一/m 次/q 发/Ng,

岗位/n  ,  城市/n  ,  机会/n  ,

她/r  是/v  责任/n  编辑/n  , ( 编辑/v  科技/n  文献/n )

张/nr 仁伟/nr，  欧阳/nr 修/nr，  阮/nr 志雄/nr，  朴/nr 贞爱/nr

汉族人除有单姓和复姓外，还有双姓，即有的女子出嫁后，在原来的姓上加上丈夫的姓。如：陈方安生。这种情况切分、标注为：陈/nr  方/nr  安生/nr；唐姜氏，切分、标注为：唐/nr  姜氏/nr。

2. 姓名后的职务、职称或称呼要分开。

江/nr 主席/n，  小平/nr 同志/n，   江/nr 总书记/n，张/nr 教授/n，   王/nr 部长/n，     陈/nr 老总/n，               李/nr 大娘/n，   刘/nr 阿姨/n，    龙/nr 姑姑/n

3. 对人的简称、尊称等若为两个字，则合为一个切分单位，并标以nr。

老张/nr， 大李/nr， 小郝/nr,   郭老/nr，  陈总/nr

4. 明显带排行的亲属称谓要切分开，分不清楚的则不切开。

三/m 哥/n，   大婶/n，    大/a 女儿/n，  大哥/n,  小弟/n,   老爸/n

5. 一些著名作者的或不易区分姓和名的笔名通常作为一个切分单位。

鲁迅/nr，  茅盾/nr，  巴金/nr， 三毛/nr，  琼瑶/nr，  白桦/nr

6. 外国人或少数民族的译名（包括日本人的姓名）不予切分，标注为nr。

克林顿/nr，  叶利钦/nr， 才旦卓玛/nr， 小林多喜二/nr， 北研二/nr,

华盛顿/nr，  爱因斯坦/nr

有些西方人的姓名中有小圆点，也不分开。

卡尔·马克思/nr

安徽/ns，深圳/ns，杭州/ns，拉萨/ns，哈尔滨/ns，  呼和浩特/ns，          乌鲁木齐/ns，长江/ns，黄海/ns，太平洋/ns， 泰山/ns， 华山/ns，亚洲/ns,    海南岛/ns，太湖/ns，白洋淀/ns,  俄罗斯/ns，哈萨克斯坦/ns，彼得堡/ns，   伏尔加格勒/ns

1. 国名不论长短，作为一个切分单位。

中国/ns， 中华人民共和国/ns， 日本国/ns，  美利坚合众国/ns， 美国/ns

2. 地名后有“省”、“市”、“县”、“区”、“乡”、“镇”、“村”、“旗”、“州”、“都”、“府”、“道”等单字的行政区划名称时，不切分开，作为一个切分单位。

四川省/ns， 天津市/ns，景德镇/ns沙市市/ns， 牡丹江市/ns，正定县/ns，海淀区/ns,  通州区/ns，东升乡/ns，  双桥镇/ns  南化村/ns，华盛顿州/ns，俄亥俄州/ns，东京都/ns， 大阪府/ns，北海道/ns， 长野县/ns，开封府/ns，宣城县/ns

3. 地名后的行政区划有两个以上的汉字，则将地名同行政区划名称切开，不过要将地名同行政区划名称用方括号括起来，并标以短语NS。

[芜湖/ns 专区/n] NS，

[宣城/ns 地区/n]ns，

[内蒙古/ns 自治区/n]NS，

[深圳/ns 特区/n]NS，

[厦门/ns 经济/n 特区/n]NS，

[香港/ns 特别/a  行政区/n]NS，

[香港/ns 特区/n]NS，

[华盛顿/ns  特区/n]NS,

4. 地名后有表示地形地貌的一个字的普通名词，如“江、河、山、洋、海、岛、峰、湖”等，不予切分。

鸭绿江/ns，亚马逊河/ns, 喜马拉雅山/ns, 珠穆朗玛峰/ns，地中海/ns，大西洋/ns，洞庭湖/ns， 塞普路斯岛/ns

5. 地名后接的表示地形地貌的普通名词若有两个以上汉字，则应切开。然后将地名同该普通名词标成短语NS。

[台湾/ns 海峡/n]NS，[华北/ns 平原/n]NS，[帕米尔/ns 高原/n]NS，           [南沙/ns 群岛/n]NS，[京东/ns 大/a 峡谷/n]NS  [横断/b 山脉/n]NS

6．地名后有表示自然区划的一个字的普通名词，如“ 街，路，道，巷，里，町，庄，村，弄，堡”等，不予切分。

中关村/ns，长安街/ns，学院路/ns，  景德镇/ns, 吴家堡/ns, 庞各庄/ns，  三元里/ns，彼得堡/ns, 北菜市巷/ns,

7．地名后接的表示自然区划的普通名词若有两个以上汉字，则应切开。然后将地名同自然区划名词标成短语NS。

[米市/ns 大街/n]NS, [蒋家/nz 胡同/n]NS  , [陶然亭/ns 公园/n]NS  ,

8． 大小地名相连时的标注方式为：

北京市/ns 海淀区/ns 海淀镇/ns [南/f 大街/n]NS [蒋家/nz 胡同/n]NS 24/m 号/q  ,

联合国/nt，中共中央/nt，国务院/nt，  北京大学/nt

1．大多数团体、机构、组织的专有名称一般是短语型的，较长，且含有地名或人名等专名，再组合，标注为短语NT。

[中国/ns 计算机/n 学会/n]NT，

[香港/ns 钟表业/n 总会/n]NT,

[烟台/ns 大学/n]NT,

[香港/ns  理工大学/n]NT,

[华东/ns  理工大学/n]NT,

[合肥/ns 师范/n 学院/n]NT，

[北京/ns 图书馆/n]NT,

[富士通/nz 株式会社/n]NT,

[香山/ns 植物园/n]NT,

[安娜/nz 美容院/n]NT，

[上海/ns 手表/n 厂/n]NT，

[永和/nz 烧饼铺/n]NT，

[北京/ns 国安/nz 队/n]NT,

2. 对于在国际或中国范围内的知名的唯一的团体、机构、组织的名称即使前面没有专名，也标为nt或NT。

联合国/nt,国务院/nt，外交部/nt，  财政部/nt，教育部/nt, 国防部/nt，

[世界/n 贸易/n 组织/n]NT，

[国家/n 教育/vn 委员会/n]NT，

[信息/n 产业/n 部/n]NT，

[全国/n 信息/n 技术/n 标准化/vn 委员会/n]NT，

[全国/n 总/b 工会/n]NT，

[全国/n 人民/n 代表/n 大会/n]NT，

美国的“国务院”，其他国家的“外交部、财政部、教育部”，必须在其所属国的国名之后出现时，才联合标注为NT。

[美国/ns 国务院/n]NT，

[法国/ns 外交部/n]NT，

[美/j 国会/n]NT，

日本有些政府机构名称很特别，无论是否出现在“日本”国名之后都标为nt。

[日本/ns 外务省/nt]NT，

[日/j 通产省/nt]NT

通产省/nt

3. 前后相连有上下位关系的团体机构组织名称的处理方式如下:

[联合国/nt  教科文/j  组织/n]NT， [中国/ns  银行/n  北京/ns  分行/n]NT，

[河北省/ns  正定县/ns  西平乐乡/ns  南化村/ns  党支部/n]NT，

当下位名称含有专名（如“北京/ns 分行/n”、“南化村/ns 党支部/n”、“昌平/ns 分校/n”）时，也可脱离前面的上位名称单独标注为NT。

[中国/ns 银行/n]NT  [北京/ns 分行/n]NT，

北京大学/nt  [昌平/ns  分校/n]NT，4. 团体、机构、组织名称中用圆括号加注简称时:

[宝山/ns  钢铁/n （/w 宝钢/j ）/w  总/b  公司/n]NT，

[宝山/ns  钢铁/n  总/b  公司/n]NT，（/w 宝钢/j ）/w

24/m  K/nx  镀金/n ,

C/nx  是/v  光速/n ,

Windows98/nx ,

PentiumIV/nx ,

I LOVE THIS GAME/nx  ,

除人名、国名、地名、团体、机构、组织以外的其他专有名词都标以nz。

满族/nz，俄罗斯族/nz，汉语/nz，罗马利亚语/nz， 捷克语/nz，中文/nz,  英文/nz， 满人/nz， 哈萨克人/nz， 诺贝尔奖/nz， 茅盾奖/nz,

1.包含专有名称（或简称）的交通线，标以nz；短语型的，标为NZ。

津浦路/nz， 石太线/nz，

[京/j  九/j  铁路/n]NZ,

[京/j  津/j  高速/b  公路/n]NZ，

2. 历史上重要事件、运动等专有名称一般是短语型的，按短语型专有名称处理，标以NZ。

[卢沟桥/ns  事件/n]NZ, [西安/ns  事变/n]NZ，[五四/t  运动/n]NZ,  [明治/nz  维新/n]NZ，[甲午/t  战争/n]NZ,

3.专有名称后接多音节的名词，如“语言”、“文学”、“文化”、“方式”、“精神”等，失去专指性，则应分开。

欧洲/ns  语言/n，  法国/ns  文学/n，  西方/ns  文化/n， 贝多芬/nr  交响乐/n,  雷锋/nr  精神/n,  美国/ns  方式/n，日本/ns  料理/n，  宋朝/t  古董/n

4. 商标（包括专名及后接的“牌”、“型”等）是专指的，标以nz，但其后所接的商品仍标以普通名词n。

康师傅/nr  方便面/n,  中华牌/nz 香烟/n,  牡丹III型/nz  电视机/n,  联想/nz  电脑/n,  鳄鱼/nz  衬衣/n，  耐克/nz  鞋/n

5. 以序号命名的名称一般不认为是专有名称。

2/m  号/q  国道/n ，十一/m  届/q  三中全会/j

如果前面有专名，合起来作为短语型专名。

[中国/ns  101/m  国道/n]NZ, [中共/j  十一/m  届/q  三中全会/j]NZ,

6. 书、报、杂志、文档、报告、协议、合同等的名称通常有书名号加以标识，不作为专有名词。由于这些名字往往较长，名字本身按常规处理。

《/w  宁波/ns  日报/n  》/w ，《/w  鲁迅/nr  全集/n  》/w,

中华/nz  读书/vn  报/n,       杜甫/nr  诗选/n，

少数书名、报刊名等专有名称，则不切分。红楼梦/nz， 人民日报/nz，儒林外史/nz

7. 当有些专名无法分辨它们是人名还是地名或机构名时，暂标以nz。

[巴黎/ns  贝尔希/nz   体育馆/n]NT,

其中“贝尔希”只好暂标为nz。

装载机/n  隆隆/o  推进/v  ,

以/p  煤/n  养/v  农/Ng  ,

为/p  治理/v  荒山/n  服务/v  ,

把/p  青年/n  推/v  上/v  了/u  领导/vn  岗位/n ,

首/m  批/q  ,

一/m  年/q  ,

本报/r，  每人/r，  本社/r，

本/r 地区/n，

各/r 部门/n

西部/s  交通/n  咽喉/n  ,

尊重/v  现/Tg  执政/vn  当局/n  的/u  权威/n  ,

1997年/t  3月/t  19日/t  下午/t  2时/t  18分/t

若数字后无表示时间的“年、月、日、时、分、秒”等的标为数词m。

1998/m  中文/n  信息/n  处理/vn  国际/n  会议/n

2. 历史朝代的名称虽然有专有名词的性质，仍标注为t。

西周/t，  秦朝/t， 东汉/t，  南北朝/t，  清代/t

“牛年、虎年”等一律不予切分，标注为：

牛年/t, 虎年/t,  甲午年/t，  甲午/t 战争/n，  庚子/t  赔款/n,   戊戌/t 变法/n

[[[欧盟/j  扩大/v]S  的/u  [历史性/n  决定/n]NP]NP  和/c  [北约/j  开放/v]S]NP-BL  [为/p  [创建/v  [一/m  种/q  新/a  的/u  欧洲/ns  安全/a  格局/n]NP]VP-SBI]PP-MD  [奠定/v  了/u  基础/n]V-SBI  ,

, 编辑/v  科技/n  文献/n , (她/r  是/v  责任/n  编辑/n  )

认为/v  是/v  电话局/n  收/v  错/vd  了/u  费/n  ,

收费/vn  电话/n  的/u  号码/n  ,

：/w

又/d  何在/v  呢/y  ？

四季/n  常青/z  的/u  热带/n  树木/n  ,

短短/z  几/m  年/q  间,

计算所汉语词性标记集（共计99个，22个一类，66个二类，11个三类）主要参考了以下词性标记集：

由于中科院计算所的汉语词法分析器主要采用北大《人民日报》语料库进行参数训练，因此本词性标记集主要以北大《人民日报》语料库的词性标记集为蓝本，并参考了北大《汉语语法信息词典》中给出的汉语词的语法信息。

形容词(1个一类，4个二类)

区别词(1个一类，2个二类)

连词(1个一类，1个二类)

副词(1个一类)

叹词(1个一类)

方位词(1个一类)

前缀(1个一类)

后缀(1个一类)

数词(1个一类，1个二类)

名词 (1个一类，7个二类，5个三类)

名词分为以下子类：

拟声词(1个一类)

介词(1个一类，2个二类)

量词(1个一类，2个二类)

代词(1个一类，4个二类，6个三类)

处所词(1个一类)

时间词(1个一类，1个二类)

助词(1个一类，15个二类)

动词(1个一类，9个二类)

标点符号(1个一类，16个二类)

字符串(1个一类，2个二类)

语气词(1个一类)

状态词(1个一类)

HanLP使用的HMM词性标注模型训练自2014年人民日报切分语料，随后增加了少量98年人民日报中独有的词语。所以，HanLP词性标注集兼容《ICTPOS3.0汉语词性标记集》，并且兼容《现代汉语语料库加工规范——词语切分与词性标注》。