AINLP – 我爱自然语言处理

感谢大家的支持，这里整理了一份阅读清单，文末附上很多资源的关键词索引，欢迎收藏和分享。AINLP致力于做一个有趣有AI的自然语言处理社区，欢迎关注：

如何学习NLP和NLP相关资源 如何学习自然语言处理：一本书和一门课 如何学习自然语言处理：NLP领域经典《自然语言处理综论》英文版第三版更新 这门斯坦福大学自然语言处理经典入门课，我放到B站了 数学之美中盛赞的 Michael Collins 教授，他的NLP课程要不要收藏？ 学自然语言处理，其实更应该学好英语 李纪为博士：初入NLP领域的一些小建议 老宋同学的学习建议和论文：听说你急缺论文大礼包？ 从老宋的角度看，自然语言处理领域如何学习？ 刘知远老师NLP研究入门之道：NLP推荐书目 NLP研究入门之道：自然语言处理简介 NLP研究入门之道：走近NLP学术界 NLP研究入门之道：如何通过文献掌握学术动态 NLP研究入门之道：如何写一篇合格的学术论文 NLP研究入门之道：本科生如何开始科研训练 自然语言理解难在哪儿？ 好的研究想法从哪里来 你是如何了解或者进入NLP这个领域的？ NLP is hard! 自然语言处理太难了系列

腾讯词向量和相似词、相似度、词语游戏系列 相似词查询：玩转腾讯 AI Lab 中文词向量 玩转腾讯词向量：词语相似度计算和在线查询 腾讯词向量实战：通过Annoy进行索引和快速查询 玩转腾讯词向量：Game of Words（词语的加减游戏） 词向量游戏：梅西-阿根廷+葡萄牙=? 腾讯 800 万中文词向量 API Demo 搭建 相似词检索，近义词查询，同义词大全，这里不仅仅限于中文

NLP相关工具及在线测试（公众号对话测试） 五款中文分词工具在线PK: Jieba, SnowNLP, PkuSeg, THULAC, HanLP 中文分词工具在线PK新增：FoolNLTK、LTP、StanfordCoreNLP Python中文分词工具大合集：安装、使用和测试 八款中文词性标注工具使用及在线测试 百度深度学习中文词法分析工具LAC试用之旅 来，试试百度的深度学习情感分析工具 AINLP公众号新增SnowNLP情感分析模块 斯坦福大学NLP组Python深度学习自然语言处理工具Stanza试用 中文命名实体识别工具（NER）哪家强？

自动对联及作诗机 风云三尺剑，花鸟一床书---对联数据集和自动对联机器人 自动对联活动获奖结果以及机器对联赏析 "自动作诗机"上线，代码和数据都是公开的 鼠年春节，用 GPT-2 自动写对联和对对联 用 GPT-2 自动写诗，从五言绝句开始 自动作诗机&藏头诗生成器：五言、七言、绝句、律诗全了 仅供娱乐，藏尾诗生成器来了

夸夸聊天机器人及其他技能 一行Python代码实现夸夸聊天机器人 为了夸夸聊天机器人，爬了一份夸夸语料库 夸夸聊天机器人升级：从随机到准个性化 来，试试语音（识别）聊天（机器人） 来，试试成语接龙 推荐一份中文数据，来试试汉字、词语、成语、歇后语在线检索 AINLP公众号新增"狗屁不通文章生成器"接口 来，试试彩虹屁生成器

BERT及预训练模型相关文章

张俊林博士系列解读： 放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较 预训练在自然语言处理的发展: 从Word Embedding到BERT模型 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 Bert时代的创新（应用篇）：Bert在NLP各领域的应用进展 效果惊人的GPT 2.0模型：它告诉了我们什么 XLNet:运行机制及和Bert的异同比较

高开远同学系列： BERT源码分析PART I BERT源码分析PART II BERT源码分析PART III 站在BERT肩膀上的NLP新秀们（PART I） 站在BERT肩膀上的NLP新秀们（PART II） 站在BERT肩膀上的NLP新秀们（PART III） Nvidia League Player：来呀比到天荒地老 Dive into BERT：语言模型与知识 当BERT遇上知识图谱 中文预训练模型ERNIE超详细使用指南

老宋的茶书会系列： 听说你还没读过 Bert 源码？ Bert 之后：预训练语言模型与自然语言生成 就最近看的paper谈谈预训练语言模型发展 Bert 改进： 如何融入知识 ALBERT 告诉了我们什么？

太子長琴同学系列： BERT论文笔记 XLNet 论文笔记 ERNIE Tutorial（论文笔记 + 实践指南） DistilBERT Understanding

邱震宇同学系列： 模型压缩实践系列之——layer dropout 模型压缩实践系列之——bert-of-theseus，一个非常亲民的bert压缩方法 模型压缩实践收尾篇——模型蒸馏以及其他一些技巧实践小结

张贵发同学系列： 一步步理解BERT 最新语言表示方法XLNet 深度剖析知识增强语义表示模型——ERNIE

艾力亚尔同学的文章： NLP - 基于 BERT 的中文命名实体识别（NER) NLP - BERT/ERNIE 文本分类和部署

SunYanCN同学的文章： 详解BERT阅读理解 简单高效的Bert中文文本分类模型开发和部署

其他预训练模型相关： BERT相关论文、文章和代码资源汇总 12个NLP预训练模型的学习笔记 transformer-XL与XLNet笔记 Reformer: The Efficient Transformer 逆向而行，中文轻量级预训练模型的探索之路 【NLP】ALBERT粗读（李如同学） BERT 的演进和应用 吴金龙博士的解读：BERT时代与后时代的NLP 谷歌BERT模型深度解析 BERT_Paper_Chinese_Translation: BERT论文中文翻译版 【Github】BERT-train2deploy：BERT模型从训练到部署 BERT/注意力机制/Transformer/迁移学习NLP资源大列表：awesome-bert-nlp NLP中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert 中文预训练ALBERT模型来了：小模型登顶GLUE，Base版模型小10倍速度快1倍 超小型bert横空出世：训练和预测提速10倍 RoBERTa for Chinese：大规模中文预训练RoBERTa模型 中文语言理解基准测评(chineseGLUE)来了，公开征集数据集进行中 CLUECorpus2020：可能是史上最大的开源中文语料库以及高质量中文预训练模型集合 最简单的BERT模型调用方法 【Github】BERT-NER-Pytorch：三种不同模式的BERT中文NER实验

中文分词 中文分词文章索引和分词数据资源分享 自然语言理解太难了之中文分词八级测试 中文分词工具评估：chinese-segmentation-evaluation 简单有效的多标准中文分词

命名实体识别 【论文笔记】命名实体识别论文 一文详解深度学习在命名实体识别(NER)中的应用 中文NER任务实验小结报告——深入模型实现细节 CLUENER2020：中文细粒度命名实体识别数据集来了

关系提取 关系提取简述 【论文】Awesome Relation Classification Paper（关系分类）（PART I） 【论文】Awesome Relation Classification Paper（关系分类）（PART II） 【论文】Awesome Relation Extraction Paper（关系抽取）（PART III） 【论文】Awesome Relation Extraction Paper（关系抽取）（PART IV） 【论文】Awesome Relation Extraction Paper（关系抽取）（PART V）

文本分类/情感分析 几个可作为Baseline的文本分类模型 清华THUNLP多标签分类论文笔记：基于类别属性的注意力机制解决标签不均衡和标签相似问题 【论文串烧】基于特定实体的文本情感分类总结（PART I） 基于特定实体的文本情感分类总结（PART II） 基于特定实体的文本情感分类总结（PART III） 深度学习实践：从零开始做电影评论文本情感分析 5个例子，秒懂分类算法（达观数据王子豪） NLP - 15 分钟搭建中文文本分类模型

文本摘要 抛开模型，探究文本自动摘要的本质——ACL2019 论文佳作研读系列 文本自动摘要任务的“不完全”心得总结 BottleSum——文本摘要论文系列解读 文本自动摘要任务的“不完全”心得总结番外篇——submodular函数优化 文本摘要(text summarization)最新研究热点、发展趋势，里程碑论文推荐 2015-2019年摘要模型（Summarization Model）发展综述（一） 2015-2019年摘要模型（Summarization Model）发展综述（二） 真正理解指针生成网络——Summarization with Pointer-Generator Networks

对话系统/对话系统/聊天机器人 生成式对话seq2seq：从rnn到transformer QA问答系统中的深度学习技术实现 从产品完整性的角度浅谈chatbot 来谈谈那些很棒的检索式Chatbots论文（一） 来谈谈那些很棒的检索式Chatbots论文（二） Rasa介绍：对话系统、产品与技术 基于RASA的task-orient对话系统解析（一） 基于RASA的task-orient对话系统解析（二）——对话管理核心模块 基于RASA的task-orient对话系统解析（三）——基于rasa的会议室预定对话系统实例 Rasa入坑指南一：初识Rasa Rasa 入坑指南二：基于 Rasa 构建天气查询机器人 做对话机器人的各家企业，都在关注哪些问题 从互联网爬虫、自动驾驶到对话机器人，什么是Semantic（语义）？ 谈谈文本匹配和多轮检索

知识图谱 “原子”因果常识图谱 知识图谱存储与查询：自然语言记忆模块（NLM） 知识图谱从哪里来：实体关系抽取的现状与未来

阅读理解 阅读理解之（bidaf）双向注意力流网络 陈丹琦博士论文翻译：神经阅读理解与超越（Neural Reading Comprehension and Beyond）

机器翻译 Philipp Koehn大神的神经网络机器翻译学习资料：NMT Book 清华大学NLP组整理的机器翻译论文阅读清单 机器翻译中的强化学习：优点、缺点以及不足

文本生成 电脑也能写出连贯的文章吗?

推荐系统 当我们谈论“推荐系统”时在谈论什么？ 推荐系统中的矩阵分解技术 受限玻尔兹曼机原理及在推荐系统中的应用 推荐系统召回四模型之：全能的FM模型 推荐系统召回四模型之二：沉重的FFM模型 推荐系统技术演进趋势：从召回到排序再到重排 【Github】深度学习在推荐系统中的应用及论文小结

论文笔记 用腻了 CRF，试试 LAN 吧？ Meta-Learning：Learning to Learn and Applications 可解释性论文阅读笔记1-Tree Regularization 可解释性论文阅读笔记2-Leveraging Language Models 使用Python复现SIGKDD2017的PAMAE算法(并行k-medoids算法) From Word Embeddings To Document Distances 阅读笔记 Node2Vec 论文+代码笔记

竞赛相关 AI Challenger 2017 奇遇记 AI Challenger 2018 简记 AI Challenger 2018 文本挖掘类竞赛相关代码及解决方案汇总 AI Challenger 2018 机器翻译冠军参赛总结 AI Challenger_2018英中文本机器翻译_参赛小结 AI Challenger 2018 冠军 PPT 分享---细粒度情感分析赛道 AI Challenger 2018 冠军代码分享---细粒度情感分析赛道 AI Challenger 2018 第4名PPT分享---细粒度情感分析赛道 提供一个10分钟跑通 AI Challenger 细粒度用户评论情感分析的fastText Baseline FlyAI算法竞赛平台初体验 法研杯要素识别第二名方案总结：多标签分类实践与效果对比 2019法研杯比赛--阅读理解任务第4名团队参赛总结 法研杯cail2019阅读理解比赛记录（第5名团队分享） 【Github】2019年达观信息提取比赛第九名代码和答辩PPT CCF BDCI2019 金融信息负面及主体判定 冠军方案解析 flyai医疗智能问答比赛小结 【Github】Data Competition Top Solution: 数据竞赛top解决方案开源整理

求职相关 2021 校招算法岗， 劝退还是继续 EE转CS，拿了多个行业offer，最终选择NLP算法岗的同学的秋招总结 14种模式解决面试算法编程题（PART I） 14种模式解决面试算法编程题（PART II） 2020秋招总结：凡是过往，皆为序章 【Github】NLPer-Interview: NLP 算法工程师相关的面试题 【Github】ML-NLP：机器学习、NLP面试中常考到的知识点和代码实现

开源项目及资源 中文自然语言处理相关的开放任务，数据集，以及当前最佳结果 【Github】nlp-paper: 按主题分类的自然语言处理文献大列表 CLUEDatasetSearch：搜索所有中文数据集，附常用英文数据集 用于中文闲聊的GPT2模型：GPT2-chitchat 中文歌词生成，缺不缺语料？这里有一个开源项目值得推荐 深度学习资源大列表：关于深度学习你需要了解的一切 funNLP: 从文本中抽取结构化信息的超级资源包 NLP 2018 Highlights：2018自然语言处理技术亮点汇总 NLP Chinese Corpus项目：大规模中文自然语言处理语料 Awesome-Chinese-NLP：中文自然语言处理相关资料 Jiagu：中文深度学习自然语言处理工具 上百种预训练中文词向量：Chinese-Word-Vectors lazynlp：构建大规模语料库的"懒人"工具箱 关于聊天机器人，这里有一份中文聊天语料库资源 复旦NLP实验室NLP上手教程 AI算法工程师手册 NLP学习新资料：旧金山大学2019夏季自然语言处理课程 中文自然语言处理数据集：ChineseNLPCorpus 【Github】nlp-journey: NLP相关代码、书目、论文、博文、算法、项目资源链接 NeuralNLP-NeuralClassifier：腾讯开源深度学习文本分类工具 【Github】Chinese-poetry: 最全中华古诗词数据库 【Github】ML-NOTE：注重数学推导的机器学习算法整理 【Github】All4NLP：自然语言处理相关资源整理 【Github】GPT2-Chinese：中文的GPT2训练代码 【Github】nlp-tutorial：TensorFlow 和 PyTorch 实现各种NLP模型 【Github】nlp-roadmap：自然语言处理路相关路线图（思维导图）和关键词（知识点） 【Github】TextCluster：短文本聚类预处理模块 Short text cluster 基于Netty的联机版坦克大战 【数据集】OCR_DataSet：有关OCR的数据集并统一标注格式

其他相关文章 神经网络佛系炼丹手册 通过Docker部署深度学习项目环境 GPU 显存不足怎么办？ 大幅减少GPU显存占用：可逆残差网络(The Reversible Residual Network) AINLP-DBC GPU 使用体验指南 用 SQL 而不是 Python 处理文本数据 200行写一个自动微分工具 定个小目标，发它一个亿条微博语料 推荐两份NLP读书笔记和一份NLTK书籍代码中文注释版 微软深度学习入门教程更新 Gilbert Strang教授的MIT公开课：数据分析、信号处理和机器学习中的矩阵方法 Python 网页爬虫 & 文本处理 & 科学计算 & 机器学习 & 数据挖掘兵器谱 如何计算两个文档的相似度一 如何计算两个文档的相似度二 如何计算两个文档的相似度三 Hands-on Machine Learning with Scikit-Learn and TensorFlow 学习笔记 感知智能到认知智能中对知识的思考 polyglot：Pipeline 多语言NLP工具 A/B测试的数学原理与深入理解 详解TensorFlow™ GPU 安装 fastText原理及实践 中国科学技术大学计算机学院课程资源：USTC-CS-Courses-Resource 那些值得推荐和收藏的线性代数学习资源

公开课、开源书籍或者学习笔记等 认真推荐一份深度学习笔记：简约而不简单 自然语言处理经典《Speech and Language Processing》第三版最新版下载（含第二版） 强化学习圣经：《强化学习导论》第二版（附PDF下载） 2019斯坦福CS224n深度学习自然语言处理课程视频和相关资料分享 CS224N 2019最全20视频分享：斯坦福大学深度学习自然语言处理课程资源索引 CMU-2020最新《神经网络自然语言处理》课程视频+课件+代码分享（附下载） 宅家追课正当时，李宏毅老师2020新课深度学习与人类语言处理正式开放上线 86岁MIT教授Gilbert Strang的线性代数小课：2020新视野下的线性代数 Springer面向公众开放电子书籍，附65本数学、编程、机器学习、深度学习、数据挖掘、数据科学等书籍链接及打包下载 新书下载 | 面向机器学习的数学（Mathematics for Machine Learning） 【新书】从Word2Vec到BERT的自然语言处理嵌入进展，附下载 机器学习数学全书，1900 页 PDF 下载 李航老师《统计学习方法（第二版）》清华大学课件完整版下载！ 400页《TensorFlow 2.0 深度学习算法实战》中文版教材免费下载（附随书代码+pdf） 图文并茂！746页机器学习笔记等你领取（附下载） 2020最新版《神经网络与深度学习》中文版更新完毕，pdf开放下载

其他资源关键字 AINLP聊天机器人除了日常搭讪外，还负责回复用户的日常查询，所以为一些关注度比较高的文章和NLP资源做了关键字和索引，分散在以前的一些文章介绍里，这里再统一贴出来：

1、关注AINLP公众号，后台回复 “文章、历史消息、历史、history、存档” 任一关键字获取历史文章存档消息。

2、回复“正态分布，rickjin, 正态分布前世今生, 正态分布文章, 正太分布, 正太, 正态”任一关键字获取Rickjin正态分布前世今生系列：

正态分布系列文章索引

3、回复“nlp, 自然语言处理，学习自然语言处理，学习nlp, 如何学习nlp，如何学习自然语言处理” 任一关键字获取文章：如何学习自然语言处理

4、回复"slp" 获取：斯坦福NLP书籍和课程网盘链接和密码

5、回复"slp3" 获取：自然语言处理综论英文版第三版及斯坦福NLP课程链接和密码

6、回复"ng" 获取：Andrew Ng老师课程相关资料链接和密码

7、回复"aic" 获取：AI Challenger 2018 文本挖掘类竞赛相关代码及解决方案汇总 博客版本持续更新，欢迎提供线索：https://www.52nlp.cn/?p=10998

8、回复"bert" 获取：BERT相关论文、文章和代码资源汇总 博客版本持续更新：https://www.52nlp.cn/?p=10870

9、回复"HMM" 获取：HMM学习最佳范例全文PDF HMM学习最佳范例全文PDF文档及相关文章索引

10、回复"Hinton" 获取：面向机器学习的神经网络公开课视频及课件 Geoffrey Hinton 大神面向机器学习的神经网络公开课及相关视频资料

11、回复"NLTK" 获取： NLTK相关资料 Python自然语言处理工具NLTK学习导引及相关资料

12、回复"youhua"获取：优化相关资料 凸优化及无约束最优化相关资料

13、回复"xiandai"获取：线性代数相关资料 那些值得推荐和收藏的线性代数学习资源

14、回复"cs224n"获取：深度学习自然语言处理课程最新视频： 2019斯坦福CS224n深度学习自然语言处理课程视频和相关资料分享 斯坦福大学深度学习自然语言处理课程CS224N 2019 全20个视频分享

15、回复"kuakua"获取：夸夸语料库（500条） 为了夸夸聊天机器人，爬了一份夸夸语料库

16、回复"fenci"获取：中文分词相关资源 中文分词文章索引和分词数据资源分享

17、回复”tongjixuexi”获取：李航老师统计学习方法第一版PPT（清华大学深圳研究生院袁春老师精心制作） 李航老师《统计学习方法（第二版）》出版及统计学习方法第一版PPT课件下载

18、回复"nmt"获取：Philipp Koehn大神的神经网络机器翻译学习资料：NMT Book

关于AINLP

AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括文本摘要、智能问答、聊天机器人、机器翻译、自动生成、知识图谱、预训练模型、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLP君微信(id：AINLP2)，备注工作/研究方向+加群目的。