| 风险事件文本分类(达观杯Rank4) | 您所在的位置：网站首页 › 达观杯 › 风险事件文本分类(达观杯Rank4) |
|
向AI转型的程序员都关注了这个号👇👇👇 机器学习AI算法工程 公众号：datayx 在大数据和人工智能技术加持下，不同行业各种新兴的风险控制手段也正在高速发展。但这些风险信息散落在互联网的海量资讯中，若能从中及时识别出风险事件并挖掘出潜在的风险特征，能够大幅提升识别和揭示风险的能力。而风险事件以文本的形式存在，需要采用自然语言理解模型实现风险事件的高精度智能识别，其本质是属于一个文本分类任务。 NLP（自然语言处理）作为人工智能领域皇冠上的“明珠”，其技术的科研创新一直精进不休。而文本分类在自然语言处理领域处于非常基础且核心的地位，目前文本分类已经广泛运用于金融、政务、银行、证券、运营商等各个行业中的多个场景中，如金融领域和政务领域的风险事件标签。 很多领域的子任务通常也转化成分类任务，完整的分类任务处理包括了分类标签体系、标注数据、算法模型等不同环节。 全部为脱敏数据（所有文字都转换成了数字表达）脱敏前的数据样例为： 全部代码获取方式： 关注微信公众号 datayx 然后回复 风险分类 即可获取。 模型结构我们最终的模型结构大致是： Bert --> BiLSTM 1层 --> BiGRU 1层 --> bert_pooler + 胶囊网络 --> Multi-Sample Dropout预测输出 同时加BiLSTM和BiGRU大概有接近一个点的提高。胶囊网络有的预训练模型有一点点提高，但有的有负效果。 还尝试过 用 max_pooling + avg_pooling + 胶囊网络 + bert_pooling等组合，效果均不如直接使用bert_pooler和胶囊网络。 模型融合 stacking跑了四折的四种预训练模型的stacking。最后的第二层预测使用的是xgboost，整体效果没有达到预期，线上得分仅0.5707 四折的四种模型效果如下： 效果不佳的原因可能和拆分四折的数据分布有关，导致单模分数不是很高。由于样本不均衡，原先的拆分方法是针对不同类别有放回的随机取样做五折，随机性比较大，不容易过拟合。 为了让模型凑齐所有训练集的预测特征，且不让数据有重复，我使用了无放回的采样，针对不同类别的样本，按顺序分段提取每折样本，并且根据数据id去了一遍重。在实验的时候发现不同折的数据分布对模型效果影响还蛮大的。 投票+rank/概率平均 投票在这次比赛效果非常好。 第一次融七个模型，模型平均分大概五十四五。 投票线上结果：0.5809投票，针对票数相同的结果，选择结果在每个模型的预测rank最靠前的作为结果：0.5852投票，针对票数相同的结果，选择每个预测结果的概率平均值最大的作为结果：0.5850根据七个模型的logits选最大的作为预测结果：0.5549根据预测的概率加和取平均的线上结果：0.5618模型平均分大概57.5分左右 投票+rank ：0.6201最后将所有线上得分超过60分的测试集结果再放到一起，再进行投票得到最后的最终成绩：0.6241 机器学习算法AI大数据技术 搜索公众号添加： datanlp 长按图片，识别二维码 阅读过本文的人还看了以下文章： TensorFlow 2.0深度学习案例实战 基于40万表格数据集TableBank，用MaskRCNN做表格检测 《基于深度学习的自然语言处理》中/英PDF Deep Learning 中文版初版-周志华团队 【全套视频课】最全的目标检测算法系列讲解，通俗易懂！ 《美团机器学习实践》_美团算法团队.pdf 《深度学习入门：基于Python的理论与实现》高清中文PDF+源码 《深度学习：基于Keras的Python实践》PDF和代码 特征提取与图像处理(第二版).pdf python就业班学习视频，从入门到实战项目 2019最新《PyTorch自然语言处理》英、中文版PDF+源码 《21个项目玩转深度学习：基于TensorFlow的实践详解》完整版PDF+附书代码 《深度学习之pytorch》pdf+附书源码 PyTorch深度学习快速实战入门《pytorch-handbook》 【下载】豆瓣评分8.1,《机器学习实战:基于Scikit-Learn和TensorFlow》 《Python数据分析与挖掘实战》PDF+完整源码 汽车行业完整知识图谱项目实战视频(全23课) 李沐大神开源《动手学深度学习》，加州伯克利深度学习（2019春）教材 笔记、代码清晰易懂！李航《统计学习方法》最新资源全套！ 《神经网络与深度学习》最新2018版中英PDF+源码 将机器学习模型部署为REST API FashionAI服装属性标签图像识别Top1-5方案分享 重要开源！CNN-RNN-CTC 实现手写汉字识别 yolo3 检测出图像中的不规则汉字 同样是机器学习算法工程师，你的面试为什么过不了？ 前海征信大数据算法：风险概率预测 【Keras】完整实现‘交通标志’分类、‘票据’分类两个项目，让你掌握深度学习图像分类 VGG16迁移学习，实现医学图像识别分类工程项目 特征工程(一) 特征工程(二) :文本数据的展开、过滤和分块 特征工程(三):特征缩放,从词袋到 TF-IDF 特征工程(四): 类别特征 特征工程(五): PCA 降维 特征工程(六): 非线性特征提取和模型堆叠 特征工程(七)：图像特征提取和深度学习 如何利用全新的决策树集成级联结构gcForest做特征工程并打分？ Machine Learning Yearning 中文翻译稿 蚂蚁金服2018秋招-算法工程师（共四面）通过 全球AI挑战-场景分类的比赛源码(多模型融合) 斯坦福CS230官方指南：CNN、RNN及使用技巧速查（打印收藏） python+flask搭建CNN在线识别手写中文网站 中科院Kaggle全球文本匹配竞赛华人第1名团队-深度学习与特征工程 不断更新资源 深度学习、机器学习、数据分析、python 搜索公众号添加： datayx |
| 今日新闻 |
| 推荐新闻 |
| 专题文章 |
| CopyRight 2018-2019 实验室设备网 版权所有 |