收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

加入自注意力机制的BERT命名实体识别模型

毛明毅  吴晨  钟义信  陈志成  
【摘要】:命名实体识别属于自然语言处理领域词法分析中的一部分,是计算机正确理解自然语言的基础。为了加强模型对命名实体的识别效果,本文使用预训练模型BERT(bidirectional encoder representation from transformers)作为模型的嵌入层,并针对BERT微调训练对计算机性能要求较高的问题,采用了固定参数嵌入的方式对BERT进行应用,搭建了BERT-BiLSTM-CRF模型。并在该模型的基础上进行了两种改进实验。方法一,继续增加自注意力(self-attention)层,实验结果显示,自注意力层的加入对模型的识别效果提升不明显。方法二,减小BERT模型嵌入层数。实验结果显示,适度减少BERT嵌入层数能够提升模型的命名实体识别准确性,同时又节约了模型的整体训练时间。采用9层嵌入时,在MSRA中文数据集上F_1值提升至94.79%,在Weibo中文数据集上F_1值达到了68.82%。

知网文化
【相似文献】
中国期刊全文数据库 前12条
1 王子牛;姜猛;高建瓴;陈娅先;;基于BERT的中文命名实体识别方法[J];计算机科学;2019年S2期
2 严佩敏;唐婉琪;;基于改进BERT的中文文本分类[J];工业控制计算机;2020年07期
3 梁文桐;朱艳辉;詹飞;冀相冰;;基于BERT的医疗电子病历命名实体识别[J];湖南工业大学学报;2020年04期
4 岳一峰;黄蔚;任祥辉;;一种基于BERT的自动文本摘要模型构建方法[J];计算机与现代化;2020年01期
5 周奇安;李舟军;;基于BERT的任务导向对话系统自然语言理解的改进模型与调优方法[J];中文信息学报;2020年05期
6 任莹;;基于预训练BERT模型的客服工单自动分类研究[J];云南电力技术;2020年01期
7 方英兰;孙吉祥;韩兵;;基于BERT的文本情感分析方法的研究[J];信息技术与信息化;2020年02期
8 本刊讯;;Google开源BERT模型源代码[J];数据分析与知识发现;2018年11期
9 顾佳怡;;基于BERT模型的政策条件识别研究[J];科技视界;2020年07期
10 胡春涛;秦锦康;陈静梅;张亮;;基于BERT模型的舆情分类应用研究[J];网络安全技术与应用;2019年11期
11 许宋烁;张梓光;张小芳;周敏;;基于BERT和方面注意力的方面情感分析方法[J];无线互联科技;2020年16期
12 李灵芳;杨佳琦;李宝山;杜永兴;胡伟健;;基于BERT的中文电子病历命名实体识别[J];内蒙古科技大学学报;2020年01期
中国博士学位论文全文数据库 前1条
1 张坤丽;基于知识融合的产科电子病历多标记分类研究[D];郑州大学;2019年
中国硕士学位论文全文数据库 前20条
1 王楠禔;基于BERT改进的文本表示模型研究[D];西南大学;2019年
2 杨彬;基于BERT词向量和Attention-CNN的智能司法研究[D];大连理工大学;2019年
3 元成;基于BERT的保险领域问答系统的研究与实现[D];北方民族大学;2020年
4 廖佳路;基于BERT的电网故障事件抽取与应急预案推荐方法研究[D];武汉科技大学;2020年
5 王昆;基于混合神经网络和BERT的文本方面级情感分析研究[D];华中师范大学;2020年
6 郑荐中;基于BERT的微博文本情感引导[D];西华大学;2020年
7 丁晶;基于BERT嵌入和残差连接的中文电子病历命名实体识别研究[D];浙江工商大学;2019年
8 党圣;基于BERT迁移学习的开放域知识图谱智能问答系统研究与实现[D];河北大学;2020年
9 向营;基于BERT和NLPIR的数学应用题向量化词性标注[D];华中师范大学;2020年
10 胡澔;基于BERT的神经排序模型研究[D];华中师范大学;2020年
11 许晨彬;基于Bert的深层语义特征提取在复句层次结构分析中的应用[D];华中师范大学;2020年
12 张琰;一种基于BERT的中文NL2SQL模型[D];山东大学;2020年
13 王雪晴;面向智慧检务的案件要素抽取关键技术研究[D];哈尔滨工业大学;2020年
14 郑旭如;基于深度学习的数据脱敏研究[D];哈尔滨工业大学;2020年
15 谭杰;基于Attention-Based BertCNN的文本相似度计算方法研究[D];武汉邮电科学研究院;2020年
16 任晓伟;基于深度学习的电商平台用户评论情感分类研究[D];青岛科技大学;2020年
17 朱虹;基于神经网络和自注意力机制的文本表示与分类研究[D];西南大学;2020年
18 刘斌;基于自注意力机制的文本分类研究[D];中国地质大学(北京);2020年
19 吕向如;中文专利知识图谱构建研究[D];北京信息科技大学;2019年
20 焦妍;基于双向多维注意力机制的共指消解模型研究[D];江西财经大学;2020年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978