收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于BERT预训练语言模型的电网设备缺陷文本分类

田园  原野  刘海斌  满志博  毛存礼  
【摘要】:电网设备缺陷部位识别是设备故障分析的关键环节。该文提出一种基于预训练语言模型双向Transformers偏码表示(Bidirectional encoder representation from transformers,BERT)的电网设备缺陷文本分类方法。基于BERT预训练语言模型对电网设备缺陷部位文本进行预训练生成具有上下文特征的词嵌入(Word embedding)向量作为模型输入,然后,利用双向长短时记忆(Bi-directional long short-term memory)网络对输入的电网设备缺陷文本向量进行双向编码提取表征缺陷文本的语义表征,并通过注意力机制增强电网设备缺陷文本中与缺陷部位相关的领域词汇的语义特征权重,进而得到有助于电网设备缺陷部位分类的语义特征向量。通过模型的归一化层实现电网设备缺陷部位文本分类。在主变压器、SF6真空断路器这两种设备缺陷文本数据集上实验结果表明,提出的方法比基于BiLSTM-Attention模型的F_1值分别提升了2.77%和2.95%。

知网文化
【相似文献】
中国期刊全文数据库 前2条
1 任莹;;基于预训练BERT模型的客服工单自动分类研究[J];云南电力技术;2020年01期
2 赵晓平;马文;刘雪萍;陈达;;一种面向科技项目文本的相似度度量方法[J];电子技术应用;2020年05期
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978