收藏本站
收藏 | 投稿 | 手机打开
二维码
手机客户端打开本文

基于深度神经网络模型的中文分词方案

许峰  张雪芬  忻展红  
【摘要】:针对目前已有的分词算法和程序在处理海量网络文本分词时性能下降的问题,本文提出了一种基于深度神经网络模型的中文分词方案。该方案利用基于长短期记忆网络的编码-解码模型对数据模型进行训练,并采用得到的模型进行分词。为了提升分词性能,进一步提出了一种基于词向量的修正方法,对采用上述模型的分词结果进行修正。对典型微博语料数据集的实验结果表明,提出基于模型的分词性能相对于传统的分词软件的分词性能有了较大提升。采用提出的词向量修正方法修正后的分词准确率和F值略优于未修正的分词准确率和F值,从而验证了论文提出的分词方案的有效性。

知网文化
【相似文献】
中国期刊全文数据库 前16条
1 叶晓龙;;中文分词关键技术研究[J];湖北农机化;2017年06期
2 索浩东;;中文分词[J];中国文艺家;2019年02期
3 ;IK Analyzer 2012发布中文分词库[J];硅谷;2012年06期
4 胡婕;张俊驰;;双向循环网络中文分词模型[J];小型微型计算机系统;2017年03期
5 薛源;;基于深度学习算法的中文分词的研究[J];计算机产品与流通;2019年05期
6 吴熠潇;;中文分词相关算法研究[J];科技经济导刊;2018年02期
7 张生杰;霍丹;;基于语义信息的中文分词研究[J];电脑知识与技术;2018年22期
8 赵月斋;;一种基于词频统计的中文分词方法[J];科技展望;2016年10期
9 方玉萍;万荣;方达;;中文分词中歧义字段处理的研究[J];电子世界;2019年12期
10 李康康;龙华;;基于词的关联特征的中文分词方法[J];通信技术;2018年10期
11 林琳;;一种改进的单向扫描中文分词方法[J];科学技术创新;2017年33期
12 贾利新;张斌;;一种中文分词的动态规划模型[J];数学建模及其应用;2015年01期
13 刘遥峰;王志良;王传经;;中文分词和词性标注模型[J];计算机工程;2010年04期
14 王乔乐;;中文分词和词向量[J];中国新通信;2018年23期
15 杨海丰;陈明亮;赵臻;;常用中文分词软件在中医文本文献研究领域的适用性研究[J];世界科学技术-中医药现代化;2017年03期
16 王娟;曹庆花;黄精籼;胡忠胜;;基于受限领域的中文分词系统[J];信息系统工程;2011年11期
中国重要会议论文全文数据库 前10条
1 黄昌宁;赵海;;由字构词——中文分词新方法[A];中文信息处理前沿进展——中国中文信息学会二十五周年学术会议论文集[C];2006年
2 黄居仁;;瓶颈,挑战,与转机:中文分词研究的新思维[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
3 吴晶晶;荆继武;王平建;;一种基于词典的新型中文分词机制[A];全国网络与信息安全技术研讨会论文集(上册)[C];2007年
4 李玉梅;靳光瑾;黄昌宁;;中文分词规范中的歧义字段消解细则[A];第五届全国语言文字应用学术研讨会论文集[C];2007年
5 何赛克;王小捷;董远;张韬政;白雪;;归一化的邻接类别方法在基于条件随机场的中文分词中的应用[A];中国计算机语言学研究前沿进展(2007-2009)[C];2009年
6 徐志明;揭春雨;Jonathan ebster;;一种自适应概率语言模型的训练方法及其应用于中文分词[A];语言计算与基于内容的文本处理——全国第七届计算语言学联合学术会议论文集[C];2003年
7 王敏;叶宽余;薛峰;;一种面向网店商品搜索的中文分词系统设计[A];全国第22届计算机技术与应用学术会议(CACIS·2011)暨全国第3届安全关键技术与应用(SCA·2011)学术会议论文摘要集[C];2011年
8 修驰;宋柔;;基于“大词”实例的中文分词研究[A];中国计算语言学研究前沿进展(2009-2011)[C];2011年
9 栗振江;杨洋;李丽;;智能问答系统[A];2011年全国通信安全学术会议论文集[C];2011年
10 任飞亮;石磊;姚天顺;;应用支持向量机进行中文分词[A];全国第八届计算语言学联合学术会议(JSCL-2005)论文集[C];2005年
中国博士学位论文全文数据库 前7条
1 修驰;适应于不同领域的中文分词方法研究与实现[D];北京工业大学;2013年
2 奚宁;统计机器翻译中的中文分词策略研究[D];南京大学;2013年
3 何嘉;基于遗传算法优化的中文分词研究[D];电子科技大学;2012年
4 张国校;基于深层神经网络模型的浅层语义解析统计研究[D];暨南大学;2017年
5 王雨农;基于视觉注意机制的神经网络模型研究及应用[D];中国科学技术大学;2017年
6 喻维;软件缺陷报告管理关键技术研究[D];华南理工大学;2018年
7 任飞亮;高适应性基于实例的机器翻译中关键技术研究[D];东北大学;2008年
中国硕士学位论文全文数据库 前10条
1 李雪莲;基于神经网络的中文分词方法研究与实现[D];厦门大学;2017年
2 张越;面向食品安全突发事件中文分词方法的研究[D];南京农业大学;2017年
3 程志远;基于神经网络的中文分词研究[D];郑州大学;2019年
4 徐玉慧;中文N-gram分词模型改进[D];天津财经大学;2018年
5 江明旭;基于有效子串的最大熵中文分词方法[D];天津财经大学;2018年
6 黄丹丹;基于深度学习的中文分词和关键词抽取模型研究[D];北京邮电大学;2019年
7 严倩;面向法律文书的中文分词方法研究[D];苏州大学;2018年
8 赵坦;基于扩展词库中文分词方法的购物网站系统的研究与实现[D];辽宁大学;2018年
9 刘玉德;基于深度学习的中文分词方法研究[D];华南理工大学;2018年
10 慕容伟波;基于GRU神经网络结合CRF的中文分词研究分析[D];华南理工大学;2018年
中国重要报纸全文数据库 前1条
1 记者 吴苡婷;用技术挖出网络信息中“金子”[N];上海科技报;2009年
 快捷付款方式  订购知网充值卡  订购热线  帮助中心
  • 400-819-9993
  • 010-62982499
  • 010-62783978