一种有效的概率上下文无关文法分析算法

朱胜火周明刘昕黄昌宁

【摘要】：句法分析的研究是自然语言处理领域的一个重要组成部分．该文提出并实现了一种有效的概率上下文无关文法ＳＣＦＧ（ｓｔｏｃｈａｓｔｉｃｃｏｎｔｅｘｔ－ｆｒｅｅｇｒａｍｍａｒ）的分析算法．首先对原有的ＧＬＲ分析表加以改造，以便能够利用分析过程的控制结构来计算有关的概率；然后对分析过程中的每个状态增设了下标，以区分不同的归约路径．通过上述手段，成功地引入了状态的前向（Ｆｏｒｗａｒｄ）概率和内（Ｉｎｎｅｒ）概率．利用这两个概率可以计算输入句子的所有可能分析树的概率，用于选择最佳的分析结果．通过对大规模真实文本进行实验，结果表明，这种算法具有较高的分析效率．

【作者单位】：清华大学计算机科学与技术系智能技术与系统国家重点实验室
【关键词】： SCFG（stochastic context－free grammar） 分析算法 GLR算法 Earley算法 自然语言处理
【基金】：国家自然科学基金,航天预研基金
【分类号】：TP301,TP18
【正文快照】：

概率的上下文无关文法ＳＣＦＧ（ｓｔｏｃｈａｓｔｉｃｃｏｎｔｅｘｔ－ｆｒｅｅｇｒａｍｍａｒ）或ＰＣＦＧ（ｐｒｏｂａｂｉｌｉｓｔｉｃｃｏｎｔｅｘｔ－ｆｒｅｅｇｒａｍｍａｒ）在上下文无关文法ＣＦＧ（ｃｏｎｔｅｘｔ－ｆｒｅｅｇｒａｍｍａｒ）的基础上加入了概率模

下载全文更多同类文献

PDF全文下载

CAJ全文下载

(如何获取全文？欢迎：购买知网充值卡、在线充值、在线咨询)

CAJViewer阅读器支持CAJ、PDF文件格式，AdobeReader仅支持PDF格式

	【引证文献】
	【引证文献】

中国期刊全文数据库

前3条

1	刘蓓,杜利民;汉语口语对话系统中语义分析的消歧策略[J];中文信息学报;2005年01期
2	李虎,金茂忠,许福,张敏;程序设计语言的GLR优化分析[J];软件学报;2005年02期
3	李向宏,王丁,黄成哲,雷国华;自然语言句法分析研究现状和发展趋势[J];微处理机;2003年02期

中国硕士学位论文全文数据库

前2条

1	王玉美;基于神经网络的汉语文法分析专家系统的设计与实现[D];北京工业大学;2003年
2	张瑞霞;基于语义的汉语句法分析系统的研究与实现[D];西北大学;2005年

	【同被引文献】
	【同被引文献】

中国期刊全文数据库

前10条

1	李迎春,迟呈英,孙冀侠;改进的上下文无关文法及其语法分析[J];鞍山科技大学学报;2003年01期
2	张俐,李晶皎,胡明涵,姚天顺;中文WordNet的研究及实现[J];东北大学学报(自然科学版);2003年04期
3	孙宏林,俞士汶;浅层句法分析方法概述[J];当代语言学;2000年02期
4	冯志伟;自然语言处理中的概率语法[J];当代语言学;2005年02期
5	周俊生;戴新宇;尹存燕;陈家骏;;基于层叠条件随机场模型的中文机构名自动识别[J];电子学报;2006年05期
6	刘小冬,李学良,张蕾;知识图综述[J];工程数学学报;2000年S1期
7	郭艳华,周昌乐;自然语言理解研究综述[J];杭州电子工业学院学报;2000年01期
8	郭艳华,周昌乐;一种汉语语句依存关系网分析策略与生成算法研究[J];浙江大学学报(理学版);2000年06期
9	赵军,黄昌宁;结合句法组成模板识别汉语基本名词短语的概率模型[J];计算机研究与发展;1999年11期
10	李素建,刘群,白硕;统计和规则相结合的汉语组块分析[J];计算机研究与发展;2002年04期

中国重要会议论文全文数据库

前2条

1	张浩;刘群;白硕;;结构上下文相关的概率句法分析[A];第一届学生计算语言学研讨会论文集[C];2002年
2	张亮;陈家骏;;基于大规模语料库的句法模式匹配研究[A];内容计算的研究与应用前沿——第九届全国计算语言学学术会议论文集[C];2007年

中国博士学位论文全文数据库

前3条

1	詹卫东;面向中文信息处理的现代汉语短语结构规则研究[D];北京大学;1999年
2	徐艳华;现代汉语实词语法功能考察及词类体系重构[D];南京师范大学;2006年
3	李素建;汉语组块计算的若干研究[D];中国科学院研究生院（计算技术研究所）;2002年

中国硕士学位论文全文数据库

前7条

1	吴雪敏;汉语语句的计算机分析[D];电子科技大学;2001年
2	梁以敏;基于统计的汉语词性标注方法的研究[D];大连理工大学;2004年
3	王朔;基于Chart算法的句法分析系统的设计与实现[D];湖南大学;2005年
4	周美希;汉语语句组块及消歧的研究与实现[D];电子科技大学;2005年
5	朱国华;文本信息处理中汉语句法分析方法研究[D];大连理工大学;2006年
6	程亮;自然语言机务信息中语义句式的研究[D];南京航空航天大学;2006年
7	王敏;基于改进的隐马尔科夫模型汉语词性标注[D];山西大学;2007年

	【二级引证文献】
	【二级引证文献】

中国期刊全文数据库

前1条

1	尹一瓴,陈群秀;现代汉语语义知识库用于句法分析的研究[J];计算机应用;2004年S2期

中国博士学位论文全文数据库

前4条

1	冯敏萱;论汉英平行语料的平行处理[D];南京师范大学;2006年
2	蒲宝山;较薄煤层高效开采工作面设备优化配套研究[D];煤炭科学研究总院;2006年
3	张亮;面向开放域的中文问答系统问句处理相关技术研究[D];南京理工大学;2006年
4	何琳;古农学本体的半自动构建及检索研究[D];南京农业大学;2007年

中国硕士学位论文全文数据库

前10条

1	耿春霞;基于机械设计领域的汉语句法分析研究[D];西安电子科技大学;2004年
2	刘亚清;基于词义的汉语排歧方法研究[D];南京理工大学;2004年
3	赵德玉;汉语句法分析技术及其在机器人辅助教育智能接口中的应用研究[D];天津师范大学;2004年
4	王朔;基于Chart算法的句法分析系统的设计与实现[D];湖南大学;2005年
5	高荣钊;句法结合语义的分析方法在机械产品设计领域中的应用[D];西安电子科技大学;2005年
6	李巍;基于NN-LSVM的日语依存关系解析[D];大连理工大学;2006年
7	尹鹏;基于SVM的中文组块间依存关系分析[D];大连理工大学;2006年
8	殷亚玲;基于概念图的相关反馈系统的研究与实现[D];西北大学;2006年
9	杨洋;基于SVM的确定性中文依存关系解析[D];大连理工大学;2006年
10	刘杰;基于唐诗语料词的提取与统计分析的研究[D];吉林大学;2006年

	【相似文献】
	【相似文献】

中国期刊全文数据库

前6条

1	郭永辉,吴保民,王炳锡;一个基于GLR算法的英汉机器翻译浅层句法分析器[J];计算机工程与应用;2004年34期
2	赵亚琴,周献中;基于神经网络的GLR句法分析算法[J];计算机应用;2005年06期
3	朱胜火,周明,刘昕,黄昌宁;一种有效的概率上下文无关文法分析算法[J];软件学报;1998年08期
4	朱敬国;吐尔根·依布拉音;张路;任宏宇;;基于GLR算法的维吾尔语句法分析研究[J];现代计算机(专业版);2011年08期
5	丁向民;徐斌;;基于GLR算法的新型概率句法分析器[J];计算机工程与应用;2009年32期
6	孟遥,赵铁军,李生;面向机器翻译系统句法分析器的研究与实现[J];黑龙江工程学院学报;2002年03期

中国硕士学位论文全文数据库

前2条

1	胡芊;基于概率上下文无关文法的汉语句法分析方法研究[D];北京邮电大学;2009年
2	徐斌;基于PCFG-HDSM模型的语义句式识别[D];南京航空航天大学;2008年

	快捷付款方式		订购知网充值卡	订购热线	帮助中心
	银行卡支付宝神州行	知网卡手机短信更多>>	免费送卡上门银行汇款购卡邮局汇款购卡	400-819-9993 800-810-6613 010-62985026	常见问题在线咨询阅读器下载	广告服务意见反馈关于知网