面向农民的问答系统设计与实现

论文摘要

当今网络上存在大量的与农民有关的信息资源,但大部分农民科技认知水平低,面对海量多样的信息资源,往往无从下手,无法找到自己需要的信息。此外,在当今流行的搜索引擎如Google、百度中能找到大量的与搜索项有关的信息,但其内容正确与否无法保证,指导农民实际应用存在一定风险。更重要的是,输入相关问题后这些搜索引擎返回的是相关的网页信息,而非简洁、准确的答案,这仍需要农民去阅读筛选,使用极其不方便。如何利用现有的农业信息及生活常识信息这些与农民密切相关的信息资源,针对农民的提问,提供准确、简洁的答案,使多数农民受益,是一个亟待解决的问题。面向农民的问答系统是将农业及生活常识类信息通过数据库形式组织起来,针对农民提出的问题,利用问答系统的思想提供准确的答案。本文的研究主要是基于贾君枝博士主持的山西省人文社科基地项目“山西省农民信息服务研究”(20093004)而展开。系统由四个模块组成：本地数据源构建、问句处理、信息检索和答案抽取。根据系统实现的步骤,本文分六章来研究。第一章分析国内外面向农民的问答系统的研究现状,提出本文研究的理论与现实意义。第二章阐述如何利用目前流行的网页抓取、分析及数据库构建技术构建检索的后台数据源。第三章分析收集的相关问句,总结特征,结合领域特点提出适合本系统的问句处理方式。第四章介绍了本系统信息检索的流程,提出了基于多特征加权融合的句子相似度计算方法。第五章根据问题的答案类型,将问题分为两大类(事实型问题和非事实型问题)进行答案抽取。第六章实现了一个面向农民的问答系统。本系统实现中使用了统计学相关方法,采用搜索引擎的关键技术和问答系统的核心技术。本文的研究结果是开发一个面向农民的问答系统,针对农民科技认知水平低的特点,为其提供简单、方便、快捷、有针对性的信息,使多数农民受益。本文研究具有一定的理论价值和实际应用价值。

论文目录

• 中文摘要
• ABSTRACT
• 第一章 绪论
• 1.1 论文背景及现实意义
• 1.2 面向农民的问答系统国内外研究现状
• 1.3 本文的主要研究内容
• 1.4 本文实现的系统结构
• 1.5 本文的创新与不足
• 第二章 面向农民的问答系统数据源构建
• 2.1 数据源构建方法及流程
• 2.1.1 数据源构建方法
• 2.1.2 数据源构建流程
• 2.2 Nutch搜索引擎
• 2.2.1 Nutch功能
• 2.2.2 Nutch平台配置
• 2.3 网页获取
• 2.3.1 网址确定
• 2.3.2 页面抓取
• 2.4 网页分析
• 2.4.1 网页分析方法
• 2.4.2 DOM树
• 2.4.3 基于DOM树的网页正文信息抽取
• 2.5 结构化数据库构建
• 2.5.1 语言技术平台（LTP）介绍
• 2.5.2 数据库构建过程
• 本章小结
• 第三章 面向农民的问答系统问句处理
• 3.1 基于问题库的问句特征分析
• 3.2 系统的问句处理流程
• 3.3 问句预处理
• 3.3.1 客气词过滤
• 3.3.2 词法分析
• 3.4 问句分类
• 3.4.1 问句分类模板库的建立
• 3.4.2 问句分析与归类
• 3.5 问句句法分析
• 3.6 关键词提取、扩展及加权
• 本章小结
• 第四章 面向农民的问答系统信息检索
• 4.1 系统的信息检索流程
• 4.2 句子相似度计算方法
• 4.3 基于句子不同特征的相似度计算
• 4.4 多特征加权融合的句子相似度计算
• 本章小结
• 第五章 面向农民的问答系统答案抽取
• 5.1 候选答案句分类处理
• 5.2 事实型问题答案抽取
• 5.2.1 命名实体及其识别方法
• 5.2.2 基于HMM与自动规则相结合的实体识别技术
• 5.3 非实事型问题答案抽取
• 5.3.1 段落理解技术
• 5.3.2 自动文摘技术
• 5.3.3 系统的答案抽取方法
• 本章小结
• 第六章 系统实现与效果分析
• 6.1 Farmer-Oriented Q&A System的开发环境
• 6.2 Farmer-Oriented Q&A System的系统功能结构
• 6.3 Farmer-Oriented Q&A System的运行流程
• 6.4 Farmer-Oriented Q&A System的效果分析
• 本章小结
• 参考文献
• 攻读学位期间取得的研究成果
• 致谢
• 个人简况及联系方式