基于多路视频捕获的分布式交互投影显示系统

论文摘要

近年来,以多点触控和互动投影为代表的交互显示系统和产品得到快速发展。其中有代表性的如：苹果公司的iPhone多点触控智能手机,微软公司的Surface互动投影桌和GestureTek公司的互动投影系统等。这类应用依靠直观、易用、新颖的交互体验,已经逐渐改变用户使用习惯,成为了一种新兴的应用类型,具有重要的产业意义和商业价值。除手机等移动触控设备外,现有的交互显示系统通常采用一台PC驱动单台投影仪的架构,利用计算机视觉技术进行交互分析。这样的方式成本低廉、易于搭建,在工业界和学术界都得到了广泛的应用。但受PC处理能力和投影仪硬件设备的限制,系统视频处理能力有限、显示分辨率也不高,无法应用于超大尺寸显示系统中,难以表现复杂的多媒体内容,不满足新的应用要求。同时现有的交互显示程序开发工具包功能还比较单一,通常只包含交互事件接收和处理模块,对交互显示效果开发方面的支持不够,交互显示效果开发工作量大,周期长。针对这一问题,本文给出了一套基于多路视频捕获的分布式交互投影显示系统,与现有的系统相比有如下特点：1)采用基于中央总控结点的分布式架构,子结点只完成视频捕获和视频预处理两个步骤,由中央总控结点接收汇总子结点视频处理结果后,进行全局交互分析,克服现有系统使用子结点的部分画面进行交互检测而引起的错误。2)利用视频帧之间的连贯性,将画面分割为多个视频块,仅发送前后两帧之间变化的视频块内容,减少发送视频处理结果操作的网络带宽需求,大幅提高系统支持的子结点数量。3)设计并实现了一套完整的分布式交互显示开发工具集,工具集包含了显示区域控制、多投影拼接等核心功能,并提供多点触控手势库、交互反馈显示和人工智能辅助模块,开发人员能够使用此工具集完成图片浏览、多人图画等典型多点触控类应用和超大尺寸互动投影应用。使用本系统已实现互动感应鲜花、智能交互鱼群、多点触控图片浏览、多人画图板、感应吧台等多个交互显示效果和应用,并已成功应用在2010上海世博会西藏馆超大尺寸互动投影系统等多个实际项目中。测试结果和实际应用表明本系统扩展性强、网络占用低,具有很强的实用性。

论文目录

• 摘要
• ABSTRACT
• 第一章 绪论
• 1.1 引言
• 1.2 本文工作
• 第二章 相关工作
• 2.1 交互显示系统应用
• 2.2 交互显示系统构建
• 2.2.1 多投影无缝拼接技术
• 2.2.2 分布式交互处理系统
• 2.3 交互程序开发工具集
• 2.4 本章小结
• 第三章 系统整体架构
• 3.1 系统整体架构
• 3.2 分布式交互处理
• 3.2.1 交互数据捕获
• 3.2.2 视频捕获同步
• 3.2.3 红外相机标定
• 3.2.4 深度数据校正
• 3.2.5 多路视频拼接
• 3.2.6 视频处理过程
• 3.2.7 处理结果发送
• 3.2.8 子结点数据同步
• 3.3 交互程序开发工具集
• 3.3.1 必选开发组件
• 3.3.2 可选开发组件
• 3.4 本章小结
• 第四章 分布式交互处理
• 4.1 整体架构说明
• 4.2 交互数据捕获
• 4.2.1 视频信号捕获
• 4.2.2 深度数据捕获
• 4.3 视频捕获同步
• 4.4 红外相机标定
• 4.5 深度检测校正
• 4.6 多路视频拼接
• 4.7 视频处理过程
• 4.8 处理结果发送
• 4.9 了结点数据同步
• 4.10 多投影无缝拼接
• 4.10.1 几何校正
• 4.10.2 颜色校正
• 4.11 本章小结
• 第五章 交互程序开发工具集
• 5.1 开发工具集整体框架
• 5.2 必选开发组件
• 5.2.1 交互数据处理
• 5.2.2 显示区域控制
• 5.2.3 投影拼接融合
• 5.2.4 必选开发组件小结
• 5.3 可选开发模块
• 5.3.1 多点触控手势库
• 5.3.2 交互反馈显示
• 5.3.3 人工智能辅助
• 5.3.4 可选开发组件小结
• 5.4 本章小结
• 第六章 系统测试
• 6.1 测试实验说明
• 6.2 红外相机标定
• 6.3 深度检测校正
• 6.4 处理结果发送
• 6.5 交互处理延迟
• 6.6 系统应用实例
• 6.6.1 上海世博会西藏馆
• 6.6.2 南京7-Club酒吧
• 6.7 本章小结
• 第七章 总结和未来工作
• 7.1 工作总结
• 7.2 未来工作
• 参考文献
• 致谢