人物动作识别的局部特征和生成模型研究
Local Feature and Generative Model for Human Action Recognition
本文针对视频中人体动作识别和分类的需求,设计和实现了具有较高准确率的人体动作识别系统.在设计系统的过程中,我们分析和评估了近年来国内外流行的动作检测和识别方法,在此基础上提出了新的系统和处理实际应用问题的方法;同时我们也进行了系统配置优化和执行效率优化方面的研究,并在公开的理论数据集和实际数据集上对系统进行测试验证,以及和国际领先水平的研究成果进行了比较.本文主要工作包括以下几个方面:(1)设计并实现了模块化的动作识别系统,系统采用流水线结构,降低了各部分的耦合.低耦合设计使得各模块内部使用的算法可以进行任意调整和组合,方便对单个算法和算法间的适用性进行评估.同时保证了整个系统的设计具有可扩展性,使后续的算法改进和功能模块添加非常方便.(2)在算法设计方面,我们使用本系统评估了多种目前国际领先的领域成果,分析他们对动作建模的方法和思路,以及不同方法在不同应用场景下的优势和弊端.我们采用泛化能力较强的bag-of-words表示,对视频检测时-空兴趣点,即沿着时间和空间方向局部变化最为明显的点,在这些点周围提取局部时-空特征.时-空特征采用多种扩展到三维(X轴、Y轴和时间轴)的局部特征方法,并对特征向量作聚类从而数量化表示,由此形成视觉词汇,将一段视频变换为一组视觉单词的集合.形成bag-of-words表示之后,我们设计使用LDA主题模型提取每个视频中的隐含主题,将视频表示为主题上的分布.视频之间的距离通过Bhattacharyya距离衡量,对于目标视频采用判别方法实施最终的分类.(3)对视频的识别过程,我们将其分为单一视频动作分类和长视频动作检测两种需求,对于后者我们设计了基于滑动窗口的高效的分割方法,令其转化为第一类情况处理.(4)我们将系统应用于公开的人体动作视频集以检验其表现,实验表明在公开数据集上,我们的方法与当前国际上最新领先的研究成果相比具有竞争力:在简单数据集上我们的系统优于所有bag-of-words方法,复杂数据集上在比目前国际最佳准确率略低的情况下,执行速度比其快将近20倍.通过实验,我们研究了视觉字典的规模和隐含主题的个数对系统表现的影响,对于今后构建实际投入使用的系统设置方法起到指导性的作用.
- 作者：
- 施惟
- 学位授予单位：
- 上海交通大学
- 专业名称：
- 计算机科学与技术
- 授予学位：
- 硕士
- 学位年度：
- 2013年
- 导师姓名：
- 张丽清
- 中图分类号：
- TP391.41
- 关键词：
- 动作检测；时-空兴趣点；三维局部特征；bag-of-words表示；主题模型
- action recognition；spatio-temporal interest point；local XYT feature；bag-of-words；topic model