概述
多媒体数据特别是视频数据以其丰富、直观而具体的信息表达形式成为最重要的信息载体，为人类传承着大量的信息和知识。以新闻视频为代表的多媒体情报将在政治、经济、军事和生活中大量涌现并发挥着越来越重要的作用。因此研究如何有效地管理大量的新闻视频数据，并从中挖掘出人们感兴趣的、有价值的潜在知识、模式和趋势已成为一个亟待解决的问题。
产品特点
青岛巨媒软件工程有限公司研制的"新闻视频资料加工系统"采用了云计算系统结构，使用图像检索、图像聚类、声纹识别、面部识别等技术，实现了视频镜头分割、场景提取、说话人识别、语音识别、新闻事件提取等业务应用，为新闻视频资源的有效利用提供产品。
系统总体结构
-
镜头自动提取
采用基于视频内容的模糊聚类方法对视频内容进行分析，使用B-样条拟合法进行镜头渐变检测，在实际应用中得到较好的效果。 -
场景处理
在镜头分割的基础上，针对相邻镜头内容进行视频场景拆分，关键技术涉及底层视觉特征、镜头分割技术和距离度量技术等，基于全局场景特征在视频序列中寻找频繁镜头集合，并通过局部语义特征精确定位视频场景边界对视频进行场景分割。 -
声纹识别
在传统声纹特征分析方法的基础上，加入了语音学特征分析，例如韵律、节奏、速度、语调等，能够更好的提取语音特征，并具有较好的抗噪性。 -
面部识别
采用区域特征分析技术，融合了图像处理技术与生物统计学原理，实现基于样本的面部识别。 -
语音识别
在语音增强、环境噪音消除、语音特征提取等方法的基础上，对隐马尔科夫模型进行改进，并结合贝叶斯方法，使本系统具有自适应能力，目前支持18种语言，对广播级标准发音的识别正确率可达90%以上。 -
新闻事件
在视频场景自动拆分的基础上，结合新闻内容分析和音频内容相关性分析，从视频中自动提取新闻事件，并利用人脸识别技术对提取出的新闻事件进一步分析，实现了对新闻事件的自动归类。 -
视频检索
自动提取并描述视频的特征和内容，包括：视频分割、视觉特征、颜色纹理、形状及运动与对象信息，实现基于内容的视频检索（CBVR）。
系统交互界面
技术优势
| 优势 | 说明 |
|---|---|
| 自适应体系结构 | 通过对系统底层资源合理粒化，结合云计算系统结构，实现了高度自适应的负载均衡和智能调度体系。 |
| 智能镜头分割 | 基于图像内容模糊聚类是B-样条拟合法实现高精度的镜头分割，并可自动判断镜头类型，如推、拉、特写镜头等，对新闻类视频，准确率可达95%以上。 |
| 自学习语音处理 | 语音处理支持18种语言，并可针对特定方言、特定人物进行智能学习，从而提高识别率。 |
| 多维度音频特征 | 在传统的MFCC、LPC等音频特征的基础上，融合了音频的语言学、语音学特征，实现了多维度音频特征，从而提高语音辨识能力。 |
| 基于内容的视频检索 | 在融合视频分割、视觉特征、颜色纹理、形状及运动与对象信息等分析技术的基础上，自动提取视频内容的高维度特征，实现高效的视频内容检索。 |
| 人物自动识别 | 综合利用人脸识别、说话人识别、语音识别、镜头分割和文本内容分析等技术，提取人物面部特征、声纹特征以及语音文本内容，从而确定人物的身份。 |
| 新闻事件自动识别 | 在镜头分割和语音识别的基础上，利用语言学原理，自动提取视频中的时间、地点、人物、组织机构等信息，并结合行为分析等技术，实现新闻事件的自动识别。 |
