当前位置：文档之家 › 申抒含-基于图像的大规模场景三维建模

申抒含-基于图像的大规模场景三维建模

  • 格式：pdf
  • 大小：5.51 MB
  • 文档页数：37

点云 模型化
三维 模型
稀疏重建(Structure from Motion)
多视角 图像
图像特征 提取匹配
稀疏重建
稀疏重建(Structure from Motion)
多视角图像
相机位姿+场景结构
N. Snavely, et. al., Bundler, IJCV 2008.
应用三：航拍图像三维地图构建
应用三：航拍图像三维地图构建
五相机航空倾斜摄影测量，单幅图像分辨率5600万像素
应用三：航拍图像三维地图构建
航空倾斜摄影城市三维重建
应用三：航拍图像三维地图构建
LOD1城市模型单体化和语义化
未来发展趋势
二维 图像
三维 点云
三维 网格
分割 识别
语义 模型
从三维几何感知到三维语义感知
应用一：中国古建三维数字化
五台山佛光寺天地、室内外一体化三维重建
应用二：三维数字化城市
Nokia街景
腾讯街景
四维图新街景
应用二：三维数字化城市
部分区域重建结果（总点云规模>10亿）
应用二：三维数字化城市
部分区域重建结果（总点云规模>10亿）
应用三：航拍图像三维地图构建
固定翼高空无人机 25平方公里地形，150幅高空无人机图像
有纹理模型
无纹理模型
点云建模(Point Cloud Modeling)
LOD建模 (CityGML)
点云建模(Point Cloud Modeling)
初始网格分割
建筑物部件分割
Lingjie Zhu, Shuhan Shen, Zhanyi Hu. 3DV, 2017
点云建模(Point Cloud Modeling)
无人车
服务机器人
AR
在与三维环境的交互过程中，除了对二维图像的理解，还需要对三 维环境的感知；
场景的三维结构和相机的六自由度空间位姿是智能机器人感知、决 策、动作的基础信息。
几何视觉的核心问题
三维几何视觉核心问题：场景结构+相机位姿+(相机参数)
途径一：Structure from Motion (SfM) + Multiple View Stereo (MVS) —多视角图像 —重建场景稀疏结构与相机位姿（off-line） —SfM后可通过MVS获得稠密场景结构（off-line） —SfM后可通过PnP计算相机实时位姿（on-line）
稠密重建(Multiple View Stereo)
点云建模(Point Cloud Modeling)
多视角 图像
图像特征 提取匹配
稀疏重建 （SfM）
稠密重建 （MVS）
点云 模型化
三维 模型
点云建模(Point Cloud Modeling)
无人机图像建筑物建模
点云建模(Point Cloud Modeling)
LOD1自动建模
大场景图像三维建模典型应用
无人车高精地图
古建三维数字化
数字城市
应用一：中国古建三维数字化
北京房山云居寺三维重建，1200幅无人机图像+3000幅地面图像
应用一：中国古建三维数字化
北京房山云居寺三维重建，1200幅无人机图像+3000幅地面图像
应用一：中国古建三维数字化
山西五台山佛光寺（2万张图像，3.7万平米）
稀疏重建(Structure from Motion)
稀疏重建(Structure from Motion)
稠密重建(Multiple View Stereo)
多视角 图像
图像特征 提取匹配
稀疏重建 （SfM）
稠密重建 （MVS）
点云 模型化
三维 模型
稠密重建(Multiple View Stereo)
稀疏重建(Structure from Motion)
特征点检测
特征点匹配
相机位姿(R,T)初始化
捆绑调整 优化相机位姿、相机
参数、场景结构
混合式稀疏重建： 1. 极几何图构造 2. 全局式求解Rotation 3. 增量式求解Translation
Hainan Cui, Xiang Gao, Shuhan Shen, Zhanyi Hu. CVPR 2017
基于图像的大规模场景三维建模
基于图像的大规模场景三维建模
输入 二维 图像
手机图像
无人机图像
街景车图像
图像全自动三维建模系统
输出 三维 模型
几何视觉与物体视觉
背部通道进行空间视觉，目前 主要采用基于几何的方法
V1
前额皮质通过信息
融合实现高级认知
腹部通道进行物体视觉，目前 主要采用基于学习的方法
几何视觉的核心问题
Shuhan Shen, Zhanyi Hu. IEEE T-IP, 2014 Shuhan Shen. IEEE T-IP, 2013
稠密重建(Multiple View Stereo)
基于随机传播的多视图稠密重建
稠密重建(Multiple View Stereo)
基于随机传播的多视图稠密重建
途径二：Simultaneous Localization and Mapping (SLAM) —视频序列 —重建场景稀疏/准稠密/稠密结构与相机位姿（on-line） —需要闭环检测+图优化（on-line）
图像三维重建基本流程
多视角 图像
图像特征 提取匹配
稀疏重建 （SfM）
稠密重建 （MVS）
Thanks !

合集下载

【CN109829443A】基于图像增强与3D卷积神经网络的视频行为识别方法【专利】

【CN109829443A】基于图像增强与3D卷积神经网络的视频行为识别方法【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910134439.6(22)申请日 2019.02.23(71)申请人 重庆邮电大学地址 400065 重庆市南岸区南山街道崇文路2号(72)发明人 黄江平　袁德森　袁书伟　黄啸锐　刘婉莹　(74)专利代理机构 重庆辉腾律师事务所 50215代理人 卢胜斌(51)Int.Cl.G06K 9/00(2006.01)G06K 9/46(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)(54)发明名称基于图像增强与3D卷积神经网络的视频行为识别方法(57)摘要本发明属于图像处理技术领域，具体涉及基于图像增强和3D卷积神经网络的视频行为识别方法，包括将输入的原始视频序列切分成帧，对各个帧图片进行预处理，并将其分别划分至训练集与测试集；将训练集图片输入行为区域增强网络进行训练，获得相应的掩码处理后图片；使用掩码处理后的图片序列训练3D卷积神经网络；输入测试集图片，获得该分支网络的测试集分类概率；将训练集图片输入3D卷积神经网络进行训练；输入测试集图片，得到该分支网络的测试集分类概率；将两分支网络的分类概率进行支持向量机模型训练，并得到最终的测试集检测结果。

本发明能够准确并实时识别出视频中人物的行为，且更加充分的利用图像信息，提高视频中行为识别的准确率。

权利要求书2页 说明书5页 附图2页CN 109829443 A 2019.05.31C N 109829443A1.基于图像增强和3D卷积神经网络的视频行为识别方法，其特征在于，包括以下步骤：S1：将输入的原始视频序列切分成帧，对各个帧图片进行预处理，并将其分别划分至训练集与测试集；S2：将训练集图片输入行为区域增强网络进行训练，获得相应的掩码处理后图片，从而得到人物行为信息增强的图像；S3：使用掩码处理后的图片序列训练3D卷积神经网络；输入测试集图片，获得该分支网络的测试集分类概率；S4：将训练集图片输入3D卷积神经网络进行训练；输入测试集图片，得到该分支网络的测试集分类概率；S5：将所得到的两分支网络的分类概率进行支持向量机模型训练，并得到最终的测试集检测结果。

一种基于OC的大规模场景可视化算法

一种基于OC的大规模场景可视化算法

一种基于OC的大规模场景可视化算法
赵玮;张力;陈福民
【期刊名称】《计算机应用与软件》
【年(卷),期】2007(024)012
【摘要】为了实现大规模三维场景的有效剔除,在简要分析了已有可视化算法之后,提出了一个完整的采用遮挡剔除的场景可视化算法.首先使用八叉树对场景进行组织和管理,接着在生成层次遮挡图的基础上,对潜在被遮挡体进行覆盖测试,并提出了可以较早结束测试的方法,随后根据硬件遮挡查询的结果将物体送往渲染.最后给出了一种基于开放图形引擎OGRE(Object-Oriented Graphics Rendering Engine)的实现架构以及算法特点分析.
【总页数】3页(P158-160)
【作者】赵玮;张力;陈福民
【作者单位】同济大学计算机科学与工程系,上海,200092;同济大学计算机科学与工程系,上海,200092;同济大学计算中心,上海,200092
【正文语种】中文
【中图分类】TP3
【相关文献】
1.基于大规模场景地形数据可视化方法研究 [J], 施松波
2.一种基于竞争转发的城市场景车载Ad Hoc网络路由算法 [J], 李元振;廖建新;李彤红;朱晓民
3.一种大规模三维地形场景的可视化与漫游算法 [J], 张雯
4.一种基于TIN的大规模地形实时可视化算法研究 [J], 董杰;汤松涛;韩敏
5.一种基于kd树的实时大规模地形可视化算法 [J], 姚定忠;何军;刘祎
因版权原因，仅展示原文概要，查看原文内容请购买。

基于3D max的虚拟现实房屋布局模型建立过程的研究

基于3D max的虚拟现实房屋布局模型建立过程的研究

基于3D max的虚拟现实房屋布局模型建立过程的研究钮冰姗;曹航程;王勤宏;刘思宇;宋雪锋【摘要】在现实生活中,随着房地产业的竞争加剧,传统意义上的表现图、沙盘、平面图等已经远远不能够满足现代消费者的需求,所以决策者应该把握当前的市场形势,将新技术运用到现实生活中.文章将3D max与虚拟现实结合起来,建立一种更加具有实用性并且简单易懂的三维房屋布局模型,并且利用迷宫算法来实现人在虚拟环境中的自由移动.【期刊名称】《无线互联科技》【年(卷),期】2016(000)012【总页数】2页(P93-94)【关键词】虚拟现实;3Dmax;房屋布局;迷宫算法【作者】钮冰姗;曹航程;王勤宏;刘思宇;宋雪锋【作者单位】河南师范大学,河南新乡 453007;河南师范大学,河南新乡 453007;河南师范大学,河南新乡 453007;河南师范大学,河南新乡 453007;河南师范大学,河南新乡 453007【正文语种】中文虚拟现实就是通过计算机技术，对现实或想象中的事物、环境以及运动进行三维景象和声音、味觉、感觉的实时模拟演示，与此同时，接受操作者的命令，实现特定目的，以此达到交互性的效果。

虚拟现实有3种含义，首先它是利用计算机来生成逼真的听觉、触觉、视觉、嗅觉等，其次，用户可以通过人的手势和头部转动等肢体语言来实现与环境的交互，最后，这个交互过程需要通过一些传感设备和三维设备来完成。

因此，将此技术应用于房屋布局中，能够达到最直观的交流效果，可以使客户在虚拟的现实系统中自由行走、任意观看，达到身临其境的效果。

1.1 获取房屋内部结构图片从有关建筑部门获取构建房屋的图纸资料，获得具体而精确的房屋内部家具摆设数据。

获得数据后，运用AutoCAD得到物体的平面图，然后再将平面图按照比例做成贴图，以便建立后面的实体模型。

1.2 房屋布局三维模型实体的建立1.2.1 房屋内部布局的家居陈设的建模在真实的世界里，描述一个空间里的物体，无论它的形状如何，人们都可以将其放入一个三维的立体空间，运用三维坐标（x，y，z）将其每一点准确地描述出来。

中国科学院大学模式识别国家重点实验室计算机视觉课件

中国科学院大学模式识别国家重点实验室计算机视觉课件


图像分割的难点
• 图像分割是中层视觉中的最基本问题，也是计算视觉和图像 理解中的最基本问题之一。它还是该领域国际学术界公认的 将会长期存在的最困难的问题之一。
• 图像分割之所以困难的一个重要原因是其并不完全属于图象 特征提取问题，它还涉及到各种图像特征的知觉组织。
阈值法
阈值法基本原理：通过设定不同的特征阈值，把图像像素点分 为若干类．常用的特征包括：灰度、彩色特征、由原始灰度或 彩色值变换得到的特征。
阈值法—Otsu法
最大类间方差法是由日本学者大津于1979年提出的，是一种自 适应的阈值确定的方法，又叫大津法，简称Otsu法。 Otsu法按图像的灰度特性将图像分成背景和目标两部分，背景 和目标之间的类间方差越大，说明构成图像的两部分的差别越 大。当部分目标错分为背景或部分背景错分为目标都会导致两 部分差别变小。 因此，使类间方差最大的分割意味着错分概率最小。
计算机视觉—图像分割
申抒含 中国科学院自动化研究所 模式识别国家重点实验室
计算机视觉课程结构图
图像 2.特征检测 3.特征匹配
4.图像分割 6.运动估计 7.目标跟踪
5.图像配准
8-11.三维重建
12.识别 13.人脑工程
什么是图像分割
图像分割就是指把图像分成互不重叠的区域并提取出感兴趣目 标的技术和过程。
对于直方图中波峰不明显或者波谷平坦宽阔的图像无法使用。
阈值法—迭代法
基本流程： 1. K=0，初始阈值选取为图像的平均灰度TK ； 2. 用TK将图像的象素点分作两部分，计算两部分各自的平均 灰度，小于TK的部分为TA，大于TK的部分为TB； 3. 计算TK＋1 =(TA + TB) /2，将TK＋1作为新的全局阈值代替TK； 4. K=K+1; 5. 重复过程2-5，如此迭代，直至TK 收敛，即TK＋1 ＝TK。