视觉与几何感知实验室
东华大学视觉与几何感知实验室由蔡棽博士于2013年创立,专注于计算机视觉、计算机图形学、及机器人领域的理论研究和应用技术,特别是采用几何约束和深度学习手段解决各类三维任务。实验室理论研究方向包括摄像机标定、姿态估计、三维重建、特征提取与匹配、三维物体识别、神经隐式重建、精简三维表示、碰撞检测、机器人导航、智能抓取等;应用课题与国内多所知名企业和创业公司合作,包含工业视觉检测、动作识别、物体检测分割、AR/VR、三维配准、机器人操作等。实验室目前共有在读硕士生14人和1名实习生。已毕业21名学生、及6名实习生。
研究方向(计算机视觉领域)
相机标定 目的是计算相机内外参数及镜头畸变,其研究内容包括标定板设计、特征提取、基于2D-2D点对的单应计算、畸变模型选择、内外参数联合优化等方面。实验室在快速单应估计、深度单应估计、特征对应、二次曲线对标定、混合基元标定、多相机快速标定、基于机械臂的标定、深度相机标定、变焦标定等多方向上进行了理论和应用研究,发表了多篇学术论文,并应用到了不同的公司项目中。
姿态估计 目的是计算三维坐标系间的欧式变换(包含旋转和平移)。常见地,可以利用3D-2D点对从单幅图像中估计相机的绝对位姿(相对世界坐标系),或者利用2D-2D点对从两幅图像中估计相机间的相对位姿。实验室目前已完成了对三点姿态估计问题的深入研究。
基于图像的三维重建 目的是重建场景或物体,其研究内容包括特征提取、姿态估计、三维表示、外参数及三维点联合优化等方面。实验室在基于深度相机的融合重建、深度学习进行多视图重建、机器人导航等多方向上进行了研究和应用。
研究方向(计算机图形学领域)
三维表示 是图形学领域的核心研究问题之一。为了满足不同任务的需求,三维表示经常需要相互切换或混合在一起。实验室聚焦于正交距离场和球基元完成各类三维表示任务,包括基于正交距离场的快速精确神经隐式表示、精简的内部球(外部球)表示、精简的球节点图表示、双层球壳表示、层次化的壳表示等,发表了多篇学术论文。
三维物体识别与分割 目的是对已知的三维模型进行整体分类和语义或部件上的分割。实验室在基于球面投影的深度分类网络、基于空间关键球表示的分类网络、基于球节点图的分类网络、和基于关键球的部件分割等多方向上发表了多篇学术论文。
三维点云配准 目的是在场景中快速、精确地匹配一个已知的三维模型,并可利用匹配的3D-3D点对估计相对位姿。实验室在3D特征提取、随机抽样一致、机械臂抓取等多方向进行了研究,并应用到了不同的公司项目中。
研究方向(机器人领域)
机械臂运动学求解 是机器人领域的基础研究问题之一。本实验室致力于研究通过传统解析方法或强化学习算法,生成机械臂多自由度运动过程中的精确控制信号,并已在此方向上完成了系统的理论建模与实验验证。
机器人自主导航 旨在利用彩色相机、深度相机及激光雷达等多模态传感器,实现环境的同步定位与建图(SLAM),并基于此进行全局/局部路径规划,最终驱动机器人自主运动至目标位姿。实验室已在多种移动轮式机器人平台上完成了该技术的部署与实地验证。
机器人智能操作 以视觉-语言大模型(VLM)作为高层任务规划的“大脑”,用于理解复杂的人类指令意图并分解操作步骤。在底层执行层面,结合传统运动学求解方法与前沿的端到端模型(如视觉-语言-动作模型 VLA 或世界-动作模型 WAM)来控制机器人完成具体操作任务。实验室在此方向上已开展深入的理论探索,并成功应用于多项机器人竞赛及企业级实际项目中。

0