双目、结构光视觉引导的机器人系统

研究生课题。基于深度相机与双目相机组成的视觉系统,将跟踪目标(手术针)与人体解剖结构统一至同一坐标系下,完全可视化穿刺过程,提高定位精度,减少重复入针带来的伤害。
可搭载机器人代替人手进行更高精度的穿刺动作。(已于多家医院展开落地合作)
Cases

系统
硬件组成
软件界面

实现
标定
手眼标定、多视觉系统联合标定…
刚体跟踪
主动近红外下的、基于多目视觉的刚体跟踪。(跟踪手术针)
点云配准
基于特征匹配的点云配准算法,流程:

特征提取步,使用大量人体点云样本训练模型,提取出高区分度的特征。