双目、结构光视觉引导的机器人系统

Aug 31, 2023 · 1 min read

研究生课题。基于深度相机与双目相机组成的视觉系统,将跟踪目标(手术针)与人体解剖结构统一至同一坐标系下,完全可视化穿刺过程,提高定位精度,减少重复入针带来的伤害。

可搭载机器人代替人手进行更高精度的穿刺动作。(已于多家医院展开落地合作)

image-20241229160526209

Cases

image-20241229162923115

系统

硬件组成

image-20241229152129874

软件界面

software

实现

标定

手眼标定、多视觉系统联合标定…

刚体跟踪

主动近红外下的、基于多目视觉的刚体跟踪。(跟踪手术针)

matching

点云配准

基于特征匹配的点云配准算法,流程:

11

特征提取步,使用大量人体点云样本训练模型,提取出高区分度的特征。

image-20241229151905201