文章序号、所属单元及链接：1646-Surgical Robotics Laparascopy
一作所属单位：University of Washington
读后体会：以我浅薄的学术认知原本认为这篇论文挺牛逼的，实验细节给的很多，关键是结果提升很大。跟老师交流之后才知道这论文只能骗骗外行人，关键的问题是他是空载进行实验的，绳驱动机器人负载和空载的差距很大，还需要考虑绳经过一段时间使用之后动态特性的变化，这个也很复杂。

Abstract

在过去的几十年中，外科手术机器人因其高灵敏度，小尺寸和远程可控性而被引入手术室。许多外科手术机器人的线驱动特性使系统灵巧轻巧，直径低至5mm。然而，由于线的松弛和拉伸以及齿轮的游隙，在运动学计算中不可避免地会带来不确定性。由于RAVEN-II 等外科手术机器人的末端执行器位置是使用电机编码器测量值和正向运动学直接计算得出的，因此它可能包含相对较大的误差，最大误差可达10mm，而在腹部手术中引入半自主功能时，其能够容忍的位置误差最大值为1mm。为了解决该问题，提出了一种经济高效，实时且数据驱动的机器人末端执行器位置精确估计的模型，并在RAVEN-II 上进行了测试。分析显示，在没有高分辨率运动跟踪器的情况下，遍历整个机器人工作空间的末端执行器位置误差改善后约1mm RMS。开源代码，数据集，视频和用户指南可在/github.com/HaonanPeng/RAVEN_Neural_Network_Estimator 上找到。

Introduction

A.背景

机器人辅助的微创手术（RAMIS）为经验丰富的外科医师和具有高灵活性和鲁棒性的外科手术机器人之间的协作手术打开了大门。当外科医生负责通过远程操作进行决策和机器人操纵时，机器人会遵循轨迹命令。在腹部RAMIS 中，精度要求以毫米为单位。在外科医生手动闭合环路的情况下(With surgeons manually closing the loop)，机器人末端执行器姿势的准确性不是大问题。近年来，智能外科机器人已经出现在医疗机器人研究中，其中消融和清创等重复性任务可以在外科医生的监督下自主进行。现在正在开发智能机器人导航代理(navigation agents)，以结合原始的远程操作命令，震颤消除和动态手术场景的运动补偿。此外，RAMIS 中基于视觉的力估计很有前景。在所有这些应用中，外科手术机器人的精确末端执行器定位是必需的。

许多外科手术机器人都设计有绳线传动装置，并在基座上安装了电动机，以使手臂更轻更紧凑。绳线的动态特性例如为刚度和内部阻尼非常重要，并且一直其随张力的变化而变化。因此，由电机传感器反馈的基于运动学的末端执行器姿势容易出错。

B.相关工作

为了补偿这种不准确性，一种直观的方法是通过在手术工具提示处(tooltip)应用运动跟踪器，或在每个机器人关节上的关节编码器上应用附加的传感器测量值，具体取决于是在笛卡尔坐标还是在关节水平上(cartesian or joint level)解决问题。两种解决方案都存在缺点。在前一种情况下，在所需的高温灭菌过程中会很复杂。但是，后者需要使传感器线和机器人线绳保持紧凑也很复杂。可替代地，来自内窥镜的实时视频流被用作末端执行器姿势估计的附加提示。但是，在实际操作中，但在现实手术中，仅从视觉中提取姿态信息对高度动态和反射性的手术场景来说是一个挑战。最近，有人提出了在线估计系统以提供鲁棒且精确的末端执行器位置预测。

Haghighipanah 等提出了一种关节水平基于模型的方法，使用无迹卡尔曼滤波器进RAVEN-II 姿态估计。尽管在前三个关节处显示出改善的结果，但实验仅限于反复拾取固定的质量。另外，最后四个手术工具关节的关节姿势估计值超出了研究范围，建议通过视觉矫正。在2018 年，Seita 等人为daVinci Research Kit 实验性手术机器人平台（dVRK）提出了一种数据驱动的笛卡尔姿态校准器。该研究通过两阶段校准程序成功实现了自主手术清创术。结果显示出在位置和方向上的高精度，并且适合于清创术的特定手术任务。2014 年，Mahler 等人使用高斯过程回归和数据清理来减少RAVEN-II 末端执行器的误差，并且通过融入速度信息，可以进一步提高精度。

C.贡献

在这项工作中，作者在RAVEN-II 上建立了一个机器人精确的位置估计器，该估计器不是特定于任务的，而是跨机器人工作空间的。因此，建立了一个框架来收集精确的RAVEN-II位置数据，这些数据是从人工操作员进行的远程操作试验中遍历工作空间的。Ground Truth是通过仔细校准的立体视觉得出的。最后，该数据集用于训练神经网络来估计位置误差。就作者所知，这是第一次同时进行的工作

1. 为基于视觉的精确机器人位置数据收集提出高效的方法；

2. 训练以1000Hz 详细传感器和控制器状态信息为输入的神经网络模型;

3. 实现整个机器人工作空间中数据驱动的机器人精确的位置估计器并量化分析其性能。

Methods

A.系统工作流程

在线末端执行器位置估计系统包括两个阶段-基于视觉的真值测量和神经网络估计器，如图1 所示。

基于视觉的地面真相测量（左）和数据驱动的机器人位置估计器（右）。从左到右传递的训练标签是真实的RAVEN-II 位置信息。

1. 第一阶段：通过两阶段标定程序确定了4 个摄像头的安装姿势（图2，左）。在数据记录期间，将3 个不同颜色的球固定在末端执行器上作为标记（图6 左）。这些球仅用于收集训练数据，在实际操作中会被删除。此外，滚珠和支架是空心且非常轻巧，对系统的负载可忽略不计。对于每个图像帧，执行预处理步骤，然后进行霍夫圆检测。然后采用帧更新算法，通过比较后续图像中检测到的圆圈来防止误报。最终，三个圆心产生了Ground Truth末端执行器位置，精度高达0.5 mm。
   
2. 第二阶段：分为两个阶段-离线训练和在线评估。收集的位置数据用于训练神经网络。接下来，经过训练的神经网络模型可以在线估计末端执行器的位置，其平均精度约为0.8毫米，这是从RAVEN-II位置反馈的重大改进。

C.自动霍夫圆检测

彩球的定位有助于末端执行器位置的获取。2D 圆检测是定位彩球的第一步。选择霍夫圆检测，是因为其对遮挡的鲁棒性。但是，它对边缘噪声很敏感，因此必须进行启发式参数调整和图像增强。图4 显示了具有以下设计细节的预处理步骤：
边缘检测（1）-（3）;
色彩分割（1）-（4）-（5）;
边界细化（3）（5）-（6）;
圆识别（6）-（7）-（8）。

D.帧更新算法

帧更新算法有两个主要目的。首先是要确定是否有任何相机返回假圆圈。第二个是为霍夫圆检测提供其他参数，包括圆心之间的最小距离𝑑_𝑚𝑖𝑛以及圆半径𝑟_𝑚𝑖𝑛 和r_𝑚𝑎𝑥的极值。在𝑑_𝑚𝑖𝑛和𝑟_𝑚𝑖𝑛之间设置一个较低的𝑑_𝑚𝑖𝑛和较宽的范围可以提供更多的检测圆的机会，但同时也会增加计算成本和误报的风险。因此，在平滑的末端执行器运动下， 𝑑_𝑚𝑖𝑛，𝑟_𝑚𝑖𝑛和𝑟_𝑚𝑎𝑥值受先前帧的检测结果限制。

E.末端执行器定位

如图6 所示，三个彩色球固定在末端执行器中心（黑点，由RAVEN-II 系统定义）周围。末端执行器中心位置与3 个球中心共享同一平面。末端执行器中心与每个球中心之间的距离定义为d = 38 mm，每个球的半径r = 20mm。为RAVEN-II 设计了一个末端执行器坐标系，其中原点是末端执行器点，X 轴指向绿色球的中心，Y 轴指向黄色球的中心，这也与RAVEN -II 轴共线。

F.神经网络结构

输入特征：ravenstate，是一个ROS 主题，其中包含RAVEN-II的实时运动学和动力学信息。
标签：RAVEN-II反馈的末端执行器位置与第一阶段通过基于视觉的测量收集的真实之间的差异。
网络结构和参数：为了确定神经网络的结构和超参数，首先使用从较大范围内随机选择的超参数对网络进行训练，然后将超参数缩小到较小的范围。我们评估了100 多个超参数值。图7 中绘制了九个说明性值。以下超参数值产生了最佳的性能：

Experimental Result

A.实验设置

标准的RAVEN II 手术机器人与遥控器配合使用。仅激活了左臂，没有控制信号发送到右臂。建立了基于视觉的真值测量系统，环境被黑布包围，以减少图像中的背景干扰。为了获得用于神经网络训练的数据，RAVEN-II 由遥控器手动操作，并在工作空间中随机移动140 分钟。由于RAVEN-II 在机器人工作空间边界和奇异点附近的性能不 稳定，因此本文定义的操作工作空间在初始化中心周围是一个合理的大空间，足以用于典型的块转移操作。数据记录为“ravenstate”和末端执行器位置真值的时间同步对。记录了49407个数据对，每个ravenstate对每个机械臂由118个浮点数组成。

B.神经网络离线训练

输入为’ravenstate’的118个浮点数，输出为3维位置误差。
在离线训练之后在线的误差估计输出的结果为’ravenstate’中的位置与神经网络学习到的误差值的和。（注：理解为对ravenstate位置估计的优化）

C.性能分析

首先，测试测量系统的准确性。测量误差主要来自两个方面：1）图像中的圆圈检测不准确； 2）相机定位不准确。

在离线训练神经网络后，构建了一个在线神经网络估计器，其精度约为RAVEN-II运动学计算得出的估计值原始精度的10 倍。

Discussion & Future Work

A.第一阶段性能

基于视觉的真值位置测量系统用于测量RAVEN-II 末端执行器的位置，但可以扩展到测量其他物体姿态。该系统在工作空间周围配备4 个摄像机的对于遮挡的鲁棒性非常强大。测量系统在每个轴上的精度都低于0.5 mm。总而言之，提出的获取真实位置的程序是符合成本效益的选择，可以满足所需的精度，并且可以通过增加球数或使用更高分辨率的相机来进一步提高精度。

B. 第二阶段的优点

由于神经网络输入“ ravenstate”是RAVEN-II 中现有的ROS 主题，因此在线估算器不需要其他传感器或信息， 并且可以应用于任何RAVEN-II 机器人。
神经网络估计器不仅可以减小RMS 误差，而且还可以减小误差的标准偏差，这意味着在线估计器可以提高精度，而不仅仅是单独应用在静态笛卡尔偏移。此外，我们的估算器可能会用在其他机器人中，这些机器人的传输顺应性和损耗会严重影响精度。我们当前的工作假设系统的动态特性在训练后不会发生显着变化，即测试在训练后的短时间内发生，并且末端执行器也已卸载。将来，将进一步研究有效载荷和训练与测试之间的时间间隔的影响。

Conclusion

由于柔度(compliance)和传输机制的损失（RAVEN-II 中的线绳/皮带轮链接），关节的间接测量和其他外部不确定性，估计末端执行器精确位置非常困难。在这项工作中，实施了具有成本效益的在线RAVEN-II精确的位置估算器，并在140 分钟的轨迹上进行了测试。该系统需要一个基于视觉的真实位置测量系统和一个基于神经网络的在线数据驱动位置估计器。尽管测量系统的总成本约为一百美元（大部分是四个网络摄像头的成本），但实现的亚毫米精度比基于电动编码器的、RAVEN-II 位置精度高出十倍以上。神经网络估计器将位置RMS 误差降低了83.6％，并将标准误差降低了59.4％。此外，除了RAVEN-II 内置的“ ravenstate” ROS 主题（以1000Hz更新）之外，估计器不需要任何其他传感器或信息，该主题包含RAVEN-II 的运动学和动力学信息。最后，可以将所提出的具有成本效益的位置估计器推广到其他RAVEN-II 平台以及其他机器人，其精度会受到柔顺性和电机与关节之间的传动元件损耗的影响。尽管当今的机器人外科医生很容易补偿不完美的位置控制，但由于商用外科手术机器人具有人类增强和自主功能，因此对精确位置估计和控制的需求将会增加。