基準測試和數據集對于研究和科學進步非常重要，通過競技及可量化、可重復性結果推動關鍵研究領域進步。機器人操作目前缺乏在同等規模及重要領域被廣泛接受的基準，例如計算機視覺中的同步定位和映射（SLAM）和目標檢測。曾經提出的操作基準和挑戰需要訪問昂貴的平臺和專門的環境（即FetchIt、Amazon Picking Challenge等），使用特有對象來評估系統的能力，限制了整個研究領域的發展。機器人操作方面研究在仿真環境中進行具備優勢包括：（1）有助于獲得可重復的結果，（2）允許訪問潛在的不可用平臺，（3）本質上是安全的，（4）不會磨損或損壞物理系統，并且（5）除了并行運行許多實例之外，還可以比實時運行更快。然而，物理模擬的不足也很明顯，在仿真環境中生成的控制器在轉移到現實世界時往往是不可靠的。現實差距的現象是眾所周知的，但很少有人能量化這一差距。  

近期IEEE ROBOTICS AND AUTOMATION LETTERS發表了“Benchmarking simulated robotic manipulation through a real worlddataset”, 提出的基準和附屬數據集旨在幫助研究人員和開發人員量化現實差距，特別是與機械臂的物理交互任務，從而推動仿真到現實（sim2real）的轉換，以及物理引擎，模擬器和它們的參數化方面的進展。通過使用仿真和量化指標，使基準測試能夠通用于許多操作領域，但又足夠具體，能夠提供系統的有關信息。他們的主要貢獻包括：（1）開發了一個將仿真與真實世界記錄進行比較的程序；（2）一個由機械手執行的地面真實標記操作任務的數據集，該操作任務使用高精度的運動捕捉系統進行記錄；（3）在再現真實方面用于描述模擬器成功量的子集（圖1）。作者們希望隨著時間的推移來擴展這個數據集，以覆蓋更多的任務，并應用于更多的機械手。

1、基準測試

操作基準由三個部分組成：運動捕捉任務的真實世界數據集；定義在選定的模擬環境中要模擬的任務；評估地面真實性和模擬解決方案之間性能的指標。

A.  任務

該基準目前由10個簡單的任務組成，這些任務被選中是因為它們提供了基本運動和接觸的良好初始起點。這些任務演示了如何使用基準并充當更高級任務的先驅。通過調整模擬器來精確地模擬簡單的任務，推斷這些相同的參數將擴展到共享底層關聯的更復雜的場景。基準將被擴展到包括更高級的任務，這些任務與實際操作場景具有更高的相關性。表1列出了任務以及簡短的描述以及它們包含的子組。

B、數據集

數據集是在CSIRO的Qualisys運動捕捉系統中收集的，將其作為實時高精度地面真實數據提交。該系統包括24個攝像頭，安裝在8×8×4米的龍門架上。校準為<1 mm的殘余值，系統記錄頻率為100 Hz。系統的延遲取決于以下幾個變量：標記數、攝像機數和計算機設置。數據從主機PC（接收延遲小于6毫秒的數據）流到運行機器人操作系統（ROS）的第三方PC。手臂配備有Robotiq FT300力扭矩傳感器，安裝在手臂手腕和夾持器之間，使用兩個如圖2所示的3D打印底座（底座的網格文件可以在基準網站上找到）。安裝支架采用剛性和輕質的ABS塑料進行3D打印，這滿足了作為系統最終環節的設計要求，包括重量小于1.2 kg的夾持器。在記錄數據集之前，Robotiq FT300用Kinova夾具進行了校準。該數據集的目的是在未來通過一系列的機器人操作器完成額外的任務。基準測試的用戶不必記錄任務，目的是用戶應用所提供的數據集對其模擬環境進行基準測試。

C、模擬器設置

要使用文中的基準測試系統對模擬器進行基準測試，必須遵循以下準則。任何未列為受控變量的參數都可以用來改進仿真。一般來說，場景、機器人和機器人的控制都設置為不可變，而大多數其他參數都是用戶可定義的。文中的基準適用于任何模擬器。制造商統一機器人描述格式（URDF）與網格文件可以一起在基準的網站上下載，作為機器人機械手的描述。如果模擬器本身不支持URDF，則機器人可以按照URDF或制造商規范導入剛體網格，在選定的仿真環境中進行組裝。

D、性能指標

沒有一個指標能夠客觀地評估模擬器在所有任務中的性能，因此提出了一系列的指標。在推導合適的性能指標時，注意到平均一個具有相同起點和終點的對象的軌跡是可能的，特別是對于遵循相同控制軌跡的對象，如機械手。然而，對于具有不同末端姿態的物體，求其軌跡的平均值不是一個有效的計算方法，因此建議分析這些物體末端姿態的分布。由于在遵循物理原理的同時，由于從一個共同的開始姿勢到結束姿勢的過程中，可行方法是有限的，通過分析可操縱物體的末端結構，我們發現這是一個有效的度量標準。此外，還使用進一步的度量來表征這些對象的運動。

圖3 二元正態分布概率密度函數的三維繪圖

E、報告績效

組合基準和數據集的網站旨在托管基準用戶的結果。由于包含可操作對象的任務有23個度量（不包含對象的任務有15個度量），因此有太多的度量無法公開顯示和比較，因此可能會使用錯誤。任務根據主題劃分為多個子組，并報告子組的結果。子組的報告結果顯示更具有針對性比完成所有任務和只報告單個任務更有效率。

2、模擬器性能示例及結論

文中應用了兩個符合機器人性能的模擬器V-Rep和PyBullet。它們也是機器人領域常用的模擬器。運行此基線的代碼可以在基準網站上找到。V-Rep有一系列物理引擎，可以通過抽象層應用，因此能夠對以下模擬器和物理引擎組合進行基準測試。仿真機器人操作基準通過在仿真和地面真實數據集之間繪制度量來驗證仿真環境。23個指標全面描述了現實差距造成的差異，并有助于對仿真環境的結果進行基準測試。該數據集提供了有價值的信息，包括6自由度姿態的運動捕捉、關節扭矩以及在機械手手腕處的力和力矩。同時比較了兩種常用的機器人模擬器V-Rep和PyBullet在一般參數設置下的性能，基于度量分析了模擬器在完成數據集任務時的精度，證明了所選度量的實用性。