Axis-Space Framework, robotun gerçek dünyada eğitilmesine olanak sağlar

  1. Yumuşak sürekli robot kontrolünün zorluğu

Kablolarla çalıştırılan yumuşak sürekli robotlar; lezyonları, ağrıyı ve enfeksiyon riskini azaltma potansiyelleri nedeniyle minimal invaziv cerrahide (MIS) çok önemli bir rol oynamaktadır.1,2. Bu robotların kontrolünde derin takviyeli öğrenme (DRL) kullanma potansiyeli araştırılırken3simülasyonlar ile gerçek dünya uygulamaları arasında önemli farklılıklar ortaya çıkmaktadır. Amacımız, derin bir takviyeli öğrenme yöntemi sunarak bu boşluğu kapatmaktır: Eksen-Uzay (AS) çerçevesi. Bu çerçeve, örnek karmaşıklığını (SC) en aza indirerek ve eğitim adımlarının sayısını azaltarak hesaplama hızını artırır ve kontrol doğruluğunu artırır.

  1. Kavramsal Temel ve Metodoloji

Araştırmamızın temel kavramsal temeli, cerrahi aletlerin insan vücudundaki belirli cerrahi hedeflere küçük kesikler yoluyla eriştiği MIS’ten alınmıştır. Burada yumuşak sürekli robotlar olağanüstü distal el becerisi ve yapısal esneklik sergileyerek MIS için özel olarak tasarlanmış çeşitli tasarımlara yol açar.2. Şu anda bu robotların kontrol edilmesi, esnek manipülatörün yapısal deformasyonları, şekillendirilebilir dokularla etkileşimleri ve diğer araçlarla potansiyel çarpışmaları kapsayan doğrusal olmayan özellikleri nedeniyle bir zorluk olmaya devam ediyor.4. Derin Q-öğrenme Ağı (DQN) gibi mevcut değer tabanlı DRL algoritmaları3, yumuşak sürekli robotların 3 boyutlu (3D) hareket kontrolünde kullanılmıştır. Her ne kadar pek çok bilim adamı DRL’nin önceden eğitilmiş simülasyonlarını daha sonra gerçek dünya ortamlarına aktarmayı tercih etse de3,5,6Bu iki alan arasında bariz bir kopukluk devam ediyor. Çözümümüz, simülasyon ihtiyacını ortadan kaldıran doğrudan gerçek dünya robot eğitimidir. Bunu başarmak için sezgisel bir yöntem olan Axis-Space (AS) çerçevesini ortaya koyduk. Yeniden tanımlanmış bir durumu ve eylem alanını vurgulayan bu yaklaşım, SC’de önemli bir azalmaya yol açarak gerçek dünyadaki robot eğitimini mümkün kılar ve yakınsama oranlarını artırır.

  1. Çalışma Sonuçları

Araştırmamızda deneysel model olarak bölüm başına dört tendonla donatılmış yumuşak bir sürekli robot kullanıldı. AS tabanlı kontrolörler, yani ASDQN ve ASDDQN, MIS sırasında karşılaşılması muhtemel çeşitli senaryolarda AS olmayan muadillerine kıyasla azaltılmış örnek veri ihtiyaçları ve gelişmiş konum izleme doğruluğu açısından üstün performans sergiledi.

Denetleyici modellerinin karmaşık görevleri yerine getirme yeteneklerini değerlendirmek için, sürekli robotu hem ASDDQN hem de DDQN denetleyicilerini kullanarak iki farklı referans yörünge modelini (sinüs fonksiyonu ve kare şekli) izlemesi için yönlendirdik. Her nokta izleme görevini tamamladıktan sonra robot başlangıç ​​konumuna geri döndü. Ayrıca ters kinematik modeli tabanlı bir optimal kontrolör de ekledik. Şekil 1a-b’de gösterilen sonuçlar, ASDDQN kontrol cihazının bu yörüngeler için kullanıldığında RMSE değerlerini sırasıyla 0,88 mm ve 0,71 mm’ye düşürdüğünü vurgulamaktadır. Bu, IK modeline göre yaklaşık 5 kat ve DDQN denetleyicisine göre yaklaşık 50 kat azalmaya işaret ediyordu. Bu tür veriler, ASDDQN kontrol cihazının hem AS olmayan muadili hem de IK kontrol cihazlarıyla karşılaştırıldığında üstün yörünge izleme yeteneklerini vurgulamaktadır.

MIS alanında, yumuşak sürekli robotun ucunun hassas ve sağlam bir şekilde hareket etmesi çok önemlidir. Bu tür nitelikler, ortamın açık olup olmadığına veya biyolojik bir bedenin karmaşık yapısını taklit edip etmediğine bakılmaksızın, robotun doğrusal olmayan yörüngelere yönelik komutları ustaca yürütmesi için vazgeçilmezdir. 3B yörünge takibini değerlendirerek robota, 3B hareketin inceliklerini yakalayarak çeşitli referans modellerini takip etmesi talimatını verdik (Şekil 1c, daire ve Şekil 1d, 3B spiral şekli). Bu modeller için izleme RMSE’leri 0,87 mm ve 0,55 mm’deydi. 3B nokta takibini değerlendirmek için robotu, 3B hareket karmaşıklıklarını yansıtan desenler üzerindeki farklı referans noktalarını izlemeye yönlendirdik (Şekil 1e, Konik sarmal ve Şekil 1f, Daire). Bu kalıplara ilişkin RMSE’ler önceki sonuçları yansıtıyordu. Ek olarak, 3 boyutlu sinüs fonksiyon modeli için izleme RMSE’si 0,65 mm idi (bkz. Ek Şekil 3). Bulgular, ASDDQN’nin 3 boyutlu şekilleri izlemede milimetre altı hatalar elde ettiğini yineleyerek gerçek cerrahi bağlamlarda potansiyel uygulanabilirliğinin altını çiziyor.

Şekil 1. Farklı kontrolörlerin karmaşık koşullar altında değerlendirilmesi. (a, b) ASDDQN, DDQN ve IK kontrolörleri altında Sin (a) ve kare (b) fonksiyonu şekil takibi. (c – f) ASDDQN denetleyicisi altında karmaşık desen izleme, (c) Daire, (d) 3B spiral, (e) 3B çiçek ve (f) eyer yüzeyi. (SP: Robotun Başlangıç ​​Konumu; IK: Ters Kinematik)

Referans

  • Runciman, M., Darzi, A. ve Mylonas, Minimal İnvaziv Cerrahide GP Soft Robotics. Yumuşak Robotik6(4), 423–443 (2019).
  • Ji, GL ve diğerleri. Korumalı Çok Etmenli Güçlendirme Öğrenimi Kullanılarak Süreklilik Manipülatörünün Güvenli Kontrolüne Doğru. IEEE Robot Autom İzinleri 6, 7461-7468 (2021).
  • Satheeshbabu, S., Uppalapati, NK, Chowdhary, G. & Krishnan, G. Derin Takviyeli Öğrenme Kullanılarak Yumuşak Sürekli Kolun Açık Döngü Pozisyon Kontrolü. IEEE Uluslararası Yapılandırma Robotu5133-5139 (2019).
  • Webster, RJ ve Jones, BA Sabit Eğrilikli Sürekli Robotların Tasarımı ve Kinematik Modellemesi: Bir İnceleme. Uluslararası Robotik Araştırma Dergisi29(13), 1661–1683 (2010).
  • Miki, T. ve ark. Vahşi doğada dört ayaklı robotlar için sağlam algısal hareketin öğrenilmesi. Bilim Robotu 7, eabk2822 (2022).
  • Ding, Y. Lu, A. Kyme ve SS Cheng, “Modüler SMA ile Geliştirilmiş Dinamiklere Sahip Çoklu Görüntüleyici Uyumlu Sürekli Robota Doğru”, 2021 IEEE Uluslararası Robotik ve Otomasyon Konferansı (ICRA)11930-11937 (2021).

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir