amerikali
Yeni Üye
Stanford Üniversitesi ve Toyota Araştırma Enstitüsü'nden bir bilim insanları ekibi, yapay zeka tabanlı robotların eğitim performansının, video verilerine ek olarak ses verileri kullanıldığında daha yüksek olduğunu buldu. Bu, robotun öğrenilen becerilerinin hızını ve doğruluğunu önemli ölçüde iyileştirir.
Reklamcılık
Yapay zeka tabanlı robotları eğitirken, robota belirli becerileri öğretmek için büyük miktarda görsel bilgi kullanılır. Ses verileri genellikle bu amaç için kullanılmaz, sadece göz ardı edilir. Arxiv'de ön baskısı yayınlanan “ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data” adlı bilimsel çalışmada araştırmacılar, ses bilgisinin eğitim sonucunu iyileştirip iyileştiremeyeceğini ve ne ölçüde iyileştirebileceğini sordular.
Eğitim sırasında robotlar, ManiWAV adı verilen “kulak-el” veri toplama cihazı kullanılarak kaydedilen ses bilgilerini alır. Cihaz, bir mikrofon ve bir kamera kullanarak insan gösterilerini kaydedebilir. Ses ve video kesinlikle senkronize edilir. Bilgiler daha sonra eğitim sırasında robot manipülasyon stratejilerini öğrenmek için bir arayüz aracılığıyla robota iletilir.
Araştırmacılar varsayımlarını doğrulamak için yeni bir beceri öğrenmek üzere bir robotla dört deney gerçekleştirdiler. İlk deneyde, robot bir spatula kullanarak bir tavada simidi çevirmek üzere eğitildi. Başka bir deneyde, robot bir silgi kullanarak bir beyaz tahtadaki bir resmi silmek üzere eğitildi. Üçüncü deneyde, robot bir bardaktan diğerine küpler dökmek üzere eğitildi. Son deneyde, robot bir kabloyu plastik bir şeride bağlamak için üç farklı boyuttaki yapışkan şeritten doğru boyutu seçmek üzere eğitildi.
Sesli bilgilerle daha iyi AI eğitim materyali
Araştırmacılar dört vakada da çok eksenli bir kol ve iki parmaklı bir kavrayıcıdan oluşan aynı robotu kullandılar. Öğrenilecek aktiviteler, ses ve görüntü bilgisi sağlayan ManiWAV cihazı kullanılarak kaydedildi. Ayrıca aktiviteler yalnızca videoya kaydedildi. Malzemeyi robotu eğitmek için kullandılar. Araştırmacılar, eğitime ses bilgisi eklendiğinde robotun gerçekleştirdiği bazı görevlerin hızının ve doğruluğunun arttığını buldular.
Bu, zarları dökerken olduğu gibi, ses bilgisinin yardımcı olduğu tüm görevler için geçerliydi. Robot, örneğin, sesten, bardakta hala zar olup olmadığını söyleyebilirdi. Bir resmi silmeye gelince, robot doğru basıncı elde etmek için silginin sesini kullanabilirdi.
Önerilen editoryal içerik
Onayınızla buraya harici bir YouTube videosu (Google Ireland Limited) yüklenecek.
Her zaman YouTube videosunu yükle
YouTube videosunu şimdi yükle
Videoda yapay zeka eğitim materyalindeki ses bilgisinin öğrenme sonuçlarını nasıl iyileştirebileceği gösteriliyor.
Ses bilgisi simidi çevirirken daha az yardımcı oldu. Robot, simidin gerçekten çevrilip çevrilmediğini sesten anlayamadı.
Bilim insanları, robotlar için AI eğitim materyalindeki ses verilerinin her zaman performansı iyileştirmediği sonucuna vardı. Ancak, belirli eğitim senaryoları için, bir videoya ek olarak ses bilgisi kullanmak faydalı olabilir.
(olb)
Reklamcılık
Yapay zeka tabanlı robotları eğitirken, robota belirli becerileri öğretmek için büyük miktarda görsel bilgi kullanılır. Ses verileri genellikle bu amaç için kullanılmaz, sadece göz ardı edilir. Arxiv'de ön baskısı yayınlanan “ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data” adlı bilimsel çalışmada araştırmacılar, ses bilgisinin eğitim sonucunu iyileştirip iyileştiremeyeceğini ve ne ölçüde iyileştirebileceğini sordular.
Eğitim sırasında robotlar, ManiWAV adı verilen “kulak-el” veri toplama cihazı kullanılarak kaydedilen ses bilgilerini alır. Cihaz, bir mikrofon ve bir kamera kullanarak insan gösterilerini kaydedebilir. Ses ve video kesinlikle senkronize edilir. Bilgiler daha sonra eğitim sırasında robot manipülasyon stratejilerini öğrenmek için bir arayüz aracılığıyla robota iletilir.
Araştırmacılar varsayımlarını doğrulamak için yeni bir beceri öğrenmek üzere bir robotla dört deney gerçekleştirdiler. İlk deneyde, robot bir spatula kullanarak bir tavada simidi çevirmek üzere eğitildi. Başka bir deneyde, robot bir silgi kullanarak bir beyaz tahtadaki bir resmi silmek üzere eğitildi. Üçüncü deneyde, robot bir bardaktan diğerine küpler dökmek üzere eğitildi. Son deneyde, robot bir kabloyu plastik bir şeride bağlamak için üç farklı boyuttaki yapışkan şeritten doğru boyutu seçmek üzere eğitildi.
Sesli bilgilerle daha iyi AI eğitim materyali
Araştırmacılar dört vakada da çok eksenli bir kol ve iki parmaklı bir kavrayıcıdan oluşan aynı robotu kullandılar. Öğrenilecek aktiviteler, ses ve görüntü bilgisi sağlayan ManiWAV cihazı kullanılarak kaydedildi. Ayrıca aktiviteler yalnızca videoya kaydedildi. Malzemeyi robotu eğitmek için kullandılar. Araştırmacılar, eğitime ses bilgisi eklendiğinde robotun gerçekleştirdiği bazı görevlerin hızının ve doğruluğunun arttığını buldular.
Bu, zarları dökerken olduğu gibi, ses bilgisinin yardımcı olduğu tüm görevler için geçerliydi. Robot, örneğin, sesten, bardakta hala zar olup olmadığını söyleyebilirdi. Bir resmi silmeye gelince, robot doğru basıncı elde etmek için silginin sesini kullanabilirdi.
Önerilen editoryal içerik
Onayınızla buraya harici bir YouTube videosu (Google Ireland Limited) yüklenecek.
Her zaman YouTube videosunu yükle
YouTube videosunu şimdi yükle
Videoda yapay zeka eğitim materyalindeki ses bilgisinin öğrenme sonuçlarını nasıl iyileştirebileceği gösteriliyor.
Ses bilgisi simidi çevirirken daha az yardımcı oldu. Robot, simidin gerçekten çevrilip çevrilmediğini sesten anlayamadı.
Bilim insanları, robotlar için AI eğitim materyalindeki ses verilerinin her zaman performansı iyileştirmediği sonucuna vardı. Ancak, belirli eğitim senaryoları için, bir videoya ek olarak ses bilgisi kullanmak faydalı olabilir.
(olb)