Bir yapay zeka tarafından akran değerlendirmesi mi? – ChatGPT & Co.'nun yaygın kullanımının kanıtı

amerikali

Yeni Üye
Bilimsel çalışmanın önemli ön inceleme sürecinde, ChatGPT & Co. gibi yapay zeka teknikleri giderek daha sık kullanılabilir. Bu, diğer şeylerin yanı sıra, yapay zeka sistemlerinin kullanmayı sevdiği kelimelerin İngilizce “akran değerlendirmelerinde” ne sıklıkta göründüğünü belirleyen, önceden görüntülenebilen bir çalışmayla belirtiliyor. Buna göre, ChatGPT'nin kullanıma sunulmasından bu yana, çeşitli AI konferanslarına gönderilen makalelerin bağımsız incelemecileri, çok daha sık “övgüye değer”, “yenilikçi”, “titiz”, “karmaşık”, “dikkate değer” ve “çok yönlü” yazdılar. Nature araştırma dergisindeki başlıklar için hakem incelemelerinde böyle bir artış bulunamadı. Aynı zamanda ABD dergisi 404, incelemesinin bir yapay zekadan geldiğine inanan bir araştırmacı vakasını tespit etti. Bunu kanıtlayamaz.

Reklamcılık



Zaman baskısı nedeniyle yapay zekaya mı başvuruyorsunuz?


Hakem değerlendirmesi olarak bilinen süreçte, gönüllü hakemler kendi alanlarından gönderilen araştırma makalelerini bilimsel dergilerde yayınlanmadan önce inceler. Sistem uzun yıllardan beri tamamen aşırı yüklenmiş ve derin bir kriz içerisindedir. Aynı zamanda yapay zeka dil modellerinin kullanımı da neredeyse önceden belirlenmiştir. Teknoloji yalnızca gönderilen metinlerin özetlerini oluşturmayı değil, aynı zamanda iyileştirme için özel öneriler üretmeyi de vaat ediyor. Aynı zamanda, bu şekilde oluşturulan bir metin mutlaka bu şekilde keşfedilemeyebilir veya metinler özel dedektörler tarafından hatalı bir şekilde yapay zeka ürünü olarak sınıflandırılabilir.

404 Media şimdi, araştırma çalışmalarına ilişkin iki isimsiz hakem değerlendirmesinin büyük ölçüde bir yapay zekadan geldiğine inanan İtalyan dilbilimci Nicholas LoVecchio'dan alıntı yapıyor. Bunu, diğer şeylerin yanı sıra, raporların son derece yüzeysel olmasına ve aslında onun çalışmasıyla ilgili olmamasına bağlıyor. Söz konusu dergi iddiaları yalanlamış, uzmanlar da bu iddialara karşı çıkmıştır. LoVecchio ise yalnızca kendi hislerine değil aynı zamanda çeşitli yapay zeka dedektörlerinin sonuçlarına da güveniyor; bunların tümü raporların yüksek derecede olasılıkla oluşturulduğunu gösteriyor. Her zaman yanıldıkları uzun zamandır bilinmektedir.

Bu arada Stanford Üniversitesi'nden Weixin Liang liderliğindeki bir araştırma ekibinin analizi çok daha önemli. Metin oluşturucularda insanlardan çok daha popüler olan belirli terimler için çok sayıda raporda arama yaptılar. Son zamanlarda çok daha sık rastlanıyor; grup, tüm akran değerlendirmelerinin yüzde 6,5 ila 16,9'unun “dil modelleri tarafından büyük ölçüde değiştirildiğini” tahmin ediyor. Muhtemelen yapay zeka tarafından oluşturulan akran incelemelerinin, özellikle son teslim tarihinden kısa bir süre önce, önemli ölçüde daha sık hale gelmesi de dikkat çekiciydi. Bu, değerleme uzmanlarının özellikle zaman baskısı altında olduklarında yeni teknolojiyi kullandıklarını göstermektedir. Arxiv.org'da görüntülenebilen çalışma henüz incelenmedi.


(mho)



Haberin Sonu