amerikali
Yeni Üye
StableLM: Stability AI, büyük AI dil modellerini açık kaynak olarak yayınlar
StableLM ile Stability AI, açık kaynak olarak iki büyük dil modeli yayınladı: İki Büyük Dil Modeli (LLM) her biri 3 ve 7 milyar parametre içerir. Sürüm bir alfa sürümüdür. Geliştiriciler, lisansa saygı duyarak bunları araştırma ve ticari amaçlarla kullanmakta, incelemekte ve uyarlamakta özgürdür.
StableLM-3B ve StableLM-7B, CC BY-SA-4.0 kapsamında lisanslanmıştır: Bu, altındaki yazılımın herhangi bir biçimde çoğaltılabileceğini ve yeniden dağıtılabileceğini belirten bir copyleft lisansıdır. StableLM ile çalışan herkes, ticari olanlar da dahil olmak üzere herhangi bir amaçla modelleri değiştirebilir ve düzenleyebilir. Ancak, şubeler ve ürünler her zaman copyleft lisansını devralır.
StableLM, copyleft lisansı altındadır
Bu, StableLM’den türetilen yeni modellerin orijinal yazarı (Stability AI) ve lisansı değiştirmeden adlandırması ve iletmesi gerektiği anlamına gelir. Bu şekilde oluşturulan yazılımların kapalı kaynağa dönüştürülmesi, örneğin kendi fikri mülkiyetiniz ilan edilmesi veya devralınan lisansta değişiklik yapılması yasaktır. Bu gereksinimler, herhangi bir ek madde veya teknik prosedürle yasal olarak geçersiz kılınamaz, CC BY-SA-4.0 özellikle güçlü bir copyleft lisansı olarak kabul edilir.
StabilityAI CEO’su Emad Mostaque tarafından duyurulduğu üzere StableLM, OpenAI’ninkiler gibi tescilli AI modellerine açık, şeffaf ve ölçeklenebilir bir alternatif sunmayı amaçlıyor. Yayınlanan blog gönderisine göre, 15 ila 65 milyar parametreye sahip modeller yakın gelecekte takip edilecek. StableLM serisinin modelleri, metin ve kaynak kodu üretebilmelidir ve Mostaque’a göre bunlara dayalı çok sayıda uygulama için kullanılabilir. Blog girişine göre, nispeten küçük LLM’lerle Stability, uygun eğitimden geçmeleri ve verimli bir mimariye sahip olmaları koşuluyla daha küçük modellerin bile yüksek performans gösterebileceğini göstermek istiyor.
The Pile tabanlı modeller açık kaynak mı?
Stability AI daha önce, Nisan 2023’ün başlarında Pythia ile araştırma için bir dizi daha küçük AI temel modeli yayınlayan AI tabanlı EleutherAI’nin çalışmalarını desteklemişti. Pythia-12B, diğer şeylerin yanı sıra, Databricks ve OpenAssistant’tan Dolly 2.0 için başlangıç modelidir. LAION’dan açık kaynaklı Pythia modellerine dayanmaktadır. EleutherAI’den GPT-J ve GPT-NeoX gibi daha önceki açık kaynak modelleriyle elde edilen deneyimler de StableLM’nin mevcut sürümüne katkıda bulunmuştur.
StableLM, büyük dil modellerini modellemek için iyi bilinen 800 gigabaytlık “The Pile” veri kümesini temel alan yeni bir deneysel veri kümesi üzerinde eğitildi, ancak bundan yaklaşık üç kat daha büyük ve toplam 1,5 trilyon belirteç içerikle. Kayıt sorunlu kabul edilir çünkü içinde muhtemelen telif hakkıyla korunan eserler de içerir (bunun açık kaynak lisansları için ne gibi sonuçları olacağı şu anda hala açıktır ve bu veri kümesini veya İnternet’ten ortak taramayı kullanan diğer projeleri de etkiler). Eğitim veri setinin boyutuyla StableLM, Meta AI’nin seçilmiş araştırma projelerinde kullanıma sunulan tescilli AI modeli LLaMA ile aynı seviyededir ve bir sızıntı nedeniyle internette yarı resmi ila yasadışı olarak da dolaşmaktadır. dallar.
RedPajama Açıkça LLaMA’yı Yeniden Oluşturuyor: Temel Veri Kümesi Mevcut
Başka bir açık kaynak projesi, kendi oluşturduğu bir veri kümesiyle benzer ölçüde çalışır: 2023 Nisan ayının ortalarında, ABD ve Kanada’dan ortaklarla birinci sınıf bir araştırma işbirliği olan StableLM’nin yayınlanmasından birkaç gün önce, eğitim veri kümesini yayınladı. RedPajama için 1,2 trilyon jeton ve ayrıca LLaMA kağıdını model olarak aldı. RedPajama, güçlü performans değerlerine sahip son teknoloji, açık kaynaklı bir model serisini piyasaya sürmeyi ve böylece yayınlanmamış LLaMA’yı ücretsiz lisans altında yeniden oluşturmayı planlıyor. StableLM’den farklı olarak, en azından RedPajama veri seti Apache 2.0 lisansı altındadır, bu nedenle onunla eğitilen modeller ve uygulamalar da kısıtlama olmadan ticari olarak kullanılabilir.
LAION ve Açık Mektup
RedPajama’da yer alan Büyük Ölçekli Yapay Zeka Açık Ağı (LAION eV), daha önce ağ üyelerinin en güçlü ticari tekliflerle karşılaştırılabilir yeteneklere sahip büyük, son teknoloji yapay zeka dil modelleri oluşturmak istediğini duyurmuştu. Yapay zeka için uluslararası bir yüksek performanslı bilgi işlem kümesi kurmaya yönelik bir imza kampanyası, ayrıca Elon Musk ve diğer ünlülerin imzaladığı Life of Life Enstitüsü’nün büyük geliştirmede duraklama çağrısı yapan diğer ünlüler tarafından imzalanan açık mektubuna yanıt olarak şu anda çalışıyor. AI modelleri.
Aynı zamanda Musk, x.ai alanı altında ve TruthGPT çalışma adıyla OpenAI ile rekabet edecek olan kendi AI şirketini duyurmuştu. Bunun açık kaynaklı yapay zeka olması pek olası değil.
Ortak yayınlanan araştırma modelleri
StableLM’nin alfa sürümlerinin yanı sıra, Stability AI, talimatlarla ince ayar yapılmış bir dizi araştırma modeli yayınlar. Bu araştırma modelleri, Alpaca, GPT4All, Dolly, ShareGPT ve HH veri kümeleri gibi farklı açık kaynaklı etkileşimli yapay zeka veri kümelerinin kombinasyonlarına erişir. Bu modeller kesinlikle ticari amaçlar için uygun değildir ve yalnızca araştırma amacıyla kullanılabilir. Lisansınız ticari olmayan bir CC BY-NC-SA 4.0’dır ve Stanford’un Alpaca lisansına benzer (Meta AI tarafından araştırma yapılmasına izin verilen birçok LLaMA çatalından biri).
Sürüm blog gönderisinde, şu anda piyasaya sürülen iki modelden daha büyük olan StableLM-7B’den bazı konuşma örnekleri var. StableLM, şu anda ortaya çıkan açık kaynaklı AI modellerinin hareketine sorunsuz bir şekilde uyum sağlar. Stability AI, hedef belirleme için üç anahtar kelime sağlar: şeffaflık, erişilebilirlik ve destek. Açık kaynak modelleri, kullanıcıları desteklemek için vardır, onların yerini almak için değil. Daha küçük modellerle de uygulanabilen verimli, özel ve pratik yapay zeka uygulamalarıyla ilgilidir. Açıkça “Tanrı benzeri yapay zeka” yarışına katılmak istemiyorlar. Blog girişindeki açıklamaya göre, günlük uygulamalara ve üretkenliği artıran ve insanların daha yaratıcı olmasına izin veren bir kullanıma odaklanılıyor.
Yapay zeka modellerinin izlenebilirliğini ve açıklanabilirliğini ortaklaşa iyileştirmek, riskleri belirlemek ve güvenlik önlemleri geliştirmek için bu şekilde yayınlanan modellerin “gizeminin altına bakabilmeleri” araştırmacılar için önemlidir. Özel ve genel alanlar, hassas verileri paylaşmadan veya yapay zeka yeteneklerinin kontrolünü açığa çıkarmadan açık kaynak modellerinde amaçları doğrultusunda ince ayar yapabilir.
Teknik rapor aşağıdaki gibidir
StableLM, Stability AI GitHub deposunda mevcuttur. Performans karşılaştırması için bir teknik rapor ve ölçütler henüz mevcut değildir, ancak “yakın gelecekte” sunulmalıdır. Sürümle eş zamanlı olarak, büyük dil modellerinde ince ayar yapmak için yaygın bir uygulama olan İnsan Geri Bildirimiyle Güçlendirmeli Öğrenim (RLHF) için bir kitle kaynak programı başlayacak.
Ortak bir çabayla AI asistanları için yüksek kaliteli, kalite güvenceli ve ücretsiz olarak erişilebilir bir temel veri seti yayınlayan OpenAssistant gibi topluluk çalışmaları bir model görevi görüyor. Daha fazla ayrıntı blog girişinde bulunabilir.
(o)
Haberin Sonu