FramePack, Lvmin Zhang ve Stanford Üniversitesi’nden Maneesh Agrawala tarafından geliştirilmiş bir video modeli olarak dikkat çekiyor.
Burada yer alan FramePack, yazılanlardan video üreten 13 milyar parametreli bir model ve doğrudan yerel olarak çalıştırılabiliyor. Yerel yapay zeka video üretimini sağlamak için çok aşamalı optimizasyon tekniklerinden güç alan model, 6 GB VRAM’e sahip standart bir ekran kartında dahi 60 saniyelik videolar üretebilmesiyle fark yaratıyor. RTX 30/40/50 serisi ekran kartlarında kullanılabilen model (AMD ve Intel ekran kartı desteği hakkında bilgi yok), küçük çaplı video ihtiyaçları için pahalı üçüncü parti servislere olan gereksinimi ortadan kaldırıyor. Linux desteğine de sahip olan FramePack, girdi karelerini önem derecelerine göre sabit boyutlu bir bağlam uzunluğuna sıkıştırarak GPU bellek yükünü önemli ölçüde azaltan yeni mimarisiyle büyük bir gelecek vadediyor.
İLGİNİZİ ÇEKEBİLİR
Bundan önce Microsoft’un CPU’da çalışabilen bir modeli dikkat çekmişti. Yapılan açıklamaya göre BitNet, özellikle matematiksel işlemlerde daha az bit kullanarak yapay zekâ modellerinin eğitim ve çalıştırma maliyetlerini düşürmeyi hedefliyor. Standart LLM’ler 16 bit ya da 32 bit sayılarla çalışırken, BitNet 2 bit veya 1 bit “quantization” kullanıyor. Bu sayede hem bellek tüketimi hem de işlem gücü ciddi oranda azaltılıyor. Aynı zamanda enerji verimliliği de sağlayan BitNet altyapısının son üyesi, Microsoft araştırmacıları tarafından geliştirilen BitNet b1.58 2B4T oldu. Buradaki bağlantıda yer alan ve Apple’ın M2’si dahiş çok sayıda işlemcide çalışabilen, yani özel bir GPU’ya ihtiyaç duymayan BitNet b1.58 2B4T, testlere göre Meta’nın Llama 3.2 1B, Google’ın Gemma 3 1B ve Alibaba’nın Qwen 2.5 1.5B modellerini GSM8K ve PIQA gibi testlerde geride bırakıyor. 2 milyar parametreye sahip ilk BitNet olduğu belirtilen BitNet b1.58 2B4T, çalışmak için “bitnet.cpp” adı verilen özel bir framework’e ihtiyaç duyuyor.
Microsoft geçtiğimiz aylarda Phi-4 isimli yeni LLM’i ile dikkat çekmişti. Phi ailesinin yeni üyesi Phi-4, Microsoft tarafından yapılan açıklamaya göre 14 milyar parametre ile görev yapıyor. Özellikle matematik problemi çözme konusunda çok yetenekli olduğu belirtilen yeni model, GPT-4o mini, Gemini 2.0 Flash ve Claude 3.5 Haiku karşısına konumlandırılıyor. Microsoft’un kısa süre önce kullanıma sunduğu Azure AI Foundry geliştirme platformunda yer alan yeni model, yüksek kaliteli sentetik veri kümelerinin yanı sıra insanlar tarafından oluşturulan verilerle eğitilmiş.
