Zagita aracı RTX 30 ekran kartlarının yapay zekâ hızını artırıyor

Açık kaynaklı Zagita projesi, Nvidia RTX 30 serisindeki hesaplama kısıtlamalarını yazılımla aşıyor. Bazı modellerde FP16 ve BF16 performansının neredeyse iki katına çıktığı bildirildi.

TGRT Haber'in haberine göre, açık kaynaklı Zagita aracı Ampere mimarili bazı GeForce kartlardaki hesaplama sınırlamalarını aşıyor. Donanımda değişiklik ya da vBIOS müdahalesi gerekmeden FP16 ve BF16 işlemlerinde daha yüksek kapasite elde edilebiliyor. Proje, GA102, GA103, GA104 ve GA106 GPU'lu RTX 30 kartlarına odaklanıyor.

Paylaşılan test sonuçlarına göre RTX 3090 Ti'ın BF16 gücü 87,5 TFLOPS'tan 157 TFLOPS'a, TF32 performansı ise 42,6 TFLOPS'tan 82,6 TFLOPS'a yükseldi. RTX 3080 10 GB modelinin FP16 performansı 65 TFLOPS'tan 113 TFLOPS'a çıktı. Kazanımın yüzde 80'e kadar ulaştığı, oranın model ve iş yüküne göre değiştiği aktarıldı.

Tüm kartlarda aynı sonuç alınamadı. RTX 3080 Ti 20 GB modelinde kilit açma tamamlansa da BF16 performansı yarı hızda kaldı, RTX 3070 Ti ise henüz test edilmedi. Aynı yöntemin Windows'ta UEFI portu üzerinden çalıştığı da bildirildi.

Büyük dil modellerinde, uzun bağlamlı işlemlerde kullanılan Prefill aşamasında yüzde 33-36 daha yüksek performans görüldü. İlk token'a kadar geçen gecikme yaklaşık yüzde 25 azaldı. Decode aşamasında ise belirgin bir değişiklik gözlenmedi.

Zagita'nın GTX 9, GTX 10 ve RTX 20 serilerinde de belirli kazanımlar sağlayabildiği, RTX 40 serisinin de desteklendiği belirtildi. Proje şimdilik yalnızca Linux'ta çalışıyor. Yurt dışında yaklaşık 1.000 dolar olan RTX 3090 fiyatının 2.000 doların üzerine çıktığı, RTX 3090 Ti'ın ise 3.000 dolara yaklaştığı aktarıldı.