Yandex, LLM’yi açık kaynak olarak kullanıma sundu

YaFSDP şu anda GPU iletişimini geliştirmek ve LLM eğitiminde bellek kullanımını azaltmak için halka açık en etkili yöntemi simgeliyor. Yöntem, mimariye ve parametre sayısına bağlı olarak FSDP’ye kıyasla %26’ya varan hızlanma sunuyor. YaFSDP kullanımıyla LLM’lerin eğitim süresinin azaltılması, GPU kaynaklarında %20’ye varan tasarruf sağlama potansiyeline sahip oluyor.
Yandex YaFSDP, GPU iletişimindeki verimsizliği ortadan kaldırarak GPU etkileşimlerini kesintisiz hale getiriyor ve eğitimin yalnızca gerektiği kadar işlem belleği kullanmasını sağlıyor.