Eğitim, ince ayar ve çıkarım işlerini ayırın
Model eğitimi, veriden öğrenme işlemlerini; çıkarım ise mevcut modelin yeni girdiler için sonuç üretmesini ifade eder. İnce ayar, hazır bir modelin belirli verilerle uyarlanmasıdır. Bu işlerde kullanılan yazılım, çalışma süresi ve bellek ihtiyacı farklı olabilir. İlk teklif talebinde “AI çalıştıracağız” yerine hangi işlemin yapılacağını belirtmek gerekir.
Çıkarım servisi kullanıcı isteklerine yanıt vereceği için eşzamanlılık ve yanıt süresi önemlidir. Bir eğitim işinde ise belirli bir çalışmanın tamamlanması, ara sonuçların saklanması ve yeniden başlatılabilmesi öne çıkabilir. Aynı sunucunun iki işi sırayla mı, birlikte mi yapacağı da planı etkiler. Kurumun gerçek çalışma takvimi, ilk donanım listesinden önce anlaşılmalıdır.
Model dosyasının boyutu toplam GPU belleği değildir
Modelin parametreleri bellekte yer kaplar; kullanılan sayısal hassasiyet bu miktarı etkiler. Kabaca 8 milyar parametrenin her biri 2 baytla tutulduğunda yalnızca ağırlıklar için yaklaşık 16 milyar bayt gerekir. Bu hesap toplam çalışma belleğini vermez. Ek veriler ve çalışma ortamının ihtiyaçları da vardır; donanım seçiminde sadece bu çarpımı kullanmayın.
Özellikle dil modeli servislerinde bağlam uzunluğu ve eşzamanlı istekler ek bellek kullanımını etkileyebilir. Modelin seçilen çalışma profiliyle uyumluluğu ve kullanılabilir GPU belleği kontrol edilmelidir. Model ilk açıldığında çalışan yapı, daha yoğun isteklerde bellek sınırına takılabilir. Teklifte model adı, sürümü, hassasiyet ve beklenen kullanım biçimi paylaşılabilir.
Örnek senaryo: kurum içi belge asistanı
Çalışanların belgeler hakkında soru sorabildiği bir asistan düşünülsün. Sistemde yalnızca dil modeli bulunmayabilir; belge okuma, arama, sonuç hazırlama ve kullanıcı yetkileri de yer alır. GPU’nun hızlı olması, belgenin doğru kullanıcıya sunulduğunu veya cevabın doğru olduğunu kanıtlamaz. Altyapı performansı ile uygulama doğruluğunu ayrı ölçmek gerekir.
Bu örnekte kısa soruların yanında uzun belge parçalarıyla çalışan istekler de test edilir. Az sayıda kullanıcının sırayla soru sormasıyla bütün ekibin aynı saatte kullanması farklı yük yaratır. Beklenen kullanıcı sayısı, girdi boyutu ve kabul edilebilir bekleme süresi paylaşılmalıdır. Örnek, belirli bir müşterinin başarısını anlatmaz; tek bir GPU model adının projeyi açıklamaya neden yetmediğini gösterir.
Hangi performans değerini ölçmelisiniz?
Bir isteğin tamamlanma süresiyle sistemin aynı sürede kaç isteği işleyebildiği farklı ölçümlerdir. Dil modeli servisi için ilk çıktının ne zaman geldiği ve bütün yanıtın ne kadar sürdüğü de ayrı gözlenebilir. Ölçümler örnek girdi uzunluğu ve eşzamanlı kullanıcı sayısıyla birlikte kaydedilmelidir. Koşulları belli olmayan bir hız rakamını iki teklif arasında karşılaştırmak zor olur.
Ortalamanın yanında yoğun dönemlerde kullanıcıların yaşadığı beklemeyi de inceleyin. Bazı sistemlerde istekleri gruplamak toplam işleme kapasitesini artırabilir, fakat ayarlar modele ve gecikme beklentisine bağlıdır. Daha fazla model örneği veya daha büyük istek grubu her koşulda daha iyi sonuç vermez. Yapılandırma değişikliklerini aynı test girdileriyle karşılaştırmak gerekir.
CPU, RAM ve depolama ne zaman darboğaz olur?
GPU’ya ulaşan veri önce okunabilir, dönüştürülebilir ve hazırlanabilir. Bu işler CPU, sistem belleği ve depolamayı kullanır. Eğitim verisinin okunması yavaşsa GPU bir sonraki işi bekleyebilir. Çıkarım servisinde model dosyalarının yüklenmesi, uygulama servisleri ve kayıtların tutulması da bu kaynakları kullanır. GPU kiralama teklifinde diğer bileşenleri boş bırakmayın.
Disk kapasitesine model dosyaları, veri kümeleri, ara kayıtlar ve üretilen çıktılar dahil edilebilir. Proje sonunda hangi dosyaların teslim alınacağı ve ne kadar süre saklanacağı belirlenir. Veri aktarımının kaynağı ve bağlantı kapasitesi de çalışma takvimini etkiler. İlk testin öncesinde saatler süren yükleme gerekiyorsa bu süreyi iş planına eklemek gerekir.
Yazılım uyumluluğu ve yeniden kurulabilir ortam
GPU modeliyle birlikte sürücü, işletim sistemi ve kullanılan kütüphanelerin uyumluluğu incelenir. Bir geliştiricinin bilgisayarında çalışan projenin sunucuda aynı sürümlerle kurulması gerekmeyebilir; desteklenen ortamın dokümantasyonu kontrol edilir. Başarılı testte kullanılan ayarların kaydedilmesi, sonraki çalıştırmaların aynı koşullarda yapılmasına yardımcı olur.
Konteyner veya kurulum betiği kullanılacaksa erişim ve kaynak sınırları ayrıca değerlendirilir. Projenin modeli ve kütüphaneleri için kullanım koşulları kurum tarafından incelenmelidir. Altyapı sağlayıcısının donanımı teslim etmesiyle modelin kurulumunu ve uygulamanın geliştirilmesini üstlenmesi farklı işlerdir. Kurulum ve bakımda hangi desteği beklediğiniz teklifte açık olmalıdır.
Veri erişimi ve çıktıların korunması
Çalışma ortamına hangi kullanıcıların ve servislerin erişeceği belirlenmelidir. Kurum verisinin bir deneme ortamına aktarılması da erişim ve saklama kararı gerektirir. Canlı kişisel veriler yerine uygun örnek verilerle ilk değerlendirme yapılabilir. Model dosyalarının, uygulama anahtarlarının ve kullanıcı kayıtlarının nasıl tutulduğu projeyi işleten ekip tarafından bilinmelidir.
Geçici bir GPU çalışması sonlandığında çıktılar kendiliğinden kurumun arşivine geçmiş olmayabilir. Teslim yöntemi, yedek ihtiyacı ve ortamın kapanışı önceden konuşulur. Eğitimde ara kayıtların, çıkarımda gerekli model ve yapılandırmanın korunması ayrı ihtiyaçlardır. Bir arıza sonrasında hangi noktadan devam edilebileceği işin maliyetini ve zamanını etkiler.
Disket’e GPU talebi iletirken paylaşılacak bilgiler
İşin eğitim, ince ayar, çıkarım veya render olduğunu; model ve yazılım bilgilerini; veri miktarını ve çalışma süresini paylaşabilirsiniz. Çıkarım için beklenen eşzamanlı istekler ve hedeflenen bekleme süresi, eğitim için örnek çalışma ve ara kayıt ihtiyacı faydalıdır. Henüz bu değerleri bilmiyorsanız ilk değerlendirmede hangi bilgilerin eksik olduğu belirlenebilir.
GPU seçenekleri kullanılabilir donanım ve proje gereksinimleriyle birlikte ele alınır. İlk testin koşulları, kurulum sorumluluğu ve verilerin teslimi kapsamda belirtilmelidir. Önceden belirlenmiş bir GPU adını istemek bazen uygundur; ancak projenin hangi iş sonucunu hedeflediğini de anlatın. Böylece kapasite, yalnızca donanım etiketine göre değil ölçülebilir ihtiyaca göre değerlendirilir.
GPU teklifinde iş yükünü tarif eden ölçümler
| Konu | Paylaşılacak bilgi | Değerlendirme amacı |
|---|---|---|
| Model | Sürüm ve çalışma hassasiyeti | Bellek ve uyumluluk |
| Girdi | Temsil edici boyut ve veri türü | Gerçek iş yükü |
| Eşzamanlılık | Aynı anda beklenen istekler | Yoğun saatlerde kapasite |
| Yanıt | İlk çıktı ve tamamlanma beklentisi | Kullanıcı deneyimi |
| Veri akışı | Okuma, hazırlama ve çıktı hacmi | GPU dışındaki kaynaklar |
Teklif öncesi kontrol listesi
- İş yükü: eğitim, ince ayar, çıkarım veya render
- Model, sürüm, hassasiyet ve gerekli kütüphaneler
- Veri miktarı, girdi boyutu ve eşzamanlılık
- Temsil edici test girdileri ve hedefler
- CPU, RAM, disk ve veri aktarımı
- Kurulum, erişim, saklama ve çıktı teslimi
Sık sorulan sorular
Modelin belleğe sığması yeterli midir?
Modelin açılması ilk kontroldür. Beklenen eşzamanlı istekler, girdi uzunluğu ve yanıt süresiyle ayrıca test gerekir. Çalışma sırasında ek bellek ve diğer sistem kaynakları kullanılabilir.
GPU sayısını artırmak performansı aynı oranda artırır mı?
Her uygulamada aynı oranda artış olmaz. Yazılımın çoklu GPU desteği, işin bölünebilmesi ve iletişim maliyeti değerlendirilmelidir. Temsil edici bir testle sonuç gözlenebilir.
Hangi bilgileri bilmeden kesin GPU kapasitesi seçmek zordur?
Model veya proje, yapılacak iş, kullanılan yazılım, bellek ihtiyacı ve beklenen kullanım yoğunluğu bilinmelidir. Çıkarım ve eğitim işleri için ölçüm hedefleri farklı olabilir.
Teknik kaynaklar
Disket Teknoloji’nin sektör faaliyetleri 2014 yılında şahıs şirketi olarak başladı. Bugün hizmetlerimiz Disket Teknoloji Ltd. Şti. bünyesinde sürüyor. Şirket geçmişimiz.