Bunların hepsi Microsoft’un yaratma hedefinin bir parçası bir “hibrit döngü” geliştirme modeliBulutta ve yerel olarak cihazlarda yapay zeka gelişimini mümkün kılması bekleniyor Ancak bu son güncelleme, TensorRT-LLM’yi GeForce RTX 30 ve 40 Serisi GPU’larla desteklenen, 8 GB veya daha fazla RAM’e sahip bilgisayarlara getiriyor Microsoft, Windows AI Studio’yu “önümüzdeki haftalarda” bir Visual Studio Code uzantısı olarak kullanıma sunacağını söylüyor Nvidia, bir sonraki TensorRT-LLM 6 Aynı zamanda Microsoft’un Phi, Meta’nın Llama 2 ve Mistral gibi çeşitli küçük dil modellerine (SLM’ler) ince ayar yapmak için model yapılandırma kullanıcı arayüzü ve izlenecek yollar ile uçtan uca bir “kılavuzlu çalışma alanı kurulumu” sunar
Nvidia da benzer şekilde, şirketin büyük dil modellerini (LLM’ler) H100 GPU’larda daha verimli çalıştırmanın bir yolu olarak başlangıçta Windows için başlattığı TensorRT-LLM’ye yönelik güncellemeleri açıkladı Çarşamba günkü Microsoft Ignite etkinliği sırasında Microsoft, geliştiricilerin yapay zeka modellerine erişip bunları ihtiyaçlarına göre değiştirebilecekleri yeni bir merkez olan Windows AI Studio’yu duyurdu
Windows AI Studio, geliştiricilerin mevcut Azure AI Studio’dan ve Hugging Face gibi diğer hizmetlerden geliştirme araçlarına ve modellerine erişmesine olanak tanır
Windows AI Studio, geliştiricilerin Prompt Flow ve Gradio şablonlarını kullanarak modellerinin performansını test etmelerine olanak tanır Bu konseptle, geliştiricilerin yapay zeka gelişimini desteklemek için yalnızca kendi sistemlerine güvenmeleri gerekmiyor; çünkü Microsoft’un bulut sunucularına erişerek cihazlarının yükünü hafifletebiliyorlar
Microsoft ve Nvidia, geliştiricilerin Windows PC’lerinde yapay zeka modellerini çalıştırıp yapılandırmalarına yardımcı olmak istiyor
Ek olarak Nvidia, yakında yeni bir paketleyici aracılığıyla TensorRT-LLM’yi OpenAI’nin Sohbet API’si ile uyumlu hale getirecek
genel-2