Microsoft ve Nvidia, yapay zeka modellerinin Windows'ta çalıştırılmasını kolaylaştırıyor - Dünyadan Güncel Teknoloji Haberleri

Microsoft ve Nvidia, yapay zeka modellerinin Windows'ta çalıştırılmasını kolaylaştırıyor - Dünyadan Güncel Teknoloji Haberleri



genel-2

Ancak bu son güncelleme, TensorRT-LLM’yi GeForce RTX 30 ve 40 Serisi GPU’larla desteklenen, 8 GB veya daha fazla RAM’e sahip bilgisayarlara getiriyor 0 sürümünün beş kata kadar daha hızlı çıkarım sağlamanın yanı sıra yeni Mistral 7B ve Nemotron-3 8B modellerine destek sağlayacağını söylüyor Bu, geliştiricilerin LLM’leri kendi bilgisayarlarında yerel olarak çalıştırmasına olanak tanıyacak ve bu da özel verileri bulutta depolamaktan endişe duyanlar için ideal

Nvidia da benzer şekilde, şirketin büyük dil modellerini (LLM’ler) H100 GPU’larda daha verimli çalıştırmanın bir yolu olarak başlangıçta Windows için başlattığı TensorRT-LLM’ye yönelik güncellemeleri açıkladı Çarşamba günkü Microsoft Ignite etkinliği sırasında Microsoft, geliştiricilerin yapay zeka modellerine erişip bunları ihtiyaçlarına göre değiştirebilecekleri yeni bir merkez olan Windows AI Studio’yu duyurdu Microsoft, Windows AI Studio’yu “önümüzdeki haftalarda” bir Visual Studio Code uzantısı olarak kullanıma sunacağını söylüyor

Ek olarak Nvidia, yakında yeni bir paketleyici aracılığıyla TensorRT-LLM’yi OpenAI’nin Sohbet API’si ile uyumlu hale getirecek Bu konseptle, geliştiricilerin yapay zeka gelişimini desteklemek için yalnızca kendi sistemlerine güvenmeleri gerekmiyor; çünkü Microsoft’un bulut sunucularına erişerek cihazlarının yükünü hafifletebiliyorlar


Microsoft ve Nvidia, geliştiricilerin Windows PC’lerinde yapay zeka modellerini çalıştırıp yapılandırmalarına yardımcı olmak istiyor

Bunların hepsi Microsoft’un yaratma hedefinin bir parçası bir “hibrit döngü” geliştirme modeliBulutta ve yerel olarak cihazlarda yapay zeka gelişimini mümkün kılması bekleniyor Nvidia, bir sonraki TensorRT-LLM 6

Windows AI Studio, geliştiricilerin Prompt Flow ve Gradio şablonlarını kullanarak modellerinin performansını test etmelerine olanak tanır Aynı zamanda Microsoft’un Phi, Meta’nın Llama 2 ve Mistral gibi çeşitli küçük dil modellerine (SLM’ler) ince ayar yapmak için model yapılandırma kullanıcı arayüzü ve izlenecek yollar ile uçtan uca bir “kılavuzlu çalışma alanı kurulumu” sunar

Windows AI Studio, geliştiricilerin mevcut Azure AI Studio’dan ve Hugging Face gibi diğer hizmetlerden geliştirme araçlarına ve modellerine erişmesine olanak tanır