Açık ağırlıklı ve mülkiyet hakları saklı yapay zeka modelleri arasındaki fark önemli ölçüde daraldı; son analizler, açık sürümlerin en iyi kapalı modellerin ortalamada yalnızca dört ay gerisinde olduğunu gösteriyor. Epoch AI'nın 29 Mayıs tarihli raporunda vurgulanan bu yakınsama, yetenekli yapay zeka asistanlarının giderek standart tüketici donanımlarında erişilebilir hale geldiğini öne sürüyor. Sonuç olarak, kullanıcılar artık bu modelleri ücretsiz yazılımlar kullanarak yerel olarak indirip çalıştırabilir ve bulut tabanlı hizmetlerle ilişkili gizlilik risklerinden ve aylık ücretlerden kaçınabilir.

Yerel çalıştırmanın gizlilik ve maliyet avantajları

Yapay zeka modellerini yerel olarak çalıştırmak, veri gizliliği ve maliyet açısından belirgin avantajlar sunar. Bulut tabanlı sohbet botları, her kullanıcı istemini dış sunuculara iletir; bu uygulama yasal denetime maruz kalmıştır. Decrypt daha önce, bir mahkemenin silinen girdiler de dahil olmak üzere ChatGPT günlüklerinin saklanmasına hükmettiğini bildirmişti. Buna karşılık, yerel modeller konuşmaları tamamen kullanıcının cihazında tutar ve üçüncü tarafların izinsiz olarak verilere erişmesini engeller. LM Studio'nun dokümantasyonu, gerekli model dosyaları başlangıçta indirildiği sürece uygulamanın tamamen çevrimdışı çalışabileceğini doğruluyor. Ayrıca, ücretli sohbet botu abonelikleri genellikle ayda yaklaşık 20 ABD doları maliyetine sahipken, yerel modelleri çalıştırmak için gereken yazılım ücretsizdir; bu da birincil maliyeti, kullanıcının muhtemelen zaten sahip olduğu donanıma kaydırır.

Donanım gereksinimleri ve kuantizasyon

Bu modelleri çalıştırma yeteneği, grafik kartlarındaki mevcut video belleğe (VRAM) veya Apple Silicon Mac'lerdeki birleşik belleğe bağlıdır. Genel bir kılavuz olarak, kullanıcıların daha küçük modellerin sıkıştırılmış veya kuantize edilmiş sürümlerini çalıştırmak için en az 8GB VRAM'e ihtiyaç duyar. Kuantizasyon, ağırlıkları daha az bit ile (örneğin 32 bit kayan nokta sayıları yerine 8 bit tamsayılar) saklayarak bellek kullanımını azaltır, ancak bu, doğrulukta hafif bir maliyete yol açar. Daha talepkar görevler için, ciddi kullanıcıların 24GB veya daha fazla VRAM'e sahip GPU'ları kullanması önerilir. Belirli modellerin tanımlı bellek ayak izleri vardır: OpenAI'nin gpt-oss-20b modeli 16GB bellek gerektirirken, daha büyük olan gpt-oss-120b 80GB içinde çalışır. Ollama kütüphanesindeki Google'ın Gemma 4 varyantları, belirli boyuta bağlı olarak 4,6GB ile 20GB arasında değişir.

Ollama ve LM Studio kurulumu

Yerel yapay zeka dağıtımını kolaylaştıran iki temel ücretsiz araç vardır: Ollama ve LM Studio. LM Studio, genel kullanıcılar için tasarlanmıştır ve kullanıcıların Hugging Face merkezinden doğrudan model aramasına, indirmesine ve sohbet etmesine olanak tanıyan cilalı bir grafik arayüz sunar. Ollama ise komut satırı arayüzlerini tercih eden geliştiricilere ve deneyimli kullanıcılara yöneliktir. Kurulum basittir; macOS, Linux ve Windows için basit betikler mevcuttur. Kurulduktan sonra, kullanıcılar Gemma 4 gibi belirli modelleri çekebilir ve bir sohbet oturumu başlatabilir. Ollama ayrıca yerel bir API de sunar, bu da makinedeki diğer uygulamaların modelle etkileşime girmesini sağlar. Ollama'da ':cloud' etiketiyle işaretlenmiş modellerin uzak sunucularda çalıştığını ve bunun yerel çalıştırmanın gizlilik avantajlarını ortadan kaldırdığını not etmek önemlidir.