Ollama 0.35 çıktı: Jev tarzı karar modelleri artık yerel çalışıyor

Ollama, 0.35 sürümüyle TypeSafe'in Jev API'sine dayanan "karar modelleri" desteğini ekledi. Yeni /v1/systemone uç noktası, metin üretmek yerine seçenek, olasılık ve puan döndüren modelleri yerelde çalıştırıyor (Ollama blog; Local Model Watch; dev.to).

Ne Oldu?​

• Ollama 0.35, karar modellerini /v1/systemone endpoint'i üzerinden destekliyor; temel TypeSafe'in Jev API'si.
• Üç soru tipi var: choice (seçenek + olasılık), noul (koşulun doğru olma olasılığı), score (sıralı kriterde puan).
• Kullanılabilir modeller: Bespoke Labs'in 9B'lik nimble modeli ile Together AI'ın deneysel tev1 (4B) ve tev1:0.8b modelleri.
• Üreticiye göre M5 Max üzerinde nimble, yerelde karar başına ortalama 91 ms yanıt verdi.

Neden Önemli?​

Çoğu üretim senaryosu metin yazmak değil, karar vermek üzerine kurulu: hangi ekibe gidecek, iade talebi var mı, öncelik ne? Klasik yaklaşım, sohbet modeline JSON istemek ve çıktıyı ayrıştırmaktı; Jev tarzı modeller ise doğrudan tip güvenli cevaplar ve olasılık döndürüyor. Yerelde çalışma ağ gecikmesini ortadan kaldırıyor ve veriyi sunucudan çıkarmıyor — triyaj, model yönlendirme ve içerik moderasyonu için pratik bir çözüm.

Nasıl Denenir?​

Ollama'yı 0.35'e güncelleyip "ollama pull nimble" komutuyla modeli indirin; ardından /v1/systemone endpoint'ine state (bağlam) ve questions içeren JSON gönderin. Mevcut sohbet API'leri etkilenmiyor.

Dikkat Hız rakamı (91 ms) üreticinin kendi testine ait; donanıma göre değişir. Karar modelleri olasılık üretse de arXiv'deki bir değerlendirme, yüksek güvenle yanlış "güvenli" kararlar verilebildiğini gösteriyor — otomatik yönlendirmede düşük güvenli sonuçları insana bırakın. Kaynaklar: Ollama blog, Local Model Watch, dev.to.

Sonuç Karar modelleri, dil modellerini "metin üreticisi"nden "hızlı ve ucuz karar motoru"na indiriyor; Ollama bu yaklaşımı tek komutla yerel makinelere taşıdı.