Local AI Gateway

Bu makinede Ollama’nın yerini hiçbir uygulama fark etmeden alan bir geçit: aynı portta aynı API, üstüne OpenAI uyumlu uç noktalar. Arkasında Apple MLX üzerinde 4-bit Qwen3.8 27B modeli tek sunucudan hem metin hem görsel işliyor ve her uygulama kuyruktan adil payını alıyor.

Problem

Aynı makinedeki birçok yapay zekâ ürünü — OstamAI, FinMetre, MotoTracker ve diğerleri — aynı büyük modeli istiyordu. Yoğun bir uygulama diğerlerini aç bırakabiliyor, takılan bir model herkesi kilitliyor, sıkı JSON ya da görsel isteyen her uygulama bunu kendince çözüyordu.

Çözüm

Modelin önünde tek bir geçit: uygulamalar hep kullandıkları adresi çağırmaya devam ediyor, bir başlık ya da port ile ayırt ediliyor ve modeli ağırlıklı adil bir kuyrukla paylaşıyor. JSON şemaları merkezde zorunlu kılınıyor; model cevap vermeyi keserse bir gözetleyici onu yeniden başlatıyor.

Neler Geliştirdim

• →Aynı portta Ollama API ve OpenAI /v1 — hiçbir uygulamanın değişmesi gerekmedi
• →Uygulama başına ağırlıklı adil kuyruk; vazgeçilen istekler sırasını geri veriyor
• →Metin, görsel ve kararlar tek bir MLX görsel-dil sunucusundan
• →JSON ve JSON şeması çıktısı doğrulanıyor, gerekirse bir kez düzeltilerek
• →Evet/hayır, seçim ve puan sorularını bir sonraki token olasılıklarından cevaplayan /decide uç noktası
• →Gözetleyici takılan modeli yoklayıp yeniden başlatıyor; zaman aşımları kilitlenen sıraları serbest bırakıyor

Öne Çıkanlar

• →Ollama + OpenAI API ile birebir uyumlu
• →Uygulama başına ağırlıklı adil kuyruk
• →Kendini onaran gözetleyici

Sonuç

• →Makinedeki tüm yapay zekâ ürünleri tek bir 27B modeli birbirini aç bırakmadan paylaşıyor
• →/decide ile beş tipli karar yaklaşık 5–7 saniyede dönüyor
• →Düz Ollama’ya geri dönüş belgelenmiş, üç komutluk bir geçiş