一句話看懂 Ollaya 是什麼
Ollaya 是把 decision model（決策模型） 這種「不生成文字、只回傳機率」的新型 AI 變得像 Ollama 一樣容易裝的開源 runtime。決策模型不會跟你聊天、不會寫信、也不會掰故事——你丟一段客服訊息進去，它只回傳一個結構化答案，例如「這是退費請求，信心 95%」。整個過程在 RTX 4090 上跑只要 8 到 10 毫秒，比 Jev 的官方 API 還快上 25 倍以上，而且完全免費。
編按：本文綜合整理自 Ollaya 官方網站、Laya 模型頁、TypeSafe AI Jev 公告、Hacker News 討論串，並加入 Siami 編輯部觀點與分析。
背景：Jev 是什麼、為什麼引發這場開源接力
2026 年 9 月 15 日，舊金山新創 TypeSafe AI 發表了第一個「System One Model」Jev。這個模型由三位共同創辦人打造，其中包含一位 ChatGPT 的共同發明人，核心想法是用「快思（System 1）」取代「慢想（System 2）」：與其讓大型語言模型逐字生成答案，不如直接輸出一個結構化的判斷——例如「是 / 否」、「A / B / C」、「1 到 5 分」，外加一個校準過的機率。
這個點子在 HN 上炸開，因為它點出了一個 AI 圈長期忽略的事實：大多數企業應用根本不需要文字生成。客服分單、信用審查、內容審核、風險分流，這些場景要的是「一句結構化判斷」，不是「五百字有溫度的回覆」。Jev 把延遲壓到 150 毫秒以內、定價壓到每百萬輸入 token 0.042 美元（輸出免費），這對傳統 LLM 是降維打擊。
然而 Jev 是閉源付費 API。九天後，印度的 Convai Innovations 把自己的開源模型 Laya 端了出來，採用 Apache 2.0 授權，421M 參數，權重直接掛在 Hugging Face 上。創辦人 Nandakishor Mukkunnoth 公開表示，他早在 2025 年 3 月就提出同樣架構，TypeSafe 是後來才跟進。
又過了幾天，Denis Shirman 把 Laya 包進一個像 Ollama 一樣的開源 runtime，這就是 Ollaya。從 Jev 發表到 Ollaya 上線，前後大約 11 天。
Ollaya 的技術亮點：跑得超快、API 完全相容
Ollaya 官方公布的基準數字相當漂亮。以下是它在自己網站上展示的延遲比較（NVIDIA RTX 4090，五題請求，端到端 HTTP API）：
- laya:multilingual：8.1 毫秒
- laya:en：9.6 毫秒
- gliclass：14.7 毫秒
- nli：20.4 毫秒
- decider:0.8b：155 毫秒
- decider:2b：190 毫秒
- TypeSafe Jev 託管 API：236 到 276 毫秒（涵蓋網路）
更關鍵的是相容性。Ollaya 對外提供 /v1/systemone 與 /v1/models 兩個端點，請求與回應的 schema 完全複製 TypeSafe 官方格式。也就是說，原本寫好接 Jev API 的應用程式，只要把 base URL 換成 http://localhost:11435，就能直接改跑本地開源版本，連 Python SDK 都不用改。
內建的模型家族也很有意思，不只是 Laya 一支：
- laya：Convai Innovations 的主力，421M 參數，多語言、單次前向傳遞就回答案
- decider：Mapika 基於 Qwen3.5 開發的解碼器版本，從選項字母的 logits 讀答案
- nli：Moritz Laurer 的零樣本分類器，把每個選項當成假設評估蘊含度
- gliclass：Knowledgator 的指令式零樣本分類器，所有選項一次評分
- qwen3guard：Qwen 團隊的安全分類器，支援 119 種語言
- kev：Jared Palmer 的 LoRA 版本，搭配指標頭為每個選項打分
- von：Victor Hugo Panisa 在 ModernBERT-large 上做的版本，支援 8K token 上下文
每個模型都有自己的校準，Ollaya 還提供 Modelfile 讓你用自己的標註資料重新擬合。這跟傳統 LLM 給你一坨 logits 然後讓你自己處理的方式完全不同。
為什麼這件事重要：企業 AI 成本結構可能改寫
把這條新聞放回 2026 年的 AI 產業脈絡，意義比表面上看起來更大。過去兩年企業把 LLM 當萬靈丹，但凡有個分類需求也丟 GPT-4，這個習慣讓每月 API 帳單常常衝到六位數美元。decision model 的出現等於直接把這個成本結構打掉——它的單位成本不是「每千 token 多少錢」，而是「每瓦電力可以跑多少決策」。
對台灣與中文圈的中小團隊來說，這尤其重要。中文客服分單、信用初審、內容審核這些場景，原本受制於 GPT-4 的 API 成本與資料出境合規問題，現在可以靠一張 RTX 消費卡在自家機房跑完全部流程。Ollaya 跟 Laya 雖然以英文範例為主，但 laya:multilingual 支援 100 種以上語言，中文場景可以直接套用。
更深一層，這是「AI 基礎建設平民化」運動的延續。Ollama 把 LLM 變得像裝 Node.js 一樣簡單，Ollaya 把 decision model 也做到同樣境界。對開發者來說，多了一個不必依賴雲端、不必每個月看帳單的選項。
下面這支獨立評測影片把 Jev 與 Laya 的差異，以及這場開源爭議的全貌整理得很完整，9 分鐘看完就能掌握來龍去脈：
質疑與數據解讀：開源真的贏了嗎？
雖然 Laya 的權重開源、跑得比 Jev 快，但這不表示實務上 Laya 全面勝出。HN 上一位實際用過兩者的用戶 george_max 明確表示：「以我的經驗，Laya 表現明顯較差，信心度更低，在較複雜查詢上常常做錯決定。」這跟官方公布的延遲數字是兩件事——延遲是工程問題，準確率是模型問題。
另一個值得注意的點是「兩週就被開源抄走」這個現象本身。TypeSafe AI 花了兩年祕密研發、找來 ChatGPT 共同發明人站台、定價壓到接近成本，結果九天後就被開源版本追上。HN 用戶 pradn 的評論很到位：「我不知道 TypeSafe 的結局會是什麼——他們需要持續證明更好的結果，或從其他軸競爭：UX、支援、客製化方案。」
這場戲碼跟之前 Llama 3 vs GPT-4o、Mistral vs Claude 的路線之爭很像：閉源公司負責定義新範式並承擔教育市場的成本，開源社群負責快速跟進並商品化。短期內對企業用戶是利多（成本降、選擇多），但長期對 TypeSafe 這類中型 AI 新創是警訊——他們必須證明「為什麼要付費給你」，而不是只靠「我們先做出來」。
最後，Ollaya 自己定位是「Ollama for decision models」，但它目前能裝的模型數量遠少於 Ollama 的 LLM 生態。這代表開發者社群還沒完全跟上，模型的 production 驗證也還不夠。生態系要長到跟 Ollama 一樣成熟，至少還需要半年到一年。
怎麼開始玩
對想親手試的人，Ollaya 提供三種安裝方式：
- macOS（Apple Silicon）：下載桌面 App 或
.dmg，選單列會出現小圖示 - Windows 10/11（x64）：下載
.exe或.msi，NVIDIA 用戶可透過 WSL 2 跑 GPU - Linux x86 / ARM64：AppImage、
.deb、.rpm都齊全，systemd service 也包好
裝好之後，跑 ollaya run decider --preset agent 就能用內建範例，命令列介面類似 Docker 或 Ollama。如果要寫程式接 API，照官方文件把 base URL 指向 http://localhost:11435 即可，TypeSafe 的 Python SDK 可以直接接上去用。
對企業評估來說，最值得先測的場景是「每天數萬到數十萬次、需要即時回應、目前用 LLM 處理太貴的小決策」，例如垃圾訊息過濾、工單優先級、信件分類。建議先抓兩週的真實資料做離線評測，再決定要不要替換現有的 LLM 流程。
網友熱門留言 (5)