快轉到主要內容

[新聞] Ollama v0.2 釋出 - 並行運作更實用

Ollama v0.2 釋出,有重大的改革

  1. Concurrency - 可以同時間處理多個對話了
  2. Multiple models - 可以同時間載入多個模型了

你能想像你做了某個系統,結果只要有兩個人來用的時候,他們就要排隊嗎?你能想像一次只能跑一個模型,如果有應用場景需要兩個模型的話就無解嗎?現在 v0.2 都解決了

所以例如

  • 你能寫應用程式給多人用了,給公司同事給普羅大眾都行
  • 你的 RAG 可以同時使用本地的 embedding 與聊天模型了

v0.2 還有其他改進,以及後續的更新,詳情請看 https://github.com/ollama/ollama/releases


若您覺得有趣, 請 追蹤我的Facebook 或  Linkedin, 讓你獲得更多資訊!