使用Ollama與Open WebUI在本地端部署Llama3大語言模型 文/恆逸資深講師申建忠

使用Ollama與Open WebUI在本地端部署Llama3大語言模型

申建忠 Frank Shen

• 恆逸教育訓練中心-資深講師
• 技術分類：雲端

 

 

Ollama是一個使用Go語言開發的本地端大語言模型框架，可以在本地端執行多種開放原始碼的大語言模型，如：Llama 3、Mistral、Gemma等。其中Meta Llama 3以15T語料進行訓練，模型效果號稱無限接近ChatGPT4。

本文介紹如何在本地端安裝Ollama與Open WebUI，並使用Ollama運行Meta Llama 3:8b模型。

首先至Ollama官網(https://ollama.com)下載對應版本的ollama執行檔，下載完成後直接點擊安裝即可。本文以Apple Macbook pro 2018為例。