跳至主要内容

1 篇文章 含有標籤「LLama」

檢視所有標籤

使用 Continue 和 LLama 3.2：本地化大模型的運行與應用

· 閱讀時間約 3 分鐘
junminhong(jasper)
junminhong(jasper)
Product Developer

LLama 3.2 模型介紹​

Meta 在 2024 年九月發佈了 LLaMA 3.2，這是針對大語言模型技術的一次重要升級

與以往版本相比，LLaMA 3.2 提供了更高效的推理能力、更好的記憶效果，並且在多種自然語言處理（NLP）任務上展示了強大的表現

不論是生成文本、進行對話還是處理複雜的任務，LLaMA 3.2 都具有更優秀的精度和速度

LLaMA 3.2 還支援邊緣設備與移動端的運行，這使得它成為企業實現高效能、本地化大模型應用的理想選擇

在 Docker 中運行 llama 3.2 3B​

💡 這邊要注意 docker 環境的資源記憶體要給夠，不然模型會啟動不了

這次我們使用 docker 來快速運行 llama 3.2 3B 模型，如果電腦規格夠力的話可以考慮使用 11B 或 90B 的模型 為了簡化模型的部署和運行，我們可以通過 Docker 來構建運行環境

從 Docker Hub 下載 ollama 的 image​

# 從 docker hub 下載 docker image，並且在背景啟動
docker run -d -p 11434:11434 --name ollama ollama/ollama

# 從剛剛的 ollama container 中下載 llama3.2 3B 模型，並且在背景啟動
# 因為模型具有一定的大小，所以需要花點時間等待下載
docker exec -d -it ollama ollama run llama3.2:3b

# 假設如果你想先使用對話的話可以不進背景
docker exec -it ollama ollama run llama3.2:3b

VSCode 結合 ollama 進行 AI 聊天以及程式碼生成​

用個 Continue 馬上讓你的 VScode 搖身一變成最近很火紅的 Cursor

安裝 Continue​

直接把這個 plugin 下載下來後，將下面這個 config 複製貼上，即可開始自由發揮

{
  "models": [
    { 
      "title" : "Llama 3.2 3b" , 
      "provider" : "ollama" , 
      "model" : "llama3.2:3b" 
    } 
  ],
  "embeddingsProvider" :  { 
    "provider" :  "ollama" , 
    "model" :  "nomic-embed-text" 
  }, 
  "tabAutocompleteModel": {
    "title" : "Llama 3.2 3b" , 
    "provider" : "ollama" , 
    "model" : "llama3.2:3b" 
  }
}

Model Benchmarks​

注意事項​

  • 如果自己架設模型，會非常吃電腦資源，所以審慎評估後再使用

參考連結​