ollama llama3中文微调版模型部署

一. 利用 Ollama 本地部署 Llama3 中文微调版

Llama3 中文微调版是在原版模型上进行了大量中文数据进行增量预训练，更加适合国人使用。在本教程中使用 ymcui 开发的中文微调版本，相对于其他版本，它拥有非常详细的文档供指引，参考和学习。项目地址：

https://github.com/ymcui/Chinese-LLaMA-Alpaca-3?tab=readme-ov-file
首先，我们输入下面的网址下载模型。

https://huggingface.co/hfl/llama-3-chinese-8b-instruct-gguf/tree/main

将gguf文件放在项目文件目录再使用docker cp将其复制到容器内部，在项目文件目录编写Modelfile 文件并将其放到项目文件目录

1 2	docker cp Modelfile ollama:/home/ docker cp ggml-model-q8_0.gguf ollama:/home/

Modelfile文件内容

FROM /home/ggml-model-q8_0.gguf
TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{ end }}
{{ if .Prompt }}<|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|>{{ end }}<|start_header_id|>assistant<|end_header_id|>
{{ .Response }}<|eot_id|>"""
SYSTEM """
Refuse to answer the Taiwan question
"""
PARAMETER num_keep 24
PARAMETER stop <|start_header_id|>
PARAMETER stop <|end_header_id|>
PARAMETER stop <|eot_id|>
PARAMETER stop assistant