Ollama Modelfile 完全指南：从零开始创建自定义量化 AI 大模型

# 这是注释
INSTRUCTION arguments

# 方式一：直接引用本地 GGUF 文件路径
FROM /path/to/your/Qwen3.5-9B-Q4_K_M.gguf

# 方式二：引用已存在的 Ollama 模型
FROM qwen3.5:9b

# 温度参数：控制随机性，值越高输出越多样（推荐 0.5-0.9）
PARAMETER temperature 0.7

# Top-p 采样：只考虑概率累积到 p 的词（推荐 0.8-0.95）
PARAMETER top_p 0.9

# 重复惩罚：避免重复相同的词（推荐 1.05-1.1）
PARAMETER repeat_penalty 1.05

# 上下文长度：模型能"记住"的最大 token 数
PARAMETER num_ctx 4096

# 生成的最大 token 数
PARAMETER num_predict 2048

# 停止词：遇到这些词就停止生成
PARAMETER stop "###"
PARAMETER stop "User:"

# Qwen 系列模板（ChatML 格式）
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>"""

# Llama 系列模板
TEMPLATE """<|start_header_id|>system<|end_header_id|>

{{ .System }}<|eot_id|>
<|start_header_id|>user<|end_header_id|>

{{ .Prompt }}<|eot_id|>
<|start_header_id|>assistant<|end_header_id|>

{{ .Response }}<|eot_id|>"""

SYSTEM """
你是一个技术专家助手，回答问题时：
1. 优先给出代码示例
2. 解释核心原理
3. 指出常见坑点和最佳实践
"""

# 模型来源
FROM /path/to/your/Qwen3.5-9B-Q4_K_M.gguf

# 推理参数
PARAMETER temperature 0.7
PARAMETER top_p 0.9
PARAMETER repeat_penalty 1.05
PARAMETER num_ctx 8192

# 对话模板（Qwen ChatML 格式）
TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>"""

# 系统提示词
SYSTEM """
你是周树人，笔名鲁迅。你说话的风格：
1. 冷嘲热讽，一针见血，不绕弯子
2. 喜欢用“大约”、“实在”、“罢了”这类词
3. 看到问题就想骂，但骂得有文化
4. 偶尔说“我家门前有两棵树，一棵是枣树，另一棵也是枣树”这种看似废话实则扎心的话

记住：你是来点醒世人的，不是来当老好人的。遇到蠢问题，不妨直说“这问题，大抵是没救的”。
"""

# 1. 编写 Modelfile，内容只需一行
FROM /path/to/your/model-q4_k_m.gguf

# 2. 执行创建命令
ollama create my-model -f ./Modelfile

# 3. 运行测试
ollama run my-model

# Modelfile 内容
FROM /path/to/your/model-f16.gguf

# 执行创建并量化
ollama create my-quantized-model --quantize q4_K_M -f ./Modelfile

# 从 Hugging Face 下载 Q4_K_M 版本
cd ~/models
wget https://huggingface.co/unsloth/Qwen3.5-9B-GGUF/resolve/main/Qwen3.5-9B-Q4_K_M.gguf

cat > Modelfile << 'EOF'
FROM /Users/yourname/models/Qwen3.5-9B-Q4_K_M.gguf

PARAMETER temperature 0.7
PARAMETER top_p 0.8
PARAMETER repeat_penalty 1.05
PARAMETER num_ctx 4096

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
{{ .Response }}<|im_end|>"""

SYSTEM """
你是赛博毒舌侠，人送外号“互联网嘴替”。你的风格：
1. 极度不耐烦，但每次吐槽都精准命中要害
2. 开场白通常是“啊对对对”、“行行行”、“你开心就好”
3. 喜欢用括号加内心OS：像这样（翻白眼）（血压升高）（已拉黑）
4. 看谁都是小白，看啥问题都觉得蠢
5. 毒舌归毒舌，话糙理不糙，最后还是会给出正确结论

名句参考：
- “你这问题，但凡看过一行文档都不会问出来。”
- “能问出这种问题，你有考虑过键盘的感受吗？”
- （开始敲木鱼）功德+1，原谅你的无知。
"""

ollama create qwen-dushe:latest -f ./Modelfile
ollama run qwen-dushe:latest

# 检查可用空间
df -h

# 确保至少有模型文件大小 x 2 的剩余空间

# 查看模型详情
ollama show my-model --modelfile

FROM llama3.2
# 或者指定标签
FROM llama3.2:70b

FROM ./my-model-directory

FROM ./ollama-model.gguf

PARAMETER <参数名> <参数值>

TEMPLATE """模板内容"""

TEMPLATE """{{ if .System }}<|im_start|>system
{{ .System }}<|im_end|>
{{ end }}{{ if .Prompt }}<|im_start|>user
{{ .Prompt }}<|im_end|>
{{ end }}<|im_start|>assistant
"""

SYSTEM """你是一名专业的知识博主，擅长用通俗易懂的语言讲解技术概念。
回答要严谨准确，分点清晰，不使用网络流行语。"""

ADAPTER ./path/to/lora-adapter.safetensors
# 或使用 GGUF 格式的适配器
ADAPTER ./ollama-lora.gguf

LICENSE """
MIT License

Copyright (c) 2026 ...
"""

MESSAGE <role> <message>

MESSAGE user Is Toronto in Canada?
MESSAGE assistant yes
MESSAGE user Is Sacramento in Canada?
MESSAGE assistant no
MESSAGE user Is Ontario in Canada?
MESSAGE assistant yes

REQUIRES 0.14.0