课程目标
本课程旨在使学员深入理解大模型本地部署的原理、流程和关键技术,具备独立完成常见大模型本地部署的能力,并能够根据实际需求对部署进行优化和维护。通过理论学习与实践操作相结合,让学员掌握从环境搭建、模型选择与下载、部署实施到性能优化的全流程技能,为在实际工作或研究中应用大模型奠定坚实基础。
课程对象
对大模型技术有兴趣,希望深入了解并掌握本地部署技能的技术爱好者
企业中需要在本地环境部署大模型以满足业务需求(如数据安全、定制化服务等)的工程师
课程大纲
第一讲:大模型简介
一、 定义与概念
1. 大模型的定义
2. 大模型的应用领域
3. 大模型本地部署的意义
二、 本地大模型的工作原理
1. 模型架构
2. 工具链
3. 本地知识库
第二讲:本地部署环境搭建
一、 硬件需求
1. CPU
2. GPU
3. 内存
4. 存储
二、 软件环境
1. 操作系统
2. 工具链的介绍
3. UI工具的介绍
第三讲:大模型选择与下载
一、 开源大模型介绍
1. LLaMA 系列
2. Deepseek系列
3. Qwen 系列
4. 其他知名开源模型
第四讲:大模型本地部署流程
一、 使用工具部署
1. Ollama 部署
2. llama部署
3. vLLM部署
4. LM Studio部署
二、 部署后的优化与维护
1. 性能优化
2. 模型更新与维护
第五讲:项目介绍与目标设定
一、 项目实施步骤
1. 需求分析(大模型使用的方向)
2. 环境搭建(桌面系统与硬件)与模型要求(模型名称)
3. 部署与优化
4. 集成与测试