1.当今背景

• 大模型成为当今热点话题

• AI发展趋势：从专用模型→通用模型

  

2.书生·浦语大模型体系

2.1书生·浦语大模型系列

• 轻量级：InternLM-7B
• 中量级：InternLM-20B
• 重量级：InternLM-123B

2.2书生·浦语大模型全链路开源开发体系

2.2.1数据

2.2.2预训练

InternLM-Train预训练框架并行训练速度快，可达3600 tokens/sec/gpu，并且支持从8卡到千卡训练，千卡训练加速达到92%。

2.2.3微调

XTuner支持在InternLM-20B系列模型上进行LoRA、QLoRA、全参数微调等操作，集成了DeepSpeed ZeRO训练优化技术。并且，通过XTuner，用户只需要24GB显存就可以微调InternLM-20B系列模型。值得一提的是，XTuner主要聚焦于微调环节，为各类开源大模型提供了轻量级微调框架。它大大降低了大模型训练的成本，使得开发者和企业能够更容易地应用大模型。

2.2.4部署

LMDeploy提供了一种简单易用的方式来将预训练的语言模型部署到生产环境中，支持多种部署方式，包括本地部署、云端部署和边缘设备部署等。LMDeploy的主要功能包括：模型转换 、模型优化、模型部署 。