1.准备环境

1.1InternLM 模型部署

开发机准备
从本地一创建一个已有的 pytorch 2.0.1 的环境并激活虚拟环境
安装相关依赖

1.2下载模型

创建目录，下载模型

Untitled

1.3 LangChain 相关环境配置

安装相关LangChain依赖
下载Sentence Transformer
- 下载huggingface-cli
- 新建python文件 download_hf.py，使用hugging-face镜像下载Sentence Transformer

1.4 下载 NLTK 相关资源

2 知识库搭建

2.1 数据收集

首先我们需要将上述远程开源仓库 Clone 到本地，可以使用以下命令：

# 进入到数据库盘
cd /root/data
# clone 上述开源仓库
git clone <https://gitee.com/open-compass/opencompass.git>
git clone <https://gitee.com/InternLM/lmdeploy.git>
git clone <https://gitee.com/InternLM/xtuner.git>
git clone <https://gitee.com/InternLM/InternLM-XComposer.git>
git clone <https://gitee.com/InternLM/lagent.git>
git clone <https://gitee.com/InternLM/InternLM.git>

2.2 加载数据

Untitled

Untitled