
### **Langchain-Chatchat 终极部署指南:零基础搭建您的本地AI知识库**
想拥有一个完全私有、数据安全的本地AI知识库吗?Langchain-Chatchat 就是为此而生的开源项目。它允许您在自己的电脑上部署大语言模型,无需将数据上传到任何云端,并且完全免费,可用于商业用途。
本指南将带您一步步完成部署,从环境准备到成功运行,并预先处理了所有常见错误,让整个过程如丝般顺滑。
#### **第一部分:硬件与环境准备**
在开始之前,我们需要确保您的“战场”已经准备就绪。
**1. 硬件要求(GPU)**
您的显卡(GPU)决定了能运行多大规模的模型。以下是参考建议:
| 模型级别 | 最低显存 | 推荐显卡 | 说明 |
| :--- | :--- | :--- | :--- |
| **入门级 (7B)** | 14 GB | NVIDIA RTX 3060 (12G) / 4070 | 本教程默认模型 **ChatGLM3-6B** 在此级别,适合大多数现代游戏显卡。 |
| **进阶级 (14B)** | 30 GB | NVIDIA RTX 4090 / Tesla V100 | 适合需要更高性能的用户。 |
| **专业级 (34B+)** | 69 GB+ | NVIDIA A100 或多卡互联 | 主要用于企业和研究领域。 |
**演示环境:** Windows 11, GPU: RTX 4090 (24GB), CPU: i7-12700。
**2. 软件三件套**
* **Python (3.8 - 3.11版本)**
强烈推荐使用 **Python 3.11**,这是官方开发和测试的主要版本。
* 点击前往 Python 官网下载[https://www.python.org/downloads](https://)
* **NVIDIA CUDA Toolkit (推荐 12.1)**
这是让程序能够使用您的NVIDIA显卡进行加速的关键工具。
* 点击前往 NVIDIA 官网下载 CUDA 12.1 [https://developer.nvidia.com/cuda-12-1-0-download-archive](https://)
* **注意:** 下载和安装过程可能需要稳定的网络环境。
* **Git & Git LFS**
Git 用于下载项目代码,Git LFS 用于下载大模型文件。
* 点击前往 Git 官网下载 [
3](https://git-scm.com/downloads/)
* 下载安装Git后,打开命令行工具(CMD或PowerShell),输入以下命令来安装Git LFS:
```bash
git lfs install
```
#### **第二部分:一步到位的安装流程**
我们将采用“先解决问题”的策略,将官方教程中提到的常见错误提前规避掉。
**第一步:克隆项目仓库**
打开您的命令行工具,进入您想存放项目的文件夹,然后执行以下命令:
```bash
# 从 Github 克隆主项目
git clone https://github.com/chatchat-space/Langchain-Chatchat.git
# 进入项目目录,后续所有操作都在此目录下进行
cd Langchain-Chatchat
```
**第二步:安装核心依赖(防错版)**
这是最关键的一步,我们已经为您优化了顺序,避免了99%的安装报错。
1. **安装Pytorch:** 首先安装与CUDA 12.1匹配的Pytorch版本,这是避免“CUDA未编译”错误的根本。
```bash
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
```
2. **修正依赖兼容性:** 预先安装几个特定版本的库,以解决后续可能出现的 `pwd` 模块缺失和 `wavedrom` 安装报错问题。
```bash
# 解决 Windows 系统下 'pwd' 模块不存在的问题
pip install langchain-community==0.0.19
# 解决 wavedrom 依赖安装报错的问题
pip install setuptools_scm
```
3. **安装项目全部依赖:** 现在,您可以安心地安装项目所需的所有其他库了。
```bash
pip install -r requirements.txt
pip install -r requirements_api.txt
pip install -r requirements_webui.txt
```
*提示:* 如果您想使用`milvus`等其他向量数据库,可以手动编辑 `requirements.txt` 文件,取消对应库前面的注释 `#` 再执行此步骤。对于新手,直接使用默认的`FAISS`即可。
**第三步:下载AI模型**
项目代码是“框架”,而模型则是“大脑”。我们需要下载一个大语言模型(用于对话)和一个嵌入模型(用于理解文档)。
```bash
# 下载 ChatGLM3-6B 语言模型
git clone https://huggingface.co/THUDM/chatglm3-6b
# 下载 bge-large-zh 嵌入模型
git clone https://huggingface.co/BAAI/bge-large-zh
```
*注意:* 模型文件较大,下载速度取决于您的网络。请耐心等待。
**第四步:初始化配置和数据库**
1. **生成配置文件:** 运行以下脚本,程序会自动为您创建一份默认的配置文件。
```bash
python copy_config_example.py
```
2. **初始化知识库:** 这个脚本会创建向量数据库,用于存储您自己的知识文档。
```bash
python init_database.py --recreate-vs
```
#### **第三部分:启动并开始使用!**
恭喜您,所有准备工作已完成!现在,让我们启动程序。
在命令行中运行:
```bash
python startup.py -a
```
* `-a` 参数代表 `all-in-one`,即一键启动所有服务。
* 首次启动时,程序会要求您**输入一个邮箱地址**作为临时的用户名,随意输入一个格式正确的邮箱即可。
启动成功后,您会看到类似下面的输出,提示您WebUI的访问地址:
`Uvicorn running on http://0.0.0.0:8501 (Press CTRL+C to quit)`
打开您的浏览器,访问 **`http://127.0.0.1:8501`** ,即可看到 Langchain-Chatchat 的可视化操作界面,开始与您的本地AI对话吧!
---
**总结**
通过本教程,您不仅安装了Langchain-Chatchat,更重要的是,通过优化的步骤避免了可能令人头疼的常见错误。现在您拥有了一个完全在本地运行、安全可靠的AI知识库平台。您可以上传自己的文档,让AI根据您的资料回答问题,探索更多有趣的玩法!
0 评论