Langchain-Chatchat 终极部署指南:零基础搭建您的本地AI知识库

### **Langchain-Chatchat 终极部署指南:零基础搭建您的本地AI知识库** 想拥有一个完全私有、数据安全的本地AI知识库吗?Langchain-Chatchat 就是为此而生的开源项目。它允许您在自己的电脑上部署大语言模型,无需将数据上传到任何云端,并且完全免费,可用于商业用途。 本指南将带您一步步完成部署,从环境准备到成功运行,并预先处理了所有常见错误,让整个过程如丝般顺滑。 #### **第一部分:硬件与环境准备** 在开始之前,我们需要确保您的“战场”已经准备就绪。 **1. 硬件要求(GPU)** 您的显卡(GPU)决定了能运行多大规模的模型。以下是参考建议: | 模型级别 | 最低显存 | 推荐显卡 | 说明 | | :--- | :--- | :--- | :--- | | **入门级 (7B)** | 14 GB | NVIDIA RTX 3060 (12G) / 4070 | 本教程默认模型 **ChatGLM3-6B** 在此级别,适合大多数现代游戏显卡。 | | **进阶级 (14B)** | 30 GB | NVIDIA RTX 4090 / Tesla V100 | 适合需要更高性能的用户。 | | **专业级 (34B+)** | 69 GB+ | NVIDIA A100 或多卡互联 | 主要用于企业和研究领域。 | **演示环境:** Windows 11, GPU: RTX 4090 (24GB), CPU: i7-12700。 **2. 软件三件套** * **Python (3.8 - 3.11版本)** 强烈推荐使用 **Python 3.11**,这是官方开发和测试的主要版本。 * 点击前往 Python 官网下载[https://www.python.org/downloads](https://) * **NVIDIA CUDA Toolkit (推荐 12.1)** 这是让程序能够使用您的NVIDIA显卡进行加速的关键工具。 * 点击前往 NVIDIA 官网下载 CUDA 12.1 [https://developer.nvidia.com/cuda-12-1-0-download-archive](https://) * **注意:** 下载和安装过程可能需要稳定的网络环境。 * **Git & Git LFS** Git 用于下载项目代码,Git LFS 用于下载大模型文件。 * 点击前往 Git 官网下载 [3](https://git-scm.com/downloads/) * 下载安装Git后,打开命令行工具(CMD或PowerShell),输入以下命令来安装Git LFS: ```bash git lfs install ``` #### **第二部分:一步到位的安装流程** 我们将采用“先解决问题”的策略,将官方教程中提到的常见错误提前规避掉。 **第一步:克隆项目仓库** 打开您的命令行工具,进入您想存放项目的文件夹,然后执行以下命令: ```bash # 从 Github 克隆主项目 git clone https://github.com/chatchat-space/Langchain-Chatchat.git # 进入项目目录,后续所有操作都在此目录下进行 cd Langchain-Chatchat ``` **第二步:安装核心依赖(防错版)** 这是最关键的一步,我们已经为您优化了顺序,避免了99%的安装报错。 1. **安装Pytorch:** 首先安装与CUDA 12.1匹配的Pytorch版本,这是避免“CUDA未编译”错误的根本。 ```bash pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 ``` 2. **修正依赖兼容性:** 预先安装几个特定版本的库,以解决后续可能出现的 `pwd` 模块缺失和 `wavedrom` 安装报错问题。 ```bash # 解决 Windows 系统下 'pwd' 模块不存在的问题 pip install langchain-community==0.0.19 # 解决 wavedrom 依赖安装报错的问题 pip install setuptools_scm ``` 3. **安装项目全部依赖:** 现在,您可以安心地安装项目所需的所有其他库了。 ```bash pip install -r requirements.txt pip install -r requirements_api.txt pip install -r requirements_webui.txt ``` *提示:* 如果您想使用`milvus`等其他向量数据库,可以手动编辑 `requirements.txt` 文件,取消对应库前面的注释 `#` 再执行此步骤。对于新手,直接使用默认的`FAISS`即可。 **第三步:下载AI模型** 项目代码是“框架”,而模型则是“大脑”。我们需要下载一个大语言模型(用于对话)和一个嵌入模型(用于理解文档)。 ```bash # 下载 ChatGLM3-6B 语言模型 git clone https://huggingface.co/THUDM/chatglm3-6b # 下载 bge-large-zh 嵌入模型 git clone https://huggingface.co/BAAI/bge-large-zh ``` *注意:* 模型文件较大,下载速度取决于您的网络。请耐心等待。 **第四步:初始化配置和数据库** 1. **生成配置文件:** 运行以下脚本,程序会自动为您创建一份默认的配置文件。 ```bash python copy_config_example.py ``` 2. **初始化知识库:** 这个脚本会创建向量数据库,用于存储您自己的知识文档。 ```bash python init_database.py --recreate-vs ``` #### **第三部分:启动并开始使用!** 恭喜您,所有准备工作已完成!现在,让我们启动程序。 在命令行中运行: ```bash python startup.py -a ``` * `-a` 参数代表 `all-in-one`,即一键启动所有服务。 * 首次启动时,程序会要求您**输入一个邮箱地址**作为临时的用户名,随意输入一个格式正确的邮箱即可。 启动成功后,您会看到类似下面的输出,提示您WebUI的访问地址: `Uvicorn running on http://0.0.0.0:8501 (Press CTRL+C to quit)` 打开您的浏览器,访问 **`http://127.0.0.1:8501`** ,即可看到 Langchain-Chatchat 的可视化操作界面,开始与您的本地AI对话吧! --- **总结** 通过本教程,您不仅安装了Langchain-Chatchat,更重要的是,通过优化的步骤避免了可能令人头疼的常见错误。现在您拥有了一个完全在本地运行、安全可靠的AI知识库平台。您可以上传自己的文档,让AI根据您的资料回答问题,探索更多有趣的玩法!

发表评论

0 评论