文章

部署你的本地个人AI助理——Librechat部署和Custom AI Endpoints设置

前言

这篇教程主要介绍如何在本地部署LibreChatCustom AI Endpoints来做个人的AI助手。

DeepSeek最近很厉害,比OpenAI成本低很多,性能差不多,调用也方便,响应也快,可以说是国内平替。

DeepSeek的API网站是:platform.deepseek.com,DeepSeek的github有适配的应用的列表:https://github.com/deepseek-ai/awesome-deepseek-integration/blob/main/README_cn.md

以LibreChat为例,部署客制化API(非OpenAI、谷歌等国外API)。可以调用众多国内外API,统一叫做Custom AI Endpoints。本教程以DeepSeek API为例,调用其他API具体步骤都是大同小异的。

安装&部署LibreChat

官网:https://www.librechat.ai/,文档:https://www.librechat.ai/docs

下载文件

  1. 访问项目页面:https://github.com/danny-avila/LibreChat

  2. 下载ZIP文件:点击“Download ZIP”

  3. 全部解压缩到你想要的位置

安装Docker

  1. 进入Docker桌面下载页面:https://www.docker.com/products/docker-desktop,下载Docker桌面。

  2. 打开安装程序,按照说明进行操作。

  3. 打开Docker桌面,确保它正在运行。

此处可能遇到的情况

可能会出现提示wsl --update失败,可以自行用管理员模式打开cmd,使用wsl --update更新。若下载速度慢,可使用wsl --update --web-download梯子挂美国节点

运行LibreChat

到你的LibreChat-main文件夹目录中,找到.env.example文件,重命名为.env

如果你只有OpenAI、Google、Bing、Anthropic的API Key,就不需要其他额外修改。

在该文件夹目录里运行命令docker compose up -d

一段时间后可以看到启动了,访问http://localhost:3080即可

Custom AI Endpoints调用

如果你有其他的Custom AI Endpoints需求,可以定制自己的api,首先需要停止LibreChat运行,在文件夹内运行命令:docker compose down

.env文件里,找到这一段,这里是所有支持的API。

#===================================#
# Known Endpoints - librechat.yaml  #
#===================================#
# https://www.librechat.ai/docs/configuration/librechat_yaml/ai_endpoints

# ANYSCALE_API_KEY=
# APIPIE_API_KEY=
# COHERE_API_KEY=
# DEEPSEEK_API_KEY=
# DATABRICKS_API_KEY=
# FIREWORKS_API_KEY=
# GROQ_API_KEY=
# HUGGINGFACE_TOKEN=
# MISTRAL_API_KEY=
# OPENROUTER_KEY=
# PERPLEXITY_API_KEY=
# SHUTTLEAI_API_KEY=
# TOGETHERAI_API_KEY=
# UNIFY_API_KEY=
# XAI_API_KEY=

以DeepSeek为例,把对应的行取消注释,写上key

# ANYSCALE_API_KEY=
# APIPIE_API_KEY=
# COHERE_API_KEY=
DEEPSEEK_API_KEY=sk-xxxxxxxx
# DATABRICKS_API_KEY=
# FIREWORKS_API_KEY=
# GROQ_API_KEY=
# HUGGINGFACE_TOKEN=
# MISTRAL_API_KEY=
# OPENROUTER_KEY=
# PERPLEXITY_API_KEY=
# SHUTTLEAI_API_KEY=
# TOGETHERAI_API_KEY=
# UNIFY_API_KEY=
# XAI_API_KEY=

打开librechat.example.yaml,在“custom”下级增加这一段,与其他示例api同级,例如groq和Mistral,然后把文件名改为librechat.yaml

    - name: "Deepseek"
      apiKey: "${DEEPSEEK_API_KEY}"
      baseURL: "https://api.deepseek.com/v1"
      models:
        default: ["deepseek-chat", "deepseek-coder", "deepseek-reasoner"]
        fetch: false
      titleConvo: true
      titleModel: "deepseek-chat"
      modelDisplayLabel: "Deepseek"

打开docker-compose.override.yml.example,将第一个service去掉注释,如下,然后把文件名改为docker-compose.override.yml

services:
  api:
    volumes:
    - type: bind
      source: ./librechat.yaml
      target: /app/librechat.yaml
    image: ghcr.io/danny-avila/librechat:latest

此时启动程序:docker compose up -d

然后访问http://localhost:3080就可以看到左上角多了很多不同厂家

然后就可以愉快的玩耍~

License:  CC BY 4.0