【教程】Windows11本地部署FastGPT
本文最后更新于 32 天前,其中的信息可能已经有所发展或是发生改变。

先上结果:

准备

1、BOIS开启虚拟化、系统中开启虚拟化和WSL功能。
相关教程:【教程】wsl命令报错:命令行选项无效的处理方法 – iTPno.【笔记】Windows部署DockerDesktop问题 – iTPno.
2、安装Docker Desktop

下载一个配置文件1←点击脚注。

在配置文件目录中执行(拉取镜像、部署镜像):

如果有N卡则将配置文件中显卡注释去除

    # 有N卡的加上这段
    deploy:
        resources:
            reservations:
                devices:
                  - driver: "nvidia"
                    count: "all"
                    capabilities: ["gpu"]
docker-compose pull && docker-compose up -d
# 或者直接执行
docker-compose up -d

正常没问题就会在Docker Desktop中看到这个:

配置OneApi

打开localhost:3001或直接点击one-api后面的Port(s)的链接打开OneApi应用。

部署本地Ollama的相关教程:【教程】本地Ollama部署模型[Windows] – iTPno.
免费逆向API方案:LLM Red Team

点击登录,账号root,密码123456

系统默认就有一个超级令牌:

添加M3E向量模型,用于知识库的索引模型

渠道-添加新的渠道

按照下图填入

按需配置自己的模型

在下面有例子

配置FastGPT

点开本机的localhost:3000或者点开fastgpt应用端口,登录默认账号,账号root,密码1234

如果出现无法登录的情况,进入docker的mongo bash(初始化复制集)

# mongo
...
> use admin
switched to db admin
>rs.initiate({
  _id: "rs0",
  members: [
    { _id: 0, host: "mongo:27017" }
  ]
})
{"ok": 1}
> db.createUser(
   {
     user: "myname",
     pwd: "mypassword",
     roles: [ { role: "root", db: "admin" } ]
   }
 )
Successfully added user: {
        "user" : "myname",
        "roles" : [
                {
                        "role" : "root",
                        "db" : "admin"
                }
        ]
}
> db.auth("myname","mypassword")
1

返回1则成功

添加FastGPT、OneApi接口信息

进入OneApi,渠道,添加渠道:

我的例子:

然后在FastGPT的config.json中添加模型信息:(配置文件中已经添加了,而且更新到了最新版本)

    {
      "model": "gpt-3.5-turbo-1106", // 模型名
      "name": "gpt-3.5-turbo", // 别名
      "maxContext": 16000, // 最大上下文
      "maxResponse": 4000, // 最大回复
      "quoteMaxToken": 13000, // 最大引用内容
      "maxTemperature": 1.2, // 最大温度
      "charsPointsPrice": 0,
      "censor": false,
      "vision": false, // 是否支持图片输入
      "datasetProcess": false, // 是否设置为知识库处理模型(QA),务必保证至少有一个为true,否则知识库会报错
      "toolChoice": true, // 是否支持工具选择
      "functionCall": false, // 是否支持函数调用
      "customCQPrompt": "", // 自定义文本分类提示词(不支持工具和函数调用的模型
      "customExtractPrompt": "", // 自定义内容提取提示词
      "defaultSystemChatPrompt": "", // 对话默认携带的系统提示词
      "defaultConfig":{}  // 对话默认配置(比如 GLM4 的 top_p
    },

以上是配置文件的解释。

在FastGPT应用中加入模型即可:

结束

  1. 分享名称:FastGPT
    分享链接:https://kb.itpno.com/#s/-cBmR7Fw
    访问密码:iTPno. ↩︎

新搭建了一个大模型API集成平台,欢迎来购买;P

iAPI – AI语言模型接口集成平台

评论

  1. 博主
    Windows Edge 122.0.0.0 来自 美国 CloudFlare节点
    已编辑
    9 月前
    2024-2-29 19:41:38

    有个问题需要注意:
    在 Docker 中使用主机的 localhost 实际上是指向主机的网络接口地址,通常是 127.0.0.1。这个地址用于访问主机上运行的服务,而不是容器内部。在容器中访问主机上的服务时,可以使用主机的 IP 地址或者特殊的主机名,比如 host.docker.internal(仅适用于 Docker for Windows 和 Docker for Mac)或者 docker.for.mac.localhost(仅适用于 Docker for Mac)来代替 localhost。

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
Source: https://github.com/MengXi2021/Argon-Emoji-DailyNotes
Source: https://github.com/Ghost-chu/argon-huhu-emotions
https://github.com/qs5667/argon_bilibili_emoji
https://github.com/qs5667/argon_bilibili_emoji
https://github.com/qs5667/argon_bilibili_emoji
https://github.com/qs5667/argon_bilibili_emoji
Source: github.com/zhheo/Sticker-Heo
颜文字
Emoji
小恐龙
花!
每日手帐
呼呼
B站基础表情
B站节日表情
B站游戏表情
B站活动表情
Heo
上一篇
下一篇