技术标签: 向量数据库 chatglm3 人工智能 大模型 开源 chatgpt milvus docker
https://www.bilibili.com/video/BV1N94y1n7UF/
【大模型知识库】(1):设计开源项目,docker部署mysql,seilisearch,milvus,fastchat的ChatGLM3,BGE-zh模型
项目名称 llm-knowledge-system
大模型知识库系统
项目代码在,逐步开发设计中。
https://gitee.com/fly-llm/llm-knowledge-system
开发语言使用golang进行开发。
框架使用goframe。主要是考虑到高并发,和快速部署。
官方:https://goframe.org/display/gf
代码:
https://gitee.com/johng/gf
GoFrame是一款模块化、高性能、企业级的Go基础开发框架。GoFrame是一款通用性的基础开发框架,是Golang标准库的一个增强扩展级,包含通用核心的基础开发组件,优点是实战化、模块化、文档全面、模块丰富、易用性高、通用性强、面向团队。GoFrame即可用于开发完整的工程化项目,由于框架基础采用模块化解耦设计,因此也可以作为工具库使用。
如果您想使用Golang开发一个业务型项目,无论是小型还是中大型项目,GoFrame是您的不二之选。如果您想开发一个Golang组件库,GoFrame提供开箱即用、丰富强大的基础组件库也能助您的工作事半功倍。如果您是团队Leader,GoFrame丰富的资料文档、详尽的代码注释、活跃的社区成员将会极大降低您的指导成本,支持团队快速接入、语言转型与能力提升。
MeiliSearch
基于 Rust 语言开发的开源搜索引擎
一款开源向量数据库,赋能 AI 应用和向量相似度搜索。
Field:类似表字段,可以是结构化数据,当然还可以是向量;
Entity:一组Field,类似表的一条数据;
Collection:一组Entity,类似于表;
Milvus不单单是向量检索工具,而是向量数据库,能对不同业务的向量隔离,分开存储;
提供可视化管理工具;
支持带过滤条件的向量混合检索。
https://zhuanlan.zhihu.com/p/405186060#%E5%89%8D%E8%A8%80%E6%8F%90%E7%A4%BA
之前的项目已经调研清楚了:
【ChatGLM3】(5):使用 fastchat 部署ChatGLM3服务,启动8bit的worker,可以运行openai_api服务和web界面方便进行测试。还支持embeddings 接口!
https://blog.csdn.net/freewebsys/article/details/134484318?spm=1001.2014.3001.5501
fastchat其实可以分开部署,分为 CPU 版本和 GPU 版本。这样在生产环境更灵活。
其中workder可以支持多机器部署:
# 构建 cpu 版本
FROM python:slim-bullseye
# 设置python3的镜像源
RUN mkdir /root/.pip/ && echo "[global]" > /root/.pip/pip.conf && \
echo "index-url = https://mirrors.aliyun.com/pypi/simple/" >> /root/.pip/pip.conf && \
echo "[install]" >> /root/.pip/pip.conf && \
echo "trusted-host=mirrors.aliyun.com" >> /root/.pip/pip.conf
# 先安装
RUN pip3 install "fschat[controller]"
GPU的镜像主要跑模型:
## 参考文章:https://blog.csdn.net/freewebsys/article/details/134567530
FROM pytorch/pytorch:2.1.0-cuda12.1-cudnn8-devel
# 设置debian的镜像源 && # 设置python3的镜像源
RUN echo "deb https://mirrors.aliyun.com/ubuntu/ focal main restricted universe multiverse" > /etc/apt/sources.list && \
echo "deb https://mirrors.aliyun.com/ubuntu/ focal-updates main restricted universe multiverse" >> /etc/apt/sources.list && \
echo "deb https://mirrors.aliyun.com/ubuntu/ focal-backports main restricted universe multiverse" >> /etc/apt/sources.list && \
echo "deb https://mirrors.aliyun.com/ubuntu/ focal-security main restricted universe multiverse" >> /etc/apt/sources.list && \
pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple && \
pip3 config set install.trusted-host mirrors.aliyun.com
# 先安装 xformers 再安装 fastchat, 就不会安装 pytroch 了,会使用 xformers 依赖的版本了。
# apt update && apt install -y net-tools vim
RUN pip3 install transformers accelerate sentencepiece \
&& pip3 install "fschat[model_worker,webui]"
整个的docker-compose文件:
包括:
mysql,seilisearch,milvus,fastchat的ChatGLM3,BGE-zh
version: '3.5'
services:
################## mysql 数据库 5.7 版本 ##################
mysql:
restart: always
image: mysql:5.7
container_name: mysql
ports:
- "3306:3306"
volumes:
- "./data/mysql:/var/lib/mysql"
# - "./conf/mysql/mysql.cnf:/etc/mysql/conf.d/mysql.cnf"
environment:
MYSQL_ROOT_PASSWORD: mysqladmin
MYSQL_DATABASE: llm_knowledge
TZ: Asia/Shanghai
command: [
'--character-set-server=utf8mb4',
'--collation-server=utf8mb4_general_ci',
'--max_connections=3000'
]
################## meilisearch 1.5 搜索服务 ##################
meilisearch:
restart: always
image: getmeili/meilisearch:v1.5
container_name: meilisearch
ports:
- "7700:7700"
volumes:
- "./data/meilisearch:/meili_data"
environment:
MEILI_ENV: production
MEILI_MASTER_KEY: admin_1234567890
##################### 向量数据库配置 #####################
etcd:
restart: always
container_name: milvus-etcd
image: quay.io/coreos/etcd:v3.5.5
environment:
- ETCD_AUTO_COMPACTION_MODE=revision
- ETCD_AUTO_COMPACTION_RETENTION=1000
- ETCD_QUOTA_BACKEND_BYTES=4294967296
- ETCD_SNAPSHOT_COUNT=50000
volumes:
- ./data/milvus/etcd:/etcd
command: etcd -advertise-client-urls=http://127.0.0.1:2379 -listen-client-urls http://0.0.0.0:2379 --data-dir /etcd
healthcheck:
test: ["CMD", "etcdctl", "endpoint", "health"]
interval: 30s
timeout: 20s
retries: 3
minio:
restart: always
container_name: milvus-minio
image: minio/minio:RELEASE.2023-03-20T20-16-18Z
environment:
MINIO_ACCESS_KEY: minioadmin
MINIO_SECRET_KEY: minioadmin
ports:
- "9001:9001"
- "9000:9000"
volumes:
- ./data/milvus/minio:/minio_data
command: minio server /minio_data --console-address ":9001"
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:9000/minio/health/live"]
interval: 30s
timeout: 20s
retries: 3
milvus-standalone:
restart: always
container_name: milvus-standalone
image: milvusdb/milvus:v2.3.3
command: ["milvus", "run", "standalone"]
security_opt:
- seccomp:unconfined
environment:
ETCD_ENDPOINTS: etcd:2379
MINIO_ADDRESS: minio:9000
volumes:
- ./data/milvus/milvus:/var/lib/milvus
healthcheck:
test: ["CMD", "curl", "-f", "http://localhost:9091/healthz"]
interval: 30s
start_period: 90s
timeout: 20s
retries: 3
ports:
- "19530:19530"
- "9091:9091"
depends_on:
- "etcd"
- "minio"
##################### 使用fastchat部署大模型 #####################
fastchat-controller:
restart: always
container_name: fastchat-controller
image: fastchat-cpu:v1.0
build:
context: .
dockerfile: docker/fastchat/DockerfileCpu
# 获取当前ip地址
command: python3 -m fastchat.serve.controller --host 0.0.0.0 --port 21001
fastchat-api:
restart: always
container_name: fastchat-api
image: fastchat-cpu:v1.0
build:
context: .
dockerfile: docker/fastchat/DockerfileCpu
# 获取当前ip地址 执行模型。
ports:
- "8000:8000"
command:
bash -c "python3 -m fastchat.serve.openai_api_server --controller-address http://fastchat-controller:21001 \
--host 0.0.0.0 --port 8000 "
depends_on:
- "fastchat-controller"
fastchat-worker-chatglm3:
restart: always
container_name: fastchat-worker-chatglm3
image: fastchat-gpu:v1.0
volumes:
- ./models/chatglm3-6b:/data/models/chatglm3-6b
build:
context: .
dockerfile: docker/fastchat/DockerfileGpu
# 是以 GPU 资源。
deploy:
resources:
reservations:
devices:
- driver: "nvidia"
count: "all"
capabilities: ["gpu"]
# 获取当前ip地址 执行模型。
command:
bash -c "python3 -m fastchat.serve.model_worker --load-8bit --model-names chatglm3-6b \
--model-path /data/models/chatglm3-6b --controller-address http://fastchat-controller:21001 \
--worker-address http://fastchat-worker-chatglm3:8001 --host 0.0.0.0 --port 8001 "
depends_on:
- "fastchat-controller"
fastchat-worker-bge-large-zh:
restart: always
container_name: fastchat-worker-bge-large-zh
image: fastchat-gpu:v1.0
volumes:
- ./models/bge-large-zh:/data/models/bge-large-zh
build:
context: .
dockerfile: docker/fastchat/DockerfileGpu
# 是以 GPU 资源。
deploy:
resources:
reservations:
devices:
- driver: "nvidia"
count: "all"
capabilities: ["gpu"]
# 获取当前ip地址 执行模型。
command:
bash -c "python3 -m fastchat.serve.model_worker --model-names bge-large-zh \
--model-path /data/models/bge-large-zh --controller-address http://fastchat-controller:21001 \
--worker-address http://fastchat-worker-bge-large-zh:8001 --host 0.0.0.0 --port 8001 "
depends_on:
- "fastchat-controller"
networks:
default:
name: knowledge-network
启动成之后,测试接口:
curl http://localhost:8000/v1/embeddings \
-H "Content-Type: application/json" \
-d '{
"input": "Your text string goes here",
"model": "bge-large-zh"
}'
curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json" -d '{
"model": "chatglm3-6b",
"messages": [{"role": "user", "content": "你好"}],
"temperature": 0.7
}'
整个的docker-compose文件:
项目 | 介绍 | 端口 |
---|---|---|
mysql | 数据库 | 3306 |
meilisearch | 搜索库 | 7700 |
milvus | 向量数据库 | 19530 |
fastchat | 模型框架,部署chatglm3,BGE-zh | 8000 |
使用goframe可以快速创建项目。
然后就可以进行开发了。
在项目的docker-compose 目录下可以直接将各种中间件服务都启动。
配置都在各自中间件的目录下面。
中间件都可以启动成功了。主要是fastchat复杂点。
文章浏览阅读2w次,点赞7次,收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案,在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建:添加Visual C++ , Win32 项目这......_c#调用lib
文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体,挺好看的。注重颜值的网站都会使用,例如知乎:font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang
文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时,向何处发送表单中的数据,地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理,get方式直接显示在url地址中,数据可以被缓存,且长度有限制;而post方式数据隐藏传输,_html表单的处理程序有那些
文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证(即Google Authenticator服务)后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器
文章浏览阅读4.3k次,点赞5次,收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距
文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节,实现了多层数据的堆叠,为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制(CoW)策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的,不建议用于生成环境。_docker 保存容器
文章浏览阅读834次,点赞27次,收藏13次。网络拓扑结构是指计算机网络中各组件(如计算机、服务器、打印机、路由器、交换机等设备)及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式,也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn
文章浏览阅读1.8k次,点赞5次,收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时,通常的做法是:new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的,而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠,也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑,需要做一些额外的特殊处理,笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数,一劳永逸,避免每次ne_date.prototype 将所有 ios
文章浏览阅读5.3k次。方法一:用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头,使全列成选中状态,然后粘贴,最后commit提交即可。(前提..._excel导入pl/sql
文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区,包括untracked的文件...
文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120
文章浏览阅读1.8k次。版权声明:转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数