Author: veteran

安装docker

root@instance-20230906-1618:~# docker --version
Command 'docker' not found, but can be installed with:
snap install docker         # version 20.10.24, or
apt  install podman-docker  # version 3.4.4+ds1-1ubuntu1.22.04.2
apt  install docker.io      # version 24.0.5-0ubuntu1~22.04.1
See 'snap info docker' for additional versions.

服务器的版本是

root@instance-20230906-1618:~# lsb_release -a
No LSB modules are available.
Distributor ID: Ubuntu
Description:    Ubuntu 22.04.3 LTS
Release:        22.04
Codename:       jammy

安装完成后，少了一点空间

267 MB of additional disk space will be used

安装python3的container

其实我可以使用python3的虚拟机，但是因为最近使用docker比较顺手，所以打算尝试下

• 希望在这个容器里，安装与llm有关的插件、向量数据库等等
• 或者在这台机器上安装其他的容器，例如关系数据库、向量数据库或者其他组件，实现一个简单的微服务价格，最好也可以用k8s管理

安装python最新版本，python:3

docker pull python:3

启动docker，而且进入交互（i）和终端模式（t），这里有个小问题，启动容器后会自动进入终端模式，我不是很喜欢这样，所以应该去掉t这个参数

docker run -it --name python3-container python:3

进入docker，使用terminal编写执行脚本,可以看到容器里的python和宿主机的python，版本是不一致的。

root@instance-20230906-1618:~# docker exec -it python3-container /bin/bash
root@e6d7fd5c9e79:/# python --version
Python 3.11.5
root@e6d7fd5c9e79:/# pip --version
pip 23.2.1 from /usr/local/lib/python3.11/site-packages/pip (python 3.11)
root@e6d7fd5c9e79:/# exit
exit
root@instance-20230906-1618:~# python3 --version
Python 3.10.12
root@instance-20230906-1618:~# pip --version
Command 'pip' not found, but can be installed with:
apt install python3-pip

需求来源与问题提出

大模型，特别是公有云的超大参数模型，例如70B、130B的模型，往往不会针对特定的领域知识进行微调，原因既有模型自身训练成本的问题，也和把控领域数据的客户有关，他们不愿意共享自己的数据；

私有化部署的大模型，是否就不存在这样的问题呢？不尽然，虽然私有化部署避免了数据回流的安全问题，但是目前阶段，没有那个客户会接受一次训练的成本（软件、硬件和调优服务），何况所谓训练数据的标注也是一个漫长、昂贵的过程。

最近我参与的若干政府项目就遇到了类似难题。

而langchain、向量数据库就能形成一套很好的方案。

原来的问题是：大模型不太行，回答不了我提出的问题；
现在的问题是：你的问题有点烂，没有利用好大模型。

方案的基本思路

专业问题+外挂领域知识库+通用大模型=专业问题+领域大模型

1. 一个简单的例子

请问XXX

2. 一个复杂的例子

请问XXX

LangChain介绍