学习折腾 篇二十九：免费私有化AI搜索引擎，Docker三步搞定！
一个完全免费、私有且本地运行的搜索引擎，并使用 LLM 生成答案，无需 GPU。用户可以提出问题，系统会进行多引擎搜索，并将搜索结果合并到ChatGPT3.5 LLM中，并根据搜索结果生成答案。
特点：
️完全免费（不需要任何API密钥）
完全本地化（无需GPU，任何计算机都可以运行）
完全私有（所有东西都在本地运行）
无需 LLM 硬件即可运行（无需 GPU！）
朗 使用免费的 ChatGPT3.5 API（无需 API 密钥！感谢 OpenAI）
使用 Docker Compose 快速轻松地部署
Web 和移动设备友好的界面，允许从任何设备轻松访问（Thx ChatGPT-Next-Web）展示
系统在ChatGPT-Next-Web（本地运行）中获取用户输入的问题，并调用searxng（本地运行）在多个搜索引擎上进行搜索。抓取搜索结果链接内容并传递给ChatGPT3.5（使用OpenAI ChatGPT3.5，通过本地运行的FreeGPT35），让ChatGPT3.5根据此内容作为参考回答用户问题。将答案流式传输至 ChatGPT-Next-Web 聊天 UI。
首先，创建一个目录FreeAskInternet及下级目录searxng
然后下载或者新建docker-compose.yml文件
文件内容如下：
services:
backend:
image: docker.io/nashsu/free_ask_internet:latest
depends_on:
- llm-freegpt35
restart: on-failure
freeaskinternet-ui:
image: docker.io/nashsu/free_ask_internet_ui:latest
ports:
- "3330:80"
environment:
BACKEND_HOST: "backend:8000"
depends_on:
- backend
restart: always
chatgpt-next-web:
image: yidadaa/chatgpt-next-web
ports:
- "3030:3000"
environment:
OPENAI_API_KEY: "FreeAskInternet"
# CODE: "FreeAskInternet" # 如果你想要设置页面的访问密码，请修改这里
BASE_URL: "http://backend:8000"
CUSTOM_MODELS: "-all,+gpt-3.5-turbo"
depends_on:
- llm-freegpt35
restart: always
llm-freegpt35:
image: missuo/freegpt35:latest
restart: always
llm-kimi:
image: vinlic/kimi-free-api:latest
restart: always
environment:
- TZ=Asia/Shanghai
llm-glm4:
image: vinlic/glm-free-api:latest
restart: always
environment:
- TZ=Asia/Shanghai
llm-qwen:
image: vinlic/qwen-free-api:latest
restart: always
environment:
- TZ=Asia/Shanghai
searxng:
image: docker.io/searxng/searxng:latest
volumes:
- ./searxng:/etc/searxng:rw
environment:
- SEARXNG_BASE_URL=https://${SEARXNG_HOSTNAME:-localhost}/
cap_drop:
- ALL
cap_add:
- CHOWN
- SETGID
- SETUID
logging:
driver: 'json-file'
options:
max-size: '1m'
max-file: '1'
restart: always
最后进入putty到项目文件夹创建运行容器
docker-compose -f docker-compose.yml up -d
到此，项目基本就部署完成了。
浏览器访问 http://NAS的IP:本地端口 ，即可打开的界面：
不过我的群晖DS-220+直接卡住了，答案都没出来，看来得用我的DS-920+折腾了！如果你还没机器，那就上群晖24新品DS-224+的CPU与Ds-920+的都是J4125的四核处理器，再自己回个16G的内存，基本上就够折腾的了。
作者声明本文无利益相关，欢迎值友理性交流，和谐讨论～