Logo

开源大模型本地私有化部署

photo

2024年06月05日

1、安装ollama

ollma下载
https://ollama.com/download/windows

linux 安装
curl -fsSL https://ollama.com/install.sh | sh
运行
ollama run gemma:2b
ollama run gemma:7b
使用端口11434

2、下载 open-webui 代码
https://github.com/open-webui/open-webui.git
生成目录open-webui

docker 运行open-webui 代码
docker run -d –network=host -v open-webui:/app/backend/data -e OLLAMA_API_BASE_URL=http://127.0.0.1:11434/api –name open-webui –restart always ghcr.io/open-webui/open-webui:main

更多大模型下载部署
https://ollama.com/library

 

3、访问:http://ip:8080

橙子主题打折出售

其实我不卖,主要是这里是放广告的,所以就放了一个
毕竟主题都没做完,卖了也是坑.

购买它
所有附件
该文章没有附件.
本文为原创文章,请注意保留出处!

1、前段时间,ChatGPT、Midjourney爆火之后,大家的焦点都集中在怎么基于这些工具来写...怎么部署一个私有大模型?

centos 设置静态 IP 2024年06月05日

centos设置静态IP,防火墙设置。1、设置虚拟机的网络适配器为NAT模式2、找到子网掩码...centos设置静态IP

热门文章

Adobe Acrobat Pro 激活 这里记录了一些AdobeAcrobat的激活教程和组件。浏览量:1,987 作者:Pastore Antonio
1830 浏览量
“sudo: apt-get:找不到命令”的解决方法 Linux系统:CentOS7原因分析:这是由于CentOS的软件安装工具不是apt-get,而是...“sudo:apt-get:找不到命令”的解决方法 作者:Pastore Antonio
1540 浏览量
一个不可思议的一天 上周五可以说是我人生中的梦魇……因为时间没安排好,为了一个10几分钟的会议,打的花了100多。然...一个不可思议的一天 作者:Pastore Antonio
1531 浏览量
Win10中使用cmd命令快速安装telnet服务 Win10中不能够使用Telnet的主要原因是由于系统默认情况下是没有安装telnet服务的,所以我...Win10中使用cmd命令快速安装telnet服务 作者:Pastore Antonio
1524 浏览量
Windows Server IIS+ARR反向代理(配置反向代理服务器) 1.概念说明:反向代理反向代理服务器位于用户与目标服务器之间,但是对于用户而言,反向代理服务器就相...WindowsServerIIS+ARR反向代理(配置反向代理服务器) 作者:Pastore Antonio
1518 浏览量