Logo

开源大模型本地私有化部署

photo

2024年06月05日

1、安装ollama

ollma下载
https://ollama.com/download/windows

linux 安装
curl -fsSL https://ollama.com/install.sh | sh
运行
ollama run gemma:2b
ollama run gemma:7b
使用端口11434

2、下载 open-webui 代码
https://github.com/open-webui/open-webui.git
生成目录open-webui

docker 运行open-webui 代码
docker run -d –network=host -v open-webui:/app/backend/data -e OLLAMA_API_BASE_URL=http://127.0.0.1:11434/api –name open-webui –restart always ghcr.io/open-webui/open-webui:main

更多大模型下载部署
https://ollama.com/library

 

3、访问:http://ip:8080

橙子主题打折出售

其实我不卖,主要是这里是放广告的,所以就放了一个
毕竟主题都没做完,卖了也是坑.

购买它
所有附件
该文章没有附件.
本文为原创文章,请注意保留出处!

1、前段时间,ChatGPT、Midjourney爆火之后,大家的焦点都集中在怎么基于这些工具来写...怎么部署一个私有大模型?

centos 设置静态 IP 2024年06月05日

centos设置静态IP,防火墙设置。1、设置虚拟机的网络适配器为NAT模式2、找到子网掩码...centos设置静态IP

热门文章

WordPress 后台编辑器样式实现直接预览 在WordPress3.0以后,有一个新的实用功能:你可以更改默认后台编辑器(TinyMCE)的样...WordPress后台编辑器样式实现直接预览 作者:Pastore Antonio
1533 浏览量
【干货】Chrome插件(扩展)开发全攻略 写在前面我花了将近一个多月的时间断断续续写下这篇博文,并精心写下完整demo,写博客的辛苦大家懂的...【干货】Chrome插件(扩展)开发全攻略 作者:Pastore Antonio
1488 浏览量
memcached 处理 多端口:https://blog.csdn.net/Erica_1230/article/deta...memcached处理 作者:Pastore Antonio
1481 浏览量
使用Nginx+WordPress搭建个人网站 背景很多研究技术的朋友喜欢写博客。如果希望搭建一个完全属于自己的网站,也并不困难。这里简要分享一下...使用Nginx+WordPress搭建个人网站 作者:Pastore Antonio
1453 浏览量
C#图片处理 通常对一幅图片的处理包括:格式变换,缩放(Scale),翻转(Rotate),截取(Clip),滤镜...C#图片处理 作者:Pastore Antonio
1445 浏览量