Logo

开源大模型本地私有化部署

photo

2024年06月05日

1、安装ollama

ollma下载
https://ollama.com/download/windows

linux 安装
curl -fsSL https://ollama.com/install.sh | sh
运行
ollama run gemma:2b
ollama run gemma:7b
使用端口11434

2、下载 open-webui 代码
https://github.com/open-webui/open-webui.git
生成目录open-webui

docker 运行open-webui 代码
docker run -d –network=host -v open-webui:/app/backend/data -e OLLAMA_API_BASE_URL=http://127.0.0.1:11434/api –name open-webui –restart always ghcr.io/open-webui/open-webui:main

更多大模型下载部署
https://ollama.com/library

 

3、访问:http://ip:8080

橙子主题打折出售

其实我不卖,主要是这里是放广告的,所以就放了一个
毕竟主题都没做完,卖了也是坑.

购买它
所有附件
该文章没有附件.
本文为原创文章,请注意保留出处!

1、前段时间,ChatGPT、Midjourney爆火之后,大家的焦点都集中在怎么基于这些工具来写...怎么部署一个私有大模型?

centos 设置静态 IP 2024年06月05日

centos设置静态IP,防火墙设置。1、设置虚拟机的网络适配器为NAT模式2、找到子网掩码...centos设置静态IP

热门文章

修复群晖Synology Drive client右键菜单缺失问题 本教程主要解决windows10右键菜单中没有SynologyDrive菜单的问题,整体思路是找到...修复群晖SynologyDriveclient右键菜单缺失问题 作者:Pastore Antonio
2004 浏览量
docker如何查看一个镜像内部的目录结构及其内部都有哪些文件 前言:有时候我们会在docker上下载一个镜像,或者是上传一个镜像到docker上,甚至有时候就是在...docker如何查看一个镜像内部的目录结构及其内部都有哪些文件 作者:Pastore Antonio
1944 浏览量
Adobe Acrobat Pro 激活 这里记录了一些AdobeAcrobat的激活教程和组件。浏览量:1,825 作者:Pastore Antonio
1668 浏览量
追寻日出,找回自己 为什么我要去追寻日出?其实我是一个很懒的人,每次都起不来,直到有一次我在租房中睡到了大天亮,阳光照...追寻日出,找回自己 作者:Pastore Antonio
1625 浏览量
Swagger2 接口多级分组方法 swagger无疑是Java开发的最佳伴侣,接口非常方便调试;当然也有用Postman,因人而异吧...Swagger2接口多级分组方法 作者:Pastore Antonio
1532 浏览量