Skip to content

Conversation

@Joycc
Copy link

@Joycc Joycc commented Jul 1, 2024

Add support for the Ollama model,enjoy it!

@onlydev1ce3
Copy link

Ollama 平台配置

"ollama_base_url": "",
"ollama_port": "",这里填什么呢? 
@Joycc
Copy link
Author

Joycc commented Jul 5, 2024

Ollama 平台配置

"ollama_base_url": "",
"ollama_port": "",这里填什么呢? 

当然是填ollama的端口

here is the example:

"ollama_base_url": "http://localhost",
"ollama_port": "11434",
@onlydev1ce3
Copy link

Ollama 平台配置

"ollama_base_url": "",
"ollama_port": "",这里填什么呢? 

当然是填ollama的端口

here is the example:

"ollama_base_url": "http://localhost",
"ollama_port": "11434",

解决了老哥,谢谢,还有就是想问一下如果要搞本地模型的实时切换可以实现吗?比如在prefix里面加入前缀词,然后改model名称?想不到怎样才能不重启项目实现切换呢

@Joycc
Copy link
Author

Joycc commented Jul 8, 2024

Ollama 平台配置

"ollama_base_url": "",
"ollama_port": "",这里填什么呢? 

当然是填ollama的端口
here is the example:

"ollama_base_url": "http://localhost",
"ollama_port": "11434",

解决了老哥,谢谢,还有就是想问一下如果要搞本地模型的实时切换可以实现吗?比如在prefix里面加入前缀词,然后改model名称?想不到怎样才能不重启项目实现切换呢

修改config里面的model之后输入
#更新配置
应该就可以了,我直接照抄的其他bot的代码,没测试过,你可以试试

@ztcarrot
Copy link

调了半天 终于调通了, api调用什么的貌似还有问题, response里的context 存到session里的功能还没有

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Labels

None yet

3 participants