好用的GPT4ALL免费开源多模型大型语言聊天机器人,可本地私有部署、离线使用。

GPT4ALL免费开源多模型大型语言聊天机器人,可私有本地部署、可离线使用、不需要GPU,只要电脑内存够大,本地跑起来也可以。目前支持Windows、Mac、Ubuntu系统安装部署,因为安装极其简单,根据提示一步步安装就好了,本文不做安装演示,根据系统下载安装相应的版本就好了。本文如出现例子以windows版本为例。下载地址:https://gpt4all.io/

安装完后运行程序,会有两个协议选择,本地私有部署最好都选择NO,则不会分享内容到外网给他人使用。你实在担心隐私问题,可以在部署完后将此电脑或服务器的外网断掉,只允许局域网使用也行。当然就算你选了YES,也是匿名的,只是在对话和训练时别放一些隐私、敏感信息即可。

后续就会让咱们下载大模型,从官网给出的评测和我实际使用的情况下,初识者建议使用nous-hermes2这个模型,这个模型用什么语言问就会用什么语言回答,例如我们用中文问,则会用中文回答。有好些模型可以用中文问,但答复的是英文,那些英文回答的模型可在问题中要求用中文回答也是可以的。其他模型可根据自己电脑和使用自行了解选择下载使用。如果你有chat-gpt4和chat-gpt3.5的APIKey,也可以用gpt4all安装接口轻松和chat-gpt搭上,当然这时就不能离线使用了。

下载完模型后我们就可以选择模型,程序会把模型加载到内存,我们就可以开始对话了,下面以2024年广东高考作文题为例:

更多的GPT4ALL设置和使用技巧在此不做累赘,以后在使用和实践中发现更好的东西会第一时间分享给大家。开源代码,训练、文档可访问开源地址:https://github.com/nomic-ai/gpt4all

我碰到的两个使用问题,可能你们也会同样碰到,问题及解决办法如下:

1、第一次运行程序后,协议那里没注意都点了YES,想重新选NO怎么办?
我自己在界面上是没找到能重设置的地方(如有找到的可私告诉我),我的办法是找到gpt4all.ini,更改isActive=false,usageStatusActive=false即可。windows系统在你的用户文件夹的AppData/Roaming/nomic.ai/下,其他系统请自行搜索。

2、用GPT4ALL下载模型前期很快,后期就慢了怎么办?
可以打开https://gpt4all.io/models/models3.json这个文件,找到相应的模型下载地址用迅雷之类的能续传下载软件下载(有的可能需要魔法),下载完后放到模型目录即可。如无魔法可到之前介绍过的国内魔塔社区搜索下载。