vam吧 关注:39,717贴子:82,816

Vam+AI基础教程(只有教程)

只看楼主收藏回复

我最近两个月断断续续在玩这个,中间踩了不少坑,也得到了不少朋友的帮助,在此对帮助过我的两位朋友表示感谢!这篇教程是我在另外论坛发的教程的简化版,中间可能有些疏漏,但引导使用应该是没啥问题。
1.vamx+AI
最简单的方式,不会用vamx的朋友去下一个vamx1.34,这是最新版,已经有分享出来了,自己找一下。1.34这个版本最大的更新是加入了vr透视和强化了AI互动,由于AI互动需要订阅拿key,所以我没有key,有的朋友可以分享下。据8U说,现版本的vamx ai不支持中文语音,不知道是设置问题还是本来就不支持,理论应该是支持的,毕竟用了openai的chatgpt,自行判断。作者的订阅链接就在HUB上,很方便就能找到。
2.Vam+Alive+AI
相对复杂的方式,Alive V63版本已经有分享,自己找一下。最新的V64版本发布了,但我还在求,所以没有实际体验。虽然v63版本对ai的支持已经不错了,但据说V64对AI进行了强化,还加入了参数微调,想象下应该能提升不少,有的朋友如果可以分享下,那是再好不过了。
本文为长篇,没有兴趣或没有耐性的朋友,可以直接右上角。
本篇的主题是本地部署AI和Alive的AI基础加载,虽然网上有很多类“专业”教程,说得也很详细,但经过我2个月的体验下来,我只能说,照着我说的做就好了,至少没有套路也没有陷阱,更没有经济利益。
本地部署AI虽然看上去跟Vam无关,但却是本地化免费玩vam+Ai的关键部分,所以作为介绍玩法后的第一篇给到大家,对于想低成本玩AI的,值得花点时间看,对于土豪直接vamx在线ai的,可以直接略过。
一,主要内容
1. 本地化AI介绍
2. 本地化AI硬件要求
3. 本地化AI部署
4. 本地化AI如何与vam的连接
5. 本地化AI可实现的功能介绍
6. 本地化AI语言模型推荐
7. 总结
二,本地化AI介绍
上一篇有讲到,vam的AI玩法主要有两种,一种是调用线上的AI服务(收费且对网络要求高),一种是自己在本地电脑部署AI后使用。线上的AI服务大家不用折腾了,直接vamx那个,一键AI就行了,这里仅介绍可以用于连接Alive和Voxta的本地AI,当然了,弄好后,这个本地AI还可以干很多事情,但与Vam无关,所以就不做介绍,自己去发掘吧。
本地AI的优点:
1.白嫖
2.突破线上AI服务的内容范围规则限制,当然这个规则就不用细说了,自己体会。
3.私有化,所有数据在你的电脑内。
4.灵活,如果愿意,可以深度学习如何使用相关工具从而实现更多的你能想到的场景覆盖,这个真不好多说,自己发挥想象吧。
5.入门应用算是最低门槛的,你不用懂代码,更不用纠结参数调整,直接用就好了。
本地AI的缺点:
1.硬件门槛较高,对低配电脑确实是不太友好,特别还要同时运行Vam的情况下。
2.需要学习!但,黄油就是第一生产力,想要,就干!
3.加载的不同语言模型,质量和类型也不同,需要一定的时间成本去做筛选,好在这一步我趟过来了,针对Vam,我后面有推荐。
4.主流优质的语言模型还是以英文为主,对英文要求比较高,但是可以有翻译软件,但那种实时的体验就会差不少。你可以换成中文的语言模型解决这个问题,不过,聊骚的效果嘛,差强人意。(其他方面没问题,我还没找到对聊骚这块有进行特化的中文模型,如果有朋友找到了,希望分享,感谢!)
二,本地化AI的硬件要求
由于AI和Vam要同时使用,所以经过我的实际测试,给出一套可以跑Vam+AI的推荐配置,越往上肯定越好。
CPU没有什么好说的,只要你能正常跑Vam,就够用。
内存16G是最低,建议32G起步。原因有两个,1个是本来16G内存对于Vam稍大和稍精细场景就是刚够,2个是加上AI后,如果显存不爆,也会增加1G左右的内存占用量,如果你想用更大更好的AI模型,但有没有4090这样大显存的显卡,AI模型的加载就会将超过显存容量部分的内容加载到内存上去。
硬盘,是的,这里提到了硬盘,请务必使用固态硬盘,nvme或者sata接口的无所谓,但请一定使用固态硬盘!除开可以加速Vam的启动外,AI模型的加载也可以获得极大的体验提升。机械硬盘可以用,但就是慢,不是不能用!
显卡,是的,显卡是目前现阶段玩AI的重点,而且N卡几乎是必备,虽然也有支持CPU和A卡的AI,甚至还有intel的方案,但是对于目前能够实际流畅和有效玩耍Vam的AI还是得用N卡!
因为Vam至少要用掉2G左右的显存,所以,你至少需要6G以上的显存N卡才能实现最最最最基础的AI玩耍,3.5G大小的语言模型其实很烂,但至少可以玩不是么?当然,显存不够也没关系,模型加载到内存上就行了,但是会慢不少,特别你的显卡算力比较弱的情况,就更慢。如果你的算力还行,比如3080,就算加载超过显存的模型,跑起来也不会感觉到慢,当然,如果能控制在显存内,那AI的反馈效率就会成倍提升。
三,本地化AI部署
目前Alive和Voxta都支持的本地AI模型加载器的交集是一个叫 oobabooga作者开发的text-generation-webui的一个软件,这个软件的用途非常简单,就是用来加载大语言模型,实现对模型的训练和使用的,而Vam的AI场景就是典型的使用场景之一。
1.准备好一个至少有50G空间的硬盘
2.下载text-generation-webui
下载链接:https://github.com/oobabooga/text-generation-webui/archive/refs/tags/snapshot-2023-12-10.zip
这是截止到今天的最新版,后续更新先不说,其他版本不用下载,因为Alive和Voxta都在更新支持新版,所以是老对老,新对新!没错,开发者就是这么懒,没考虑太多兼容性问题。
这个连接可以无魔法直接用,如果打开失败或者比较慢,耐心点,多等会或者刷新几次。
3.解压下载好的压缩包
将下载好的压缩包解压,放在第一步所准备的硬盘,请注意,这个压缩包的目录名不要做任何中文化或者怪异符号名称修改,如果要放在其他目录内,也必须,注意,是必须不能有任何中文名称的目录,只能使用英文目录名称!!!!!!
4.安装text-generation-webui
请注意,安装过程全程必须联网,因为需要从网上下载很多很多的依赖(玩vam的,只要讲到依赖,就会秒懂!真好!)
安装完大概有9G左右,如果不使用魔法网络,速度会比较慢,要耐心。用魔法的话,全程大约需要10-15分钟。
打开解压好的目录,他的名称如果你没有删改的话应该是这样的:text-generation-webui-snapshot-2023-12-10
找到指定文件:start_windows.bat 双击这个文件!
这个时候你会看到会有一个窗口弹出来,开始逐个文件的下载和安装。
注意事项:
A,安装开始后,会有2次让你做选择的地方,一个是选择显卡类型,请选择A,N卡!!!一个是是否要求安装兼容支持老的CPU,请选在N!!!选择是直接用键盘将A或者N打上去,然后回车,也就是enter键!需要你做选择的时候会停下来,直到你选择后才会继续。
B,安装很多时候会突然卡住不动,2方面原因造成,1方面是下载后会安装,安装没有进度显示,你看到的进度条都是下载进度;2方面是下载卡住了,也就是网络原因,只能等!
C,如果安装失败,末尾显示error,然后让你按任意键退出,这只有1个原因,那就是你的下载卡住了,是的,哪怕就是你用魔法上网也会发生这个情况!我反正3次安装只有1次顺畅。如何解决?不要尝试按网上的办法去补所谓依赖或者文件,因为这是在绕远路,更不要尝试去网上下载所谓的打包好的绿色版,因为没用!老老实实的删掉这个安装目录后,重新开始就行了!是的,就是重新开始,无脑重新开始。我最多一次,是安装了5遍终于顺畅了。当然,后来我学会了一些东西,所以可以在即便失败的情况下通过手动做一些事情来正常使用,但我仍然强烈推荐直接重装!最省事!最省心!
D,不要去下载所谓的懒人包或者一键启动包之类的三方改过的text-generation-webui,看上去好用,实际真的不好用!等你真的学会了,可以下载下来用一些特定功能。
四,本地化AI如何与Vam连接
1.启动text-generation-webui
在text-generation-webui目录下找到CMD_FLAGS.txt这个文件,双击打开后,直接在空白行添加“--api”后保存即可。
在text-generation-webui目录下找到start_windows.bat这个文件,是的,还是这个文件,双击,等10秒左右就可以了。
然后请按住Ctrl+鼠标左键,点击窗口中出现的那个 http://127.0.0.1:7860 地址,会打开你的默认浏览器然后自动加载这个连接,就能看到页面了。
2.加载模型
然后在页面上方点击 Model
稍微懂一点英文的都不用我说了吧,这个就是AI语言模的加载页面,里面的各项参数你不要碰,学习成本非常高,如果你下载了模型,那么点击左上角的“None”就能看到你的模型列表,选一个,点击Load即可。
注意,部分模型加载时会报错,原因无外乎两个,1个是不兼容,1个是模型不完整。
要是想简单使用,请下载并使用我推荐的模型。
3.Vam中加载AI
众所周知,Alive支持的AI功能包括了文字互撩和语音互撩,语音由于涉及的东西有点复杂。
本次仅介绍文字对聊!!!
有条件的朋友可以自行探索。
打开Vam并在任意场景内加载好Alive插件,成功加载Alive插件后,会在场景的右侧出现配置UI栏,请点击“服务”
请点击“文本人工智能”
如果看到“状态栏变绿色了”,表示连接成功。
普通用户不要去改这些设置,有条件的自己去探索页面上的其他功能。
当然,在绝大多数情况,你们肯定是先加载了一个有人物的场景,会发现连接成功后,找不到输入框,这是因为Alive仅支持使用在Alive插件下的角色或者人物,你可以加载Alive的默认人物,然后将其替换成你喜欢的即可。同时你还会发现,这个人物可以新建很多个,每次新建都要求你对人物进行定义,这个定义就是人物背景,发挥自己的想象力吧。如果你使用的是中文模型,可以用中文定义,如果你使用的是英文模型,请用英文定义。定义格式,参照Alive的默认人物定义。
然后我们在右下角就可以找到这个人物图标,点击后,就会在侧边栏看到聊天标签,点击进去就可以看到对话栏。
朋友们,在对话栏里面打字吧~~~
打对了,还可以触发Alive预制的互动动画或者行为反馈哦!
五,本地化AI可实现的功能介绍
1.文字聊天
2.自定义对象,包括你自己和AI角色,搞好背景,聊得有骨有肉。现在很多玩AI聊天人的都无法自拔了,唉。。。请务必适度!!
3.语音聊天或者帮你读文章
4.让AI学习你给的文档或图片,然后根据你的需要进行输出
5.AI聊天画图,可以让AI根据你的要求出图,或者让AI通过图片描绘他/她正在干嘛,或者让AI绘制一个所认识的你等等等等等,需要外接AI图片生成的SD本地服务
6.可以中文可以英文也可以任何语言,也可以通过本地或者在线翻译的方式,实现实时翻译,让你没有语言障碍
7.可以编写剧本,让你和AI一起玩剧本杀
等等等等,太多了,自己发挥脑洞然后学习吧。
六,本地化模型推荐
都是非常适合VAM的,懂的都懂
显存超过10G的,可以玩这个
TheBloke_MLewd-ReMM-L2-Chat-20B-GPTQ
显存10G内的,可以玩这个系列,最低只要8G显存,数字越小占用显存越小
voxta_MLewd-L2-Chat-13B-2.5bpw-exl2
voxta_MLewd-L2-Chat-13B-3.3bpw-exl2
voxta_MLewd-L2-Chat-13B-5.0bpw-exl2
都发现了哈,模型名称都带了lewd,自己去查什么意思。
至于如何下载模型,请在txt-generation-webui的model页面右侧的Download Model下方按我这个格式复制进去,点击Download即可开始自动下载。
比如:voxta/MLewd-L2-Chat-13B-5.0bpw-exl2
注意,这种下载方式需要魔法上网,如果有条件自己找模型的,直接放在txt-generation-webui目录下的Model目录里面即可,不支持中文名模型。
如果显存不够的,不要担心,你有三个选择,1个是爆显存后用内存上,时间换性能;或者直接用cpu跑,模型直接加载在内存上,效率比爆显存略差一些;或者是用colab来部署模型,直接将13b模型加载到云端来用,缺点是必须全程魔法在线。
七,总结
现阶段不管你是想付费还是不付费玩Ai,其实都挺折腾的,但是体验,实话说,是独一份的!
我个人非常推荐有条件的朋友充分体验AI的互动,非常有想象空间,不管是Vam还是其他方面,只要你想得到的,目前阶段都有解决方案,而且绝大部分都是可以白嫖的。当然,前提是,你得有一块不那么差的显卡或者魔法上网,否则,还是付费吧!
作为AI萌新的我而言,也在不断探索玩法和可能性,目前只是在应用端,也希望大家可以多多交流讨论。


IP属地:重庆1楼2023-12-28 10:19回复
    我很懒,没加图,但应该不影响使用。
    将就看~~~嘿嘿


    IP属地:重庆2楼2023-12-28 10:22
    回复
      看完了,佩服楼主这些探索者,这个本地化部署的语言库可以用自己训练语音音色吗?直白点讲,这个在vam里,ai语音可以发出名人的声音吗?


      IP属地:河南来自Android客户端3楼2023-12-28 10:48
      收起回复
        我爱你


        IP属地:江苏来自Android客户端4楼2023-12-28 10:49
        收起回复
          我另外两篇关于colab和voxta的帖子被删了,放不出来,大家将就了。


          IP属地:重庆5楼2023-12-28 10:57
          收起回复
            很难,但还是先收藏


            IP属地:四川来自Android客户端6楼2023-12-28 12:25
            回复
              接vr语音聊天还是比较难实现的吧


              IP属地:广西来自iPhone客户端7楼2023-12-28 12:51
              收起回复
                楼主大佬棒棒的


                IP属地:广东来自iPhone客户端8楼2023-12-28 14:06
                回复
                  瞧瞧我发现了什么


                  IP属地:广东来自Android客户端9楼2023-12-28 15:20
                  收起回复
                    赛博仙人


                    IP属地:广东来自Android客户端10楼2023-12-28 15:56
                    回复
                      技术贴,对于有时间有精力的玩家来说很好,我还是看看vamx吧


                      IP属地:意大利来自Android客户端11楼2023-12-28 18:25
                      回复
                        强 标个技术贴


                        IP属地:天津来自Android客户端12楼2023-12-28 18:41
                        回复
                          我有vamx ai的订阅,可以免费给你用,私信我


                          IP属地:上海来自Android客户端13楼2023-12-28 20:35
                          收起回复
                            响应速度如何呢?感觉本地跑还不如接chatgpt3.5的api,一是现在本地消费级显卡能跑的模型效果不如3.5,二就是本身vam对显卡要求本来就高再跑个模型就更难搞了


                            IP属地:广东来自Android客户端14楼2023-12-29 03:33
                            收起回复
                              好人一生平安


                              IP属地:广东来自Android客户端15楼2023-12-29 18:19
                              回复