vam吧 关注:39,717贴子:82,813

关于Vam的AI和VR玩法分享

只看楼主收藏回复

近期由于入了Quest3,所以重新回归Vam这个伪装成游戏的工具。
其中由于今年下半年以来,HUB兴起了AI互动这个玩法,加入了AI互动后,VR玩法就更加自然和沉浸了。
这里说一句,HUB是可以不魔法直接上的,只是网速较慢甚至报错,多刷新几次,不仅可以浏览还可以下载,用了魔法自然会变成跟正常门户网站的浏览下载体验感一样了。
本帖不做任何工具插件网站教程分享,仅就玩法进行分享和讨论,后面提到的某些资源,如果有条件的朋友,不妨分享一二。
(主要是写教程太累,且实际学习难度有点点高,再加上没有币奖励,就算售卖也才200封顶还要被税100,所以就不劳心做教程了)
1.现阶段AI玩法
目前Vam的AI玩法主要是文字和语音聊天互动,通过聊天过程向AI给到指定文字或者语音命令可以激活场景预制的动画进行互动,没有预制场景的可以自己做,但那个就更累了,目前还不能做到Vam通过AI识别或者自识别语音或者文字命令来控制角色。
目前几个主要参与AI场景制作的作者团队都还在完善插件功能和互动场景的迭代阶段,后续搞不好会有真的可以有通过语音和肢体互动,让AI与Vam或者场景自然结合而非简单预制的方式实现互动,期待吧。
2.现阶段AI主要从哪里搞场景
2.1 Vamx(收费插件,坛子有分享老版本,但AI部分还是要收费用)
目前Vamx已经跟新到1.33版本,目前坛子里最新到1.32版本,想了解vamx功能和使用介绍的移步hub还有kemono,搜索关键字都是vamx,都可以免魔法直接浏览。
优点:
所有AI跑模型运算部分全部在线上(需要魔法),不占用本地硬件机能,是目前最舒服的方式;
所有AI预制了多个在线的支持大语言模型接口的平台,比如openai的chatgpt,对话精准度目前最好;
所有AI预制了多个预定义的角色卡(就是设定跟你对话的这个角色的性格啊特征啊等等,就是角色背景卡),不需要自己定义,甚至语音风格都有很多选择;
所有互动都支持vamx本来就提供的各种功能,可以在与AI对话过程中直接调用,互动库目前最多;
自带vam互动的独立场景,也可以单独呼出使用,使用便利度上最简单,且无需任何配置,直接一键启用。
缺点:
收费,而且费用不定,需要在p站订阅,vamx由于使用在线AI服务,所有服务都是三方收费的,所以单月订阅费用在150左右。
密钥,使用AI时必须输入密钥才能用,且密钥每月更新。
总结:
小白即可一键上手体验目前vam能提供的最好的AI互动,但费用高还需要魔法上网。
2.2 Alive(收费插件,坛子分享的版本到v60,支持AI,AI部分不收费)
优点:
AI部分是真免费,但对硬件和学习能力要求高;
所有AI互动只提供互动部分,只需要调用Alive插件即可使用;
所有AI模型预算均由用户自行搞定,只需要将对应的密钥、接口进行配置即可使用;
所有AI互动均可调用Alive的语音预制动画进行互动和插件命令;
缺点:
想要搞定本地运行大语言模型,起步显卡至少3080或者4060ti级别,低于8g显存的就不要尝试玩了;
由于要开本地模型运算,所以机能无法支持VR模式,至少我的3080直接卡到只有5帧,估计4080或者4090这种高性能高显存的可以流畅,可惜没条件试了,我评估应该是有机会;
学习门槛高,语言模型Alive用的oobabooga(有兴趣的可以去找教程,一个新天地),语音转换Alive用的是11labs,还支持alive的一个本地语音服务器(需要在电脑桌面环境单独打开一个alive的TextAudioTool应用)
本身支持的角色语音肢体反馈库比vamx小很多,但也足够你玩了。
2.3 Voxta(收费插件,目前该插件不仅仅是一个插件,白嫖资源不好找,但我找到了,嘿嘿!)
优点:
自带电脑桌面webui服务端,用于连接所有AI互动所需的各项服务且自带AI聊天界面,类似老酒馆,但没老酒馆强大,算是个简版,毕竟主要是为Vam适配用的,老酒馆我已经可以正常用了,但是目前卡在了本地tts语音上,用11labs话,免费token用得太快。有会用老酒馆配置本地tts语音服务的朋友麻烦简单讲解下,我SillyTavern-Extras已经部署好了,tavern上的拓展也全部安装好了,live2d也有对应的模型,除语音外的其他一般场景均可正常使用;
会用Alive AI就一定能会用Voxta,两者所需的服务是一样的,都是基于本地服务实现,语音部分目前需要11lab这样的三方在线平台实时服务,暂不支持本地化语音模型;
自带使用场景,目前有3个场景,一个是beta用于体验基础功能;一个是woods2的互动场景;一个是blow job的互动场景;(三个都是收费场景,HUB上有,坛子里目前没有。)
不知道是否是人物卡的设定问题还是他提供的webui服务背后的隐藏参数问题,voxta的AI对话非常聊烧,很自然那种,我换了模型也是,voxta也有推荐4个模型,聊天互动的内容均比alive和vamx好不少;
具体使用安装,官方有自己的网站,不需要魔法环境,将www前缀替换成doc就可以看到全套的安装功能文档;
HUB上有3个场景的使用预览视频,关键字voxta;
有免费的场景互动插件,可以自定义语音互动反馈,都在HUB上;
缺点:
肢体语音互动库存是三者中最小;
使用门槛是三者中最高,当然,如果搞懂了alive的ai使用,voxta也不是问题;
资源获取难度大,我这里就不分享了,相信坛子里的大佬能有办法;
虽然HUB上有插件和场景说明,但没有官网的DOC页面想尽;
仍然需要本地化部署语言模型,非常吃显卡性能,果然AI才是旗舰显卡的最大购买力抓手,主要是吃显存。
总结:
该制作组属于今年年中新创,想法比较超脱于传统的vam插件和场景限制,专做vam ai领域,前景目前看最好,相当于把sillytaveun内嵌在了vam中,不再是简单的2d平面互动了。
3.VR玩法
目前Vam的VR玩法我玩下来主要就是3种,分别是单纯的与2D桌面环境变为360度3D环境;插件支持的触摸反馈类;影视类。(斐济杯互动不太现实,那玩意儿我看了视频后,虽然有可行性且体感应该不错,但是道具复杂且不好摆放,成本也不低)
3.1 2D转3D
吃机能就不说了,我3080只能40帧上下,个人感觉是个平衡点,主要在抗锯齿上,我这个是x4,渲染为1x。
体验相当不错,特别是abc的场景,视角调到男主那后。。。谁用谁知道吧,记得把女主替换成皮肤材质真实点的会更有沉浸感,记得关掉vr选项里面的左右手,这样才能释放双手,关一个也行。
3.2 触摸反馈
目前支持vr模式的触摸反馈甚至人物控制的插件有不少,比如embody、alive、vamx等等,有一定可玩性,但是玩起来个人感觉比较累,不如直接用于特定场景头像视角的来得舒服。
目前有两个不算新的玩法:
一个是通过全身绑定多个定位器的方式,实现全身主要关节包括手指的控制,有点类似全身动补,有兴趣的可以玩下,成本不算很高,但是用一次很累。
一个是通过斐济杯和vam插件互动的方式,插件名字忘了,网上有卖这个斐济杯架子的,其实就是用杯架的来模拟某些动作,再结合斐济杯,实现1:1场景内的动作互动,没体验过,觉得麻烦,有条件的可以买一套来感受下。
3.3 影视类
本质就是将vam场景进行180度或者360度录制成视频后,通过vr头戴来观看,也就是vam内容的vr视频。
制作本身不复杂,vam本身也有对应的录像插件,坛子里好像有分享这个插件,可以录制2d平面也可以vr模式的,问题在于vr视频的渲染非常慢且制作完之后视频容量非常大,据说用4090的话,10分钟的视频光渲染就要7-8小时(要想看的舒服,必须要8k格式),不知道是真是假,我没试过。
目前可以比较容易看到的vam vr 8k级别视频,只能去自己找资源,我目前就发现了2个作者在弄,视频质量尚可,但视频数不多,然后在devovr这个vr一体机播放器自带的视频库里面我发现了有发布不少360度的vam视频,可惜清晰度最多只有4k,属于勉强能看,但毕竟发在开放市场,所以没有R18内容。
以上就是本次我的一点分享内容,欢迎大家一起来讨论vam的高阶玩法,感觉ai和vr算是vam的高阶玩法了吧。
最后,希望有资源有条件的大佬们,可以慷慨的分享出最新的付费插件和相关资源,独乐乐不如众乐乐!


IP属地:重庆1楼2023-11-21 14:55回复
    还有一个透视模式可以玩,看到b站有人分享,用vd的透视模式,再扣背景绿幕,实现二次元人物到我家的效果,不过看到都是在家暴小姐姐


    IP属地:河南来自Android客户端2楼2023-11-21 15:11
    收起回复
      别急,初代产品,很粗糙也很不健全。
      以后完整版的虚拟人会有的


      IP属地:江苏来自Android客户端3楼2023-11-21 16:09
      收起回复


        IP属地:广东来自Android客户端4楼2023-11-21 17:22
        回复
          首先非常感谢楼主的咨询分享,其次silly tavern 语音可以去查看哔站大佬,联系或加入他的discord频道询问,关于voxta ai的获取和使用方式需要一定代价,主要是教别人很费心,平时时间不多,需要休息,vamX1.33我之前也发布过,不过被ban了,有时间我创个Q群分享一下,也能节省点时间,Q群到时也是放在这个帖子下面,希望拿到资源的小伙伴秉承用爱发电的精神,不要倒卖任何群内内容,有关gpt4以及本地部署大语言模型的知识也会在群里分享,也希望有能力的大佬加入,且我也会尽力邀请各个领域的大佬进入群里,给大家争取资源,涉及的小领域,目前估计有
          rvc语音,
          国内外vam辅助插件
          国内知名人物模型作者,
          voxta ai,alive等ai工具使用普及
          gpt4使用方式,
          暂时就这样,帖子没被吞就是诸位走运了


          IP属地:美国来自Android客户端5楼2023-11-21 18:40
          收起回复
            感谢丰盛的回复,tavern的tts本地化我目前在b站上没找到任何具体的教程,偶有涉猎的up主自建群也基本处于僵尸状态,就跟我前段时间学习oobabooga部署使用一样,最后还是自己折腾两天实现了webui所有功能并正常跑起来了。所以如果有合适的up,烦请推荐。voxta套件我这里除了blow场景外都齐了。1.33想要是因为新更了很多命令内容,算是个大更新。期待你的群建立起来。


            IP属地:重庆来自iPhone客户端6楼2023-11-21 19:08
            回复
              马克


              IP属地:四川来自Android客户端7楼2023-11-22 07:03
              回复
                有史以来最有技术含量的帖子


                IP属地:上海来自Android客户端9楼2023-11-22 10:26
                回复
                  很高深复杂的感觉


                  IP属地:山东来自Android客户端10楼2023-11-22 17:37
                  收起回复
                    自己搭的AI服务器是不是只支持英文,可以替换国产的模型吗,非英文母语还是感觉怪怪的


                    IP属地:安徽来自iPhone客户端11楼2023-12-03 00:00
                    收起回复
                      大佬们建个群哇 我这有62版alive可以发出来


                      IP属地:福建来自Android客户端12楼2023-12-04 20:06
                      收起回复
                        累,群不搞了,没什么人,让各领域大佬等,我的人情也用了不少,下面是傻酒馆ai领域比较知名的一个up,人不错,有discord群


                        IP属地:美国来自Android客户端13楼2023-12-05 17:47
                        收起回复
                          楼主那个e-motion插件咋用 为啥我开了没反应


                          IP属地:江苏15楼2024-01-02 04:59
                          回复
                            顶,唉,VAM入手难度还是有点高。


                            IP属地:广东来自Android客户端16楼2024-01-03 07:54
                            收起回复