提供输出 中或英 选项 + llama模型 GPU支持 + 多显卡支持 · l15y/wenda · Discussion #221 · GitHub

rwkv官方有参数示例，形如cuda0……cuda1……，没有找到在哪里加入参数llm_rmkv,py，试过config.xml中strategy修改成'cuda:0 fp16 *10 -> cuda:1 fp16 *8 -> cpu fp32'也没有成功。

另外 ，看到之前前面讨论中也有提到command功能，这个功能感觉和目前的autos侧边栏功能类似，但是这个功能是已经定义好的。能否参考 https://huggingface.co/spaces/BlinkDL/Raven-RWKV-7B，在保留目前input情况下，增加Instruction的输入框（相当于自定义的auto功能）。之所以提出这个想法，主要是因为在打开知识库的时候，就是出现系统提示词如：127.0.0.1:system: 请扮演一名专业分析师，根据以下内容回答问题：将以下文字概括为 100 个字，使其易于阅读和理解。避免使用复杂的句子结构或技术术语。cognition schizophrenia。但是有时可能并不是想要的，想要实现翻译，打开知识库就无法完成了。如：127.0.0.1:system: 请扮演一名专业分析师，根据以下内容回答问题：翻译成英文文：在知识库中，找到与精神分裂症认知功能相关的例子并总结。

在更新的python 3.11中，打开模型的时候，会出现无法载入提示： :1049: ImportWarning: _ImportRedirect.find_spec() not found; falling back to find_module() :1049: ImportWarning: _ImportRedirect.find_spec() not found; falling back to find_module() :1049: ImportWarning: _ImportRedirect.find_spec() not found; falling back to find_module() :1049: ImportWarning: _ImportRedirect.find_spec() not found; falling back to find_module()

总之，非常感谢作者的付出。上面提出的都是个人想法，仅供开发者参考。