项目

可能的本地中文大模型，支持chatglm、盘古大模型、chatrwkv和llama，统一的运行框架，以及资源要求较低

1
2
3
4
5
6
7
git clone https://gitlink.org.cn/jittor/JittorLLMs.git --depth 1
cd JittorLLMs
python -m venv jittorllm-venv
cd jittorllm-venv/Scripts
activate
pip install -r requirements.txt -i https://pypi.jittor.org/simple -I
python cli_demo.py chatglm # 命令1

运行命令1时会出现问题：

  1. 找不到python头文件和库文件，把C:\Users\tellw\AppData\Local\Programs\Python\Python310下的头文件目录和库文件目录复制到D:\home\JittorLLMs\jittorllm-venv\Scripts目录下

  2. 因为我的电脑是笔记本，资源比较短缺，它为我生成"D:\home\JittorLLMs\jittorllm-venv\Lib\site-packages\jittor\extern\mkl\ops\cpu_cnn_inference_f32.cpp"文件，而不是cnn_inference_f32.cpp文件，所以我需要去报错的”D:\home\JittorLLMs\jittorllm-venv\lib\site-packages\jittor\compile_extern.py”的第96行改代码让它编译cpu_cnn_inference_f32.cpp，而不是cnn_inference_f32.cpp。

  3. 最后运行python -m pip install -r models/chatglm/requirements.txt跑不起来，还是有报错。

反正chatglm是跑不起来，可能换到linux就行了？目前就探究在这里了，其他模型也不打算实验了，我得好好做毕设。你他喵的就不能让人快速地去复现，觉得你这东西ok？还是功夫不到家，你看看whisper，我是用户又不是研究者，天天盯着你这些破东西。

创建于2023.4.4/13.12，修改于2023.4.4/13.12