这是一个创建于 74 天前的主题，其中的信息可能已经有所发展或是发生改变。
不训练，就用来自己推理玩玩，4060 能跑的起来的模型哪个效果最好？
2 条回复 • 2024-09-20 19:15:13 +08:00
 |
1
dyexlzc 74 天前
2060s 跑 llama3.1 ，qwen2 7b 都是 20+ token/s ，你的 4060 应该速度更快，13B 以下的都可以玩玩（显存够就可以）
显存不够用内存跑也可以。 |
 |
2
Nosub 74 天前 via iPhone
虚拟机搭建本地 LLM ，各种 LLM 可以随便换，真的可以随便折腾，不会污染操作系统，做个虚拟机快照就可以了，对显卡无要求，可以先练习下，熟悉流程后，可以在真机上跑。
使用 Ollama 和 AnythingLLM 搭建 AI 和本地知识库 https://nosub.net/posts/p/219 |
Select Language