有没有一些小一点的 llm 项目可以在 k8s 上跑的炼丹

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 405 天前的主题，其中的信息可能已经有所发展或是发生改变。

我只有一块 3080 的显卡，现存 8g ，想玩玩 llm

8 条回复 • 2023-11-23 18:34:10 +08:00

frankyzf

2023-10-24 14:32:01 +08:00 via Android

Ollama

xinmans

2023-10-24 18:01:48 +08:00 via iPhone

@frankyzf cool,还有其他的吗？

frankyzf

2023-10-24 18:35:34 +08:00

@xinmans 不知道其他的了

GeekGao

2023-10-24 21:03:32 +08:00

frankyzf

2023-10-28 10:09:17 +08:00

另外说一句，Ollama 是一个平台（ https://github.com/jmorganca/ollama ），能支持多个模型。Mistral (7b)模型好像评价比较高。

xinmans

2023-10-29 20:18:42 +08:00 via iPhone

@frankyzf 已经开始试用了，谢谢

xinmans

2023-11-23 08:40:54 +08:00 via iPhone

@frankyzf ollama 可以训练自己的数据吗？我看都是训练好的模型

frankyzf

2023-11-23 18:34:10 +08:00

@xinmans 这个不知道，只看到有人在讨论 fine-tuning https://github.com/jmorganca/ollama/issues/156