@wwvvance
我使用我自己的开源项目支持的 Qwen 函数调用： https://github.com/smalltong02/keras-llm-robot

@wwvvance

对于原生支持 Function Call 的模型，比如 OpenAI ，Gemini 和 Kimi 等，我都使用它们提供的接口来进行函数调用。对于不支持函数调用的模型，我使用预置的提示词技术来实现的函数调用功能。Baidu 和 Qwen 的模型原生是支持这个功能的，但是因为需要安装其它的库有点冲突，所以暂时把它们当成不支持来对待的。

[Keras-llm-robot]( https://github.com/smalltong02/keras-llm-robot) 是一个基于 Langchain 的大语言模型项目，支持各种外部工具的调用，比较偏向于模型的 C 端落地项目，工具包括：代码解释器，知识库，搜索引擎，函数调用和工具箱，可惜同类产品太多，一直不火。

@kneo

不知道您的测试主要关注哪方面，方便共享吗？我也可以合并到我的测试集中，并在本机上尝试一下。

@kenvix

您可以再尝试调整一下 Prompt ，看看效果是否会好一些。实在不行就整理数据并做微调吧。

@mightybruce

您要自己测试的话，需要在 Google Cloud Platform 上注册自己的账号，并且生成 OAuth 2.0 的凭证，下载 Json 格式的 Token 之后再导入到 WebUI 中就可以使用了。

@crackidz

是的，毕竟各家的大模型，训练数据还是不一样的，训练的侧重点也有区别。

@Znemo

可能您在测试的时候，侧重于逻辑推理和语言生成方面。我的测试更注重的是和各种工具配合使用，测试方向不太一样就会有不一样的效果。

@yankebupt

条件有限，手上只有一块 4090 ，70B 的跑起来太慢啦。速度快是因为使用了 2 倍的播放速度，Youtube 上视频太长太拖拉就没人看啦。

@ogli324

好的，下次整起来。

@freshgoose
测试使用的是我自己的开源项目： https://github.com/smalltong02/keras-llm-robot

我蛮喜欢 Qwen 和 YI 模型的，它们为开源社区做出了很大贡献。

如果你想自己研究的话，还是建议要搞一块 4090 。这样 34B-4bit(GPTQ)，13B-8bit(GPTQ)和 7B-16bit ，都可以无压力的使用 GPU 加载并推理。如果想玩更大的模型，比如 70B 的模型，那么建议把内存也升到至少 64G 。这样可以使用 CPU 和内存加载 70B-4bit 量化的 GGUF 格式。

此外给你推荐一下我的开源项目，比较符合你的需求，这一个项目支持很多的本地和在线模型，少量图像模型和语音模型：
图像模型支持：OpenDalleV1.1 ，ProteusV0.2 ，SDXL-Lightning ，GhostXL 等
音乐模型支持：facebook musicgen 系列
语音输入输出支持：whisper ，OpenAI 和 Azure 在线语音
https://github.com/smalltong02/keras-llm-robot

如果你想使用知名的开源项目，那么我推荐
LM Studio - 安装简单，可以只使用 CPU+内存做推理。缺点是只支持 GGUF 格式。
Ollama - 同上，缺点在多一个没有漂亮的 GUI 。
text-generation-webui - 这是最知名的项目，几乎所有格式都支持。

推理速度快了 2 倍，API 价格降了一倍。MMLU 分数更高，图像识别也更好。现在还没有开放语音和视频的接口，等开放了再来测试。

GPT-4o 已经可以用了，你可以通过 openAI 的 playgroud 试用。也可以用我的开源项目，在本地试用它（需要有 OpenAI 的 API Key ）。

不过现在 OpenAI 还没有开放更多的接口，还无法传送语音或视频给它。

我的项目地址是：
https://github.com/smalltong02/keras-llm-robot

langchain 是一套简化大语言模型加载推理的框架，而且还提供 Agent 和各种工具的集成，它本身并不需要什么硬件配置。真正吃硬件的还是你想加载的模型，鉴于一般办公台式机的 GPU 都没有或者很差，那建议你只能玩玩 gguf 的量化模型了。

个人比较推荐青轴和红轴的键盘，青轴力反馈适中，声音听着也愉悦。红轴声音小点，力反馈比黑轴要小，长时间敲击不累。

@sabernwj 好的，感谢支持！