Integrate GPT-4o into comfyui to achieve LLM visual functions!

GPT-4o 已发布，我通过将我的 ComfyUI 开源项目扩展以支持 GPT-4o 集成，实现视觉功能，加入这场热潮。

项目地址：heshengtao/comfyui_LLM_party: 一组面向 ComfyUI 开发的积木化 LLM 智能体节点库

在我的开源项目中，您可以使用以下功能：

1. 您可以在 ComfyUI 界面中右键单击，从上下文菜单中选择 llm，即可找到本项目对应的节点。如何使用节点

2. 支持 API 集成或本地大模型集成，工具调用采用模块化实现。输入 base_url 时，请使用以 /v1/ 结尾的 URL。您可以使用 ollama 来管理您的模型。然后将 base_url 设为 http://localhost:11434/v1/，api_key 设为 ollama，model_name 设为您的模型名称，例如：llama3。如果调用出现 503 错误，可尝试关闭代理服务器。

3. 支持本地知识库集成，并具备 RAG 功能。

4. 能够调用代码解释器。

5. 支持在线查询，包括 Google 搜索功能。

6. 在 ComfyUI 中实现条件判断，以分类用户查询并提供针对性响应。

7. 支持大模型的循环链接，允许两个大模型进行辩论。

8. 可附加任意角色面具，自定义提示模板。

9. 支持多种工具调用，包括天气查询、时间查询、知识库、代码执行、网页搜索和单页搜索。

10. 将 LLM 作为工具节点使用。

11. 使用 API + Streamlit 快速开发您自己的网页应用。下图是一个绘图应用示例。

12. 新增一个危险的全能解释器节点，允许大模型执行任意任务。

13. 建议在右键菜单的 function 子菜单中使用 show_text 节点作为 LLM 节点的输出显示。