Integrate GPT-4o into comfyui to achieve LLM visual functions!

詳細

ファイルをダウンロード

モデル説明

GPT-4oがリリースされ、私は私のComfyUIエージェントのオープンソースプロジェクトにGPT-4oの統合を有効化し、ビジュアル機能を実現することでこの excitement に参加します。

プロジェクトのアドレスは:heshengtao/comfyui_LLM_party: ComfyUI開発用に設計されたブロックベースのLLMエージェントノードライブラリのセット(一组面向comfyui开发的积木化LLM智能体节点库)

私のオープンソースプロジェクトでは、以下の機能を利用できます:

  1. ComfyUIインターフェースで右クリックし、コンテキストメニューからllmを選択すると、このプロジェクトのノードが表示されます。[ノードの使い方](how_to_use_nodes.md)

  2. API統合またはローカル大規模モデル統合をサポート。ツール呼び出しのモジュール化実装。base_urlを入力する際は、/v1/で終わるURLを使用してください。モデルの管理には[ollama](https://github.com/ollama/ollama)を使用できます。その後、base_urlにhttp://localhost:11434/v1/、api_keyにollama、model_nameにモデル名(例:llama3)を入力してください。503エラーが発生した場合は、プロキシサーバーを無効にしてみてください。

  3. RAG対応のローカル知識ベース統合。

  4. コードインタープリターの呼び出し機能。

  5. オンラインクエリを可能にし、Google検索のサポートを含みます。

  6. ComfyUI内で条件文を実装し、ユーザーのクエリを分類してターゲット応答を提供できます。

  7. 大規模モデルのループリンクをサポートし、2つの大規模モデルが議論を交わすことができます。

  8. 任意のパーソナマスクをアタッチし、プロンプトテンプレートをカスタマイズできます。

  9. 天気検索、時刻検索、知識ベース、コード実行、ウェブ検索、シングルページ検索など、さまざまなツールの呼び出しをサポート。

  10. LLMをツールノードとして使用。

  11. API + Streamlitを用いて独自のWebアプリケーションを迅速に開発できます。以下の画像は、描画アプリケーションの例です。

  12. 大規模モデルが任意のタスクを実行できる危険な万能インタープリターノードを追加。

  13. LLMノードの出力表示には、右クリックメニューのfunctionサブメニュー内のshow_textノードの使用を推奨します。

このモデルで生成された画像

画像が見つかりません。