この記事は、Groq LLM APIに無料でアクセスし、使用する方法、およびComfyUI内で使用する方法の簡単なまとめです。

記事のバージョンはこちらでご覧いただけます。

ダウンロードする必要はありません。これはモデルではありません。以下のテキストと記事へのリンクのみです。

アカウントを作成する

こちらでGroqアカウントを作成してください。すべて無料で、毎分、毎日、利用可能なトークン数にいくつかのレート制限があります。現在の制限は非常に余裕があります。

執筆時点（2024年4月19日）でのレート制限は以下の通りです：

APIキーを作成する

GroqCloud Playgroundに移動し、左側のメニューからAPIキーのセクションを見つけます。

次のダイアログで表示されるAPIキーをコピーしてください。このコードはこの時だけ表示されます。後でこのキーを使用したい場合に備えて、バックアップを取っておいてください。

新しいキーを作成して切り替えることもできるため、それほど重要ではありません。

オンラインでAPIをテストする

GroqCloud Playgroundに移動し、左側のフィールドにシステムメッセージを入力してください。これで、カスタマイズしたチャットモデルをテストする準備が整いました。

Userフィールドにチャットメッセージを入力し、CTRL + ENTERを押してメッセージを送信します。

Pythonコードを取得する

Playgroundページの下部に「View code」ボタンがあります。これは、バックグラウンドでクエリと指示を実行しているPythonスクリプトを表示しています。

以下のウィンドウが表示されます：

from groq import Groq

client = Groq()
completion = client.chat.completions.create(
    model="mixtral-8x7b-32768",
    messages=[
        {
            "role": "system",
            "content": "You are an expert python programmer and your mission is to help the user with their programming troubles."
        },
        {
            "role": "user",
            "content": "I need help to write a script. Please write a hello world script for me."
        },
        {
            "role": "assistant",
            "content": "Sure, I'd be happy to help you write a \"Hello, World\" script in Python! Here's an example:\n```python\nprint(\"Hello, World!\")\n```\nWhen you run this script, it will display the message \"Hello, World!\" in the console. Let me know if you have any questions or if there's anything else I can help you with!"
        }
    ],
    temperature=1,
    max_tokens=1024,
    top_p=1,
    stream=True,
    stop=None,
)

for chunk in completion:
    print(chunk.choices[0].delta.content or "", end="")

応答を削除すると、ローカルでPythonを用いてAPIにクエリを送信できる有効なコードスニペットになります。削除後、コードは以下のようになります：

from groq import Groq

client = Groq()
completion = client.chat.completions.create(
    model="mixtral-8x7b-32768",
    messages=[
        {
            "role": "system",
            "content": "You are an expert python programmer and your mission is to help the user with their programming troubles."
        },
        {
            "role": "user",
            "content": "I need help to write a script. Please write a hello world script for me."
        }
    ],
    temperature=1,
    max_tokens=1024,
    top_p=1,
    stream=True,
    stop=None,
)

for chunk in completion:
    print(chunk.choices[0].delta.content or "", end="")

APIキーをスクリプトに追加する

今必要なのは、スクリプトにAPIキーを追加することだけです。client = Groq()の行に以下を追加してください。

client = Groq(api_key="gsk_xxxxxxxxxxxxxxxxxxxxxxxxxx")

このスクリプトをPythonで実行すると、今では正しく動作します。

groqライブラリをまずインストールする必要があります。pip install groqを実行することでインストールできます。理想的には、このすべてを実行する前に別々の環境を作成しておくべきですが、それは別の話です。私が作成した仮想環境を作成するためのツールはこちらでご確認いただけます。または、オンラインのガイドに従ってPythonの仮想環境をセットアップしてください。

補足：このような形でAPIキーをコードにハードコーディングすることは推奨されません。システムの環境変数に保存するか、たとえばconfigparserライブラリを使って.iniファイルを作成するのがより良い方法です。ChatGPTがこの点についても助けてくれます。

ComfyUIでのGroqの使用

上記の方法を用いて、ComfyUIで使用できるノードを作成しました。GitHub上の私のノードパックで利用可能です：https://github.com/MNeMoNiCuZ/ComfyUI-mnemic-nodes?tab=readme-ov-file#-groq-llm-api-node

ComfyUI Managerを使ってノードパックをインストールするか、リポジトリを手動で/ComfyUI/custom_nodes/ディレクトリにクローンしてください。

インストール後、設定ファイル（ComfyUI\custom_nodes\ComfyUI-mnemic-nodes\nodes\groq）にAPIキーを入力してください。その後、準備は整います！ComfyUIを再起動し、Groq LLM APIノードを見つけてワークフローに追加してください。

追加情報はGitHubページで確認できます。

ComfyUI Groq LLM APIのスクリーンショット

以下は、このノードが可能なことを示すいくつかのスクリーンショットです。

ご質問があれば、お気軽にお聞きください。