【完全ガイド】AutoGPTでローカルLLMを使う方法
Vicuna、LLaMA、GPT4All統合 - OpenAI API不要

✅ config.iniでモデル管理

推奨度: ⭐⭐⭐⭐⭐（最も柔軟で保守性が高い）

📋 ステップ1: 設定ファイルの作成

# config.ini
[AI]
Chosen_Model = vicuna-13b
# オプション: gpt-4, gpt-3.5-turbo, vicuna-13b, llama-30b, gpt4all

[API]
Base_URL = http://localhost:5000/v1
# Oobabooga WebUI のAPIエンドポイント

[Embeddings]
Model = sentence-transformers/LaBSE
Dimensions = 768  # Pineconeの場合、インデックス次元に合わせる

📋 ステップ2: AI関数ライブラリの修正

# ai_functions.py を修正
import configparser
import requests

def call_ai_function(function, args, description, config_path="config.ini"):
    """設定ファイルからモデルを読み取りAI APIを呼び出す"""
    
    # 設定ファイルのロード
    config = configparser.ConfigParser()
    config.read(config_path)
    
    # モデルとエンドポイントの取得
    model = config.get("AI", "Chosen_Model", fallback="gpt-4")
    base_url = config.get("API", "Base_URL", fallback="https://api.openai.com/v1")
    
    # プロンプトの構築
    args_str = ", ".join(args)
    messages = [
        {
            "role": "system",
            "content": f"You are now the following python function: ```# {description}\n{function}```\n\nOnly respond with your `return` value."
        },
        {"role": "user", "content": args_str}
    ]
    
    # モデルに応じたAPI呼び出し
    if model.startswith("gpt"):
        # OpenAI API使用
        import openai
        response = openai.ChatCompletion.create(
            model=model,
            messages=messages,
            temperature=0
        )
        return response.choices[0].message["content"]
    
    elif model in ["vicuna-13b", "llama-30b", "gpt4all"]:
        # ローカルLLM API使用（Oobabooga互換）
        response = requests.post(
            f"{base_url}/chat/completions",
            json={
                "model": model,
                "messages": messages,
                "temperature": 0.7,
                "max_tokens": 512
            }
        )
        return response.json()["choices"][0]["message"]["content"]
    
    else:
        raise ValueError(f"サポートされていないモデル: {model}")

✅ メリット: 設定ファイル編集のみでモデル切り替え可能、コード変更不要、複数環境管理が容易

✅ Oobabooga WebUIをバックエンドとして使用

推奨度: ⭐⭐⭐⭐⭐（コミュニティで最も支持されている方法）

📋 Oobabooga WebUIとは？

Oobabooga Text Generation WebUIは、様々なLLMを統一インターフェースで実行できるツールです。

📋 実装手順

ステップ1: Oobabooga WebUIのインストール

# リポジトリのクローン
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui

# ワンクリックインストーラー（推奨）
# Windows: start_windows.bat
# Linux: ./start_linux.sh
# macOS: ./start_macos.sh

# または手動インストール
pip install -r requirements.txt

ステップ2: Vicuna-13Bモデルのダウンロード

# WebUI起動
python server.py --listen --api --auto-devices

# ブラウザで http://localhost:7860 を開く
# 「Model」タブで「TheBloke/vicuna-13B-v1.5-GGUF」をダウンロード

ステップ3: APIモードでの起動

# OpenAI互換APIを有効化してサーバー起動
python server.py \
  --listen \
  --api \
  --api-port 5000 \
  --auto-devices \
  --model vicuna-13B-v1.5-GGUF \
  --load-in-4bit  # VRAM削減（オプション）

# 確認: http://localhost:5000/v1/models でモデル一覧が表示される

ステップ4: AutoGPTの設定変更

# AutoGPTの .env ファイルに追加
OPENAI_API_BASE=http://localhost:5000/v1
OPENAI_API_KEY=dummy-key-not-required

# または環境変数で設定
export OPENAI_API_BASE="http://localhost:5000/v1"
export OPENAI_API_KEY="sk-dummy"

✅ 動作確認: AutoGPTを起動すると、OobaboogaのコンソールにAPIリクエストが表示されます。

✅ llama.cppで最小リソース実装

推奨度: ⭐⭐⭐⭐（軽量・高速、GPU非搭載でも動作）

📋 実装手順

ステップ1: llama.cppのインストール

# llamacpp-python（Python bindings）
pip install llamacpp-python

# CUDA対応版（GPU使用）
CMAKE_ARGS="-DLLAMA_CUBLAS=on" pip install llamacpp-python --force-reinstall --no-cache-dir

ステップ2: モデルファイル（GGUF形式）の準備

# HuggingFaceからGGUFモデルをダウンロード
huggingface-cli download \
  TheBloke/Vicuna-13B-v1.5-GGUF \
  vicuna-13b-v1.5.Q4_K_M.gguf \
  --local-dir ./models

ステップ3: AutoGPT用APIラッパーの作成

# local_llm_api.py
from llama_cpp import Llama
from flask import Flask, request, jsonify

app = Flask(__name__)

# モデルのロード
llm = Llama(
    model_path="./models/vicuna-13b-v1.5.Q4_K_M.gguf",
    n_ctx=2048,       # コンテキスト長
    n_gpu_layers=32,  # GPUに載せるレイヤー数（0=CPU専用）
    n_threads=8       # CPUスレッド数
)

@app.route("/v1/chat/completions", methods=["POST"])
def chat_completions():
    data = request.json
    messages = data.get("messages", [])
    
    # メッセージをプロンプトに変換
    prompt = "\n".join([f"{m['role']}: {m['content']}" for m in messages])
    
    # LLM推論
    response = llm(
        prompt,
        max_tokens=data.get("max_tokens", 512),
        temperature=data.get("temperature", 0.7),
        stop=["User:", "\n\n"]
    )
    
    # OpenAI互換レスポンス
    return jsonify({
        "choices": [{
            "message": {
                "role": "assistant",
                "content": response["choices"][0]["text"]
            }
        }]
    })

if __name__ == "__main__":
    app.run(host="0.0.0.0", port=5000)

ステップ4: APIサーバーの起動

# バックグラウンドでAPI起動
python local_llm_api.py &

# AutoGPTの設定
export OPENAI_API_BASE="http://localhost:5000/v1"

# AutoGPT起動
python -m autogpt

✅ sentence_transformersで完全ローカル化

推奨度: ⭐⭐⭐⭐⭐（メモリ機能に必須）

📋 実装手順

ステップ1: sentence_transformersのインストール

pip install sentence-transformers

ステップ2: Embeddings関数の置き換え

# embeddings.py を修正
from sentence_transformers import SentenceTransformer

# モデルのロード（初回のみダウンロード）
model = SentenceTransformer('sentence-transformers/LaBSE')

def get_ada_embedding(text):
    """OpenAI ada-002の代替"""
    # Embeddingの生成
    embedding = model.encode([text])
    return embedding[0].tolist()

# 使用例
text = "AutoGPTはローカルLLMに対応しています"
embedding = get_ada_embedding(text)
print(f"Embedding次元: {len(embedding)}")  # 768次元

# Pineconeインデックスの作成（768次元に変更）
import pinecone

pinecone.init(api_key="YOUR_API_KEY", environment="us-west1-gcp")
pinecone.create_index(
    "autogpt-memory",
    dimension=768,  # ← LaBSEに合わせる
    metric="cosine"
)

💡 代替モデル: all-MiniLM-L6-v2（384次元、最速）、paraphrase-multilingual-MiniLM-L12-v2（384次元、多言語対応）