📄 integrations/providers.md

title: "AI Providers" sidebar_label: "AI Providers" sidebar_position: 1

AI Providers

หน้านี้ครอบคลุมการตั้งค่า inference providers สำหรับ Hermes Agent ตั้งแต่ cloud APIs เช่น OpenRouter และ Anthropic ไปจนถึง self-hosted endpoints เช่น Ollama และ vLLM รวมถึงการตั้งค่า advanced routing และ fallback คุณต้องตั้งค่า provider อย่างน้อยหนึ่งตัวเพื่อใช้ Hermes

Inference Providers

คุณต้องมีวิธีเชื่อมต่อกับ LLM อย่างน้อยหนึ่งวิธี ใช้ hermes model เพื่อสลับ provider และ model แบบ interactive หรือตั้งค่าโดยตรง:

:::tip Model key alias ในส่วน model: config คุณสามารถใช้ได้ทั้ง default: หรือ model: เป็นชื่อ key สำหรับ model ID ทั้ง model: { default: my-model } และ model: { model: my-model } ทำงานเหมือนกัน :::

Google Gemini via OAuth (google-gemini-cli)

provider google-gemini-cli ใช้ backend Cloud Code Assist ของ Google ซึ่งเป็น API เดียวกับที่เครื่องมือ gemini-cli ของ Google ใช้ รองรับทั้ง free tier (โควต้ารายวันจำนวนมากสำหรับบัญชีส่วนตัว) และ paid tiers (Standard/Enterprise ผ่าน GCP project)

Quick start:

hermes model
# → pick "Google Gemini (OAuth)"
# → see policy warning, confirm
# → browser opens to accounts.google.com, sign in
# → done — Hermes auto-provisions your free tier on first request

โดยค่าเริ่มต้น Hermes จะติดตั้ง Google's public gemini-cli desktop OAuth client ซึ่งเป็น credentials เดียวกับที่ Google รวมไว้ใน open-source gemini-cli Desktop OAuth clients ไม่ใช่ confidential (PKCE ให้ความปลอดภัย) คุณไม่จำเป็นต้องติดตั้ง gemini-cli หรือลงทะเบียน Google Cloud OAuth client ของคุณเอง

การทำงานของ auth:

• PKCE Authorization Code flow against accounts.google.com
• Browser callback ที่ http://127.0.0.1:8085/oauth2callback (พร้อม fallback ด้วย ephemeral-port หากไม่ว่าง)
• Tokens ถูกเก็บไว้ที่ ~/.hermes/auth/google_oauth.json (chmod 0600, atomic write, cross-process fcntl lock)
• Refresh อัตโนมัติ 60 วินาทีก่อนหมดอายุ
• Headless environments (SSH, HERMES_HEADLESS=1) → paste-mode fallback
• การลดความซ้ำซ้อนในการ refresh ระหว่างการใช้งาน — คำขอพร้อมกันสองครั้งจะไม่ทำการ double-refresh
• invalid_grant (refresh ถูกเพิกถอน) → ลบ credential file, แจ้งให้ผู้ใช้ login ใหม่

การทำงานของ inference:

• Traffic ถูกส่งไปยัง https://cloudcode-pa.googleapis.com/v1internal:generateContent (หรือ :streamGenerateContent?alt=sse สำหรับ streaming), ไม่ใช่ endpoint v1beta/openai แบบเสียเงิน
• Request body ถูกห่อด้วย {project, model, user_prompt_id, request}
• OpenAI-shaped messages[], tools[], tool_choice ถูกแปลเป็น contents[], tools[].functionDeclarations, toolConfig รูปแบบ native ของ Gemini
• Responses ถูกแปลกลับเป็น OpenAI shape เพื่อให้ส่วนที่เหลือของ Hermes ทำงานได้โดยไม่มีการเปลี่ยนแปลง

Tiers & project IDs:

Free tier จะทำการ auto-provisioning project ที่จัดการโดย Google เมื่อใช้งานครั้งแรก ไม่ต้องตั้งค่า GCP

การตรวจสอบโควต้า:

/gquota

แสดงโควต้า Code Assist ที่เหลือต่อ model พร้อม progress bars:

Gemini Code Assist quota  (project: 123-abc)

  gemini-2.5-pro                      ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓░░░░   85%
  gemini-2.5-flash [input]            ▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓▓░░   92%

:::warning Policy risk Google ถือว่าการใช้ Gemini CLI OAuth client กับ third-party software เป็นการละเมิดนโยบาย ผู้ใช้บางรายรายงานว่าบัญชีถูกจำกัด สำหรับประสบการณ์ที่มีความเสี่ยงต่ำที่สุด ให้ใช้ API key ของคุณเองผ่าน provider gemini แทน Hermes จะแสดงคำเตือนล่วงหน้าและต้องการการยืนยันอย่างชัดเจนก่อนที่ OAuth จะเริ่ม :::

Custom OAuth client (optional):

หากคุณต้องการลงทะเบียน Google OAuth client ของคุณเอง เช่น เพื่อให้โควต้าและ consent ถูกจำกัดอยู่ใน GCP project ของคุณเอง ให้ตั้งค่า:

HERMES_GEMINI_CLIENT_ID=your-client.apps.googleusercontent.com
HERMES_GEMINI_CLIENT_SECRET=...   # optional for Desktop clients

ลงทะเบียน OAuth client สำหรับ Desktop app ที่ console.cloud.google.com/apis/credentials โดยเปิดใช้งาน Generative Language API

:::info Codex Note provider OpenAI Codex จะทำการ authenticate ผ่าน device code (เปิด URL, กรอกโค้ด) Hermes จะจัดเก็บ credentials ที่ได้ไว้ใน auth store ของตัวเองที่ ~/.hermes/auth.json และสามารถ import credentials ของ Codex CLI ที่มีอยู่จาก ~/.codex/auth.json ได้เมื่อมีอยู่ ไม่จำเป็นต้องติดตั้ง Codex CLI :::

:::warning แม้กระทั่งเมื่อใช้ Nous Portal, Codex, หรือ custom endpoint เครื่องมือบางอย่าง (vision, web summarization, MoA) ก็ใช้ model "auxiliary" แยกต่างหาก - โดยค่าเริ่มต้นคือ Gemini Flash ผ่าน OpenRouter การตั้งค่า OPENROUTER_API_KEY จะเปิดใช้งานเครื่องมือเหล่านี้โดยอัตโนมัติ คุณยังสามารถกำหนดได้ว่าเครื่องมือเหล่านี้ใช้ model และ provider ใด - ดูที่ Auxiliary Models :::

:::tip Nous Tool Gateway ผู้ที่สมัครสมาชิก Nous Portal แบบเสียเงินยังสามารถเข้าถึง Tool Gateway ซึ่งรวมถึง web search, image generation, TTS, และ browser automation ที่ถูก route ผ่านการสมัครสมาชิกของคุณ ไม่ต้องใช้ API key เพิ่มเติม โดยจะถูกเสนอโดยอัตโนมัติระหว่างการตั้งค่า hermes model หรือเปิดใช้งานภายหลังด้วย hermes tools :::

Two Commands for Model Management

Hermes มีคำสั่ง model สอง คำสั่งที่มีวัตถุประสงค์ต่างกัน:

หากคุณพยายามสลับไปใช้ provider ที่คุณยังไม่ได้ตั้งค่า (เช่น คุณตั้งค่าแค่ OpenRouter และต้องการใช้ Anthropic) คุณต้องใช้ hermes model ไม่ใช่ /model ให้ออกจาก session ก่อน (Ctrl+C หรือ /quit), รัน hermes model, ทำการตั้งค่า provider ให้เสร็จสิ้น จากนั้นจึงเริ่ม session ใหม่

Anthropic (Native)

ใช้ Claude models โดยตรงผ่าน Anthropic API - ไม่ต้องผ่าน OpenRouter proxy รองรับ 3 auth methods:

# With an API key (pay-per-token)
export ANTHROPIC_API_KEY=***
hermes chat --provider anthropic --model claude-sonnet-4-6

# Preferred: authenticate through `hermes model`
# Hermes จะใช้ Claude Code's credential store โดยตรงเมื่อมี
hermes model

# Manual override with a setup-token (fallback / legacy)
export ANTHROPIC_TOKEN=***  # setup-token หรือ manual OAuth token
hermes chat --provider anthropic

# Auto-detect Claude Code credentials (if you already use Claude Code)
hermes chat --provider anthropic  # อ่านไฟล์ credential ของ Claude Code โดยอัตโนมัติ

เมื่อคุณเลือก Anthropic OAuth ผ่าน hermes model, Hermes จะชอบใช้ credential store ของ Claude Code เองมากกว่าการคัดลอก token ไปที่ ~/.hermes/.env เพราะนั่นทำให้ credentials ของ Claude ที่สามารถ refresh ได้ยังคงสามารถ refresh ได้

หรือตั้งค่าแบบถาวร:

model:
  provider: "anthropic"
  default: "claude-sonnet-4-6"

:::tip Aliases --provider claude และ --provider claude-code ยังสามารถใช้เป็น shorthand สำหรับ --provider anthropic :::

GitHub Copilot

Hermes รองรับ GitHub Copilot เป็น first-class provider ด้วยสองโหมด:

copilot - Direct Copilot API (แนะนำ) ใช้การสมัครสมาชิก GitHub Copilot ของคุณเพื่อเข้าถึง GPT-5.x, Claude, Gemini, และ model อื่นๆ ผ่าน Copilot API

hermes chat --provider copilot --model gpt-5.4

Authentication options (ตรวจสอบตามลำดับนี้):

1. COPILOT_GITHUB_TOKEN environment variable
2. GH_TOKEN environment variable
3. GITHUB_TOKEN environment variable
4. gh auth token CLI fallback

หากไม่พบ token, hermes model จะเสนอ OAuth device code login ซึ่งเป็น flow เดียวกันที่ใช้โดย Copilot CLI และ opencode

:::warning Token types Copilot API ไม่รองรับ Personal Access Tokens แบบ classic (ghp_*) Supported token types:

หาก gh auth token ของคุณส่งคืน token แบบ ghp_*, ให้ใช้ hermes model เพื่อ authenticate ผ่าน OAuth แทน :::

API routing: GPT-5+ models (ยกเว้น gpt-5-mini) จะใช้ Responses API โดยอัตโนมัติ ส่วน model อื่นๆ ทั้งหมด (GPT-4o, Claude, Gemini, etc.) ใช้ Chat Completions Models จะถูก auto-detect จาก Copilot catalog แบบ live

copilot-acp - Copilot ACP agent backend. Spawns Copilot CLI แบบ local เป็น subprocess:

hermes chat --provider copilot-acp --model copilot-acp
# Requires the GitHub Copilot CLI in PATH and an existing `copilot login` session

Permanent config:

model:
  provider: "copilot"
  default: "gpt-5.4"

First-Class Chinese AI Providers

Provider เหล่านี้มีการรองรับ built-in ด้วย dedicated provider IDs ตั้งค่า API key และใช้ --provider เพื่อเลือก:

# z.ai / ZhipuAI GLM
hermes chat --provider zai --model glm-5
# Requires: GLM_API_KEY in ~/.hermes/.env

# Kimi / Moonshot AI (international: api.moonshot.ai)
hermes chat --provider kimi-coding --model kimi-for-coding
# Requires: KIMI_API_KEY in ~/.hermes/.env

# Kimi / Moonshot AI (China: api.moonshot.cn)
hermes chat --provider kimi-coding-cn --model kimi-k2.5
# Requires: KIMI_CN_API_KEY in ~/.hermes/.env

# MiniMax (global endpoint)
hermes chat --provider minimax --model MiniMax-M2.7
# Requires: MINIMAX_API_KEY in ~/.hermes/.env

# MiniMax (China endpoint)
hermes chat --provider minimax-cn --model MiniMax-M2.7
# Requires: MINIMAX_CN_API_KEY in ~/.hermes/.env

# Alibaba Cloud / DashScope (Qwen models)
hermes chat --provider alibaba --model qwen3.5-plus
# Requires: DASHSCOPE_API_KEY in ~/.hermes/.env

# Xiaomi MiMo
hermes chat --provider xiaomi --model mimo-v2-pro
# Requires: XIAOMI_API_KEY in ~/.hermes/.env

# Arcee AI (Trinity models)
hermes chat --provider arcee --model trinity-large-thinking
# Requires: ARCEEAI_API_KEY in ~/.hermes/.env

หรือตั้งค่า provider แบบถาวรใน config.yaml:

model:
  provider: "zai"       # or: kimi-coding, kimi-coding-cn, minimax, minimax-cn, alibaba, xiaomi, arcee
  default: "glm-5"

Base URLs สามารถถูก override ด้วย environment variables GLM_BASE_URL, KIMI_BASE_URL, MINIMAX_BASE_URL, MINIMAX_CN_BASE_URL, DASHSCOPE_BASE_URL, หรือ XIAOMI_BASE_URL

:::note Z.AI Endpoint Auto-Detection เมื่อใช้ provider Z.AI / GLM, Hermes จะทำการ probe multiple endpoints (global, China, coding variants) โดยอัตโนมัติเพื่อค้นหา endpoint ที่ยอมรับ API key ของคุณ คุณไม่จำเป็นต้องตั้งค่า GLM_BASE_URL ด้วยตนเอง - endpoint ที่ใช้งานได้จะถูกตรวจพบและแคชโดยอัตโนมัติ :::

xAI (Grok) - Responses API + Prompt Caching

xAI เชื่อมต่อผ่าน Responses API (codex_responses transport) สำหรับการสนับสนุนการให้เหตุผลอัตโนมัติบน Grok 4 models - ไม่จำเป็นต้องใช้ parameter reasoning_effort, server จะให้เหตุผลโดยค่าเริ่มต้น ตั้งค่า XAI_API_KEY ใน ~/.hermes/.env และเลือก xAI ใน hermes model, หรือใช้ grok เป็น shortcut ใน /model grok-4-1-fast-reasoning

เมื่อใช้ xAI เป็น provider (any base URL ที่มี x.ai), Hermes จะเปิดใช้งาน prompt caching โดยอัตโนมัติโดยการส่ง header x-grok-conv-id ไปพร้อมกับทุก API request สิ่งนี้จะ route requests ไปยัง server เดียวกันภายใน session การสนทนา ทำให้โครงสร้างพื้นฐานของ xAI สามารถนำ system prompts และ conversation history ที่ถูกแคชกลับมาใช้ใหม่ได้

ไม่จำเป็นต้องตั้งค่า - caching จะเปิดใช้งานโดยอัตโนมัติเมื่อตรวจพบ xAI endpoint และมี session ID การทำเช่นนี้ช่วยลด latency และ cost สำหรับการสนทนาแบบ multi-turn

xAI ยังมี dedicated TTS endpoint (/v1/tts) เลือก xAI TTS ใน hermes tools → Voice & TTS, หรือดูที่ Voice & TTS สำหรับการตั้งค่า

Ollama Cloud - Managed Ollama Models, OAuth + API Key

Ollama Cloud เป็นที่โฮสต์ catalog open-weight เดียวกับ Ollama local แต่ไม่มีข้อกำหนดเรื่อง GPU เลือกใน hermes model เป็น Ollama Cloud, วาง API key ของคุณจาก ollama.com/settings/keys, และ Hermes จะ auto-discover models ที่มีอยู่

hermes model
# → pick "Ollama Cloud"
# → paste your OLLAMA_API_KEY
# → select from discovered models (gpt-oss:120b, glm-4.6:cloud, qwen3-coder:480b-cloud, etc.)

หรือใน config.yaml โดยตรง:

model:
  provider: "ollama-cloud"
  default: "gpt-oss:120b"

Model catalog จะถูกดึงมาแบบ dynamic จาก ollama.com/v1/models และแคชไว้เป็นเวลาหนึ่งชั่วโมง การใช้ notation model:tag (เช่น qwen3-coder:480b-cloud) จะถูกรักษาไว้ผ่าน normalization - ห้ามใช้ dashes

:::tip Ollama Cloud vs local Ollama ทั้งคู่ใช้ OpenAI-compatible API เดียวกัน Cloud เป็น first-class provider (--provider ollama-cloud, OLLAMA_API_KEY); Ollama local เข้าถึงผ่าน Custom Endpoint flow (base URL http://localhost:11434/v1, no key) ใช้ cloud สำหรับ large models ที่คุณไม่สามารถรันได้ local; ใช้ local สำหรับความเป็นส่วนตัวหรือการทำงานแบบ offline :::

AWS Bedrock

Anthropic Claude, Amazon Nova, DeepSeek v3.2, Meta Llama 4, และ model อื่นๆ ผ่าน AWS Bedrock ใช้ credential chain ของ AWS SDK (boto3) - ไม่ต้องใช้ API key, ใช้แค่ standard AWS auth

# Simplest - named profile in ~/.aws/credentials
hermes chat --provider bedrock --model us.anthropic.claude-sonnet-4-6

# Or with explicit env vars
AWS_PROFILE=myprofile AWS_REGION=us-east-1 hermes chat --provider bedrock --model us.anthropic.claude-sonnet-4-6

หรือแบบถาวรใน config.yaml:

model:
  provider: "bedrock"
  default: "us.anthropic.claude-sonnet-4-6"
bedrock:
  region: "us-east-1"          # or set AWS_REGION
  # profile: "myprofile"       # or set AWS_PROFILE
  # discovery: true            # auto-discover region from IAM
  # guardrail:                 # optional Bedrock Guardrails
  #   id: "your-guardrail-id"
  #   version: "DRAFT"

การ authenticate ใช้ standard boto3 chain: AWS_ACCESS_KEY_ID/AWS_SECRET_ACCESS_KEY ที่ชัดเจน, AWS_PROFILE จาก ~/.aws/credentials, IAM role บน EC2/ECS/Lambda, IMDS, หรือ SSO ไม่จำเป็นต้องมี env var หากคุณ authenticated ด้วย AWS CLI อยู่แล้ว

Bedrock ใช้ Converse API ภายใต้ hood - requests จะถูกแปลเป็น model-agnostic shape ของ Bedrock ดังนั้น config เดียวกันจึงใช้ได้กับ Claude, Nova, DeepSeek, และ Llama models ตั้งค่า BEDROCK_BASE_URL เฉพาะเมื่อคุณเรียกใช้ non-default regional endpoint

ดูที่ AWS Bedrock guide สำหรับการแนะนำการตั้งค่า IAM, การเลือก region, และ cross-region inference

Qwen Portal (OAuth)

Qwen Portal ของ Alibaba พร้อมการ login แบบ OAuth ผ่าน browser เลือก Qwen OAuth (Portal) ใน hermes model, sign in ผ่าน browser, และ Hermes จะเก็บ refresh token ไว้

hermes model
# → pick "Qwen OAuth (Portal)"
# → browser opens; sign in with your Alibaba account
# → confirm — credentials are saved to ~/.hermes/auth.json

hermes chat   # uses portal.qwen.ai/v1 endpoint

หรือตั้งค่า config.yaml:

model:
  provider: "qwen-oauth"
  default: "qwen3-coder-plus"

ตั้งค่า HERMES_QWEN_BASE_URL เฉพาะเมื่อ portal endpoint ย้ายที่ (default: https://portal.qwen.ai/v1)

:::tip Qwen OAuth vs DashScope (Alibaba) qwen-oauth ใช้ Qwen Portal ที่เปิดให้ผู้บริโภคใช้พร้อม OAuth login - เหมาะสำหรับผู้ใช้รายบุคคล provider alibaba ใช้ enterprise API ของ DashScope พร้อม DASHSCOPE_API_KEY - เหมาะสำหรับ workload แบบ programmatic / production ทั้งคู่ route ไปยัง Qwen-family models แต่ใช้ endpoint ต่างกัน :::

NVIDIA NIM

Nemotron และ model open source อื่นๆ ผ่าน build.nvidia.com (free API key) หรือ local NIM endpoint

# Cloud (build.nvidia.com)
hermes chat --provider nvidia --model nvidia/nemotron-3-super-120b-a12b
# Requires: NVIDIA_API_KEY in ~/.hermes/.env

# Local NIM endpoint - override base URL
NVIDIA_BASE_URL=http://localhost:8000/v1 hermmes chat --provider nvidia --model nvidia/nemotron-3-super-120b-a12b

หรือตั้งค่าแบบถาวรใน config.yaml:

model:
  provider: "nvidia"
  default: "nvidia/nemotron-3-super-120b-a12b"

:::tip Local NIM สำหรับการ deploy on-prem (DGX Spark, local GPU), ตั้งค่า NVIDIA_BASE_URL=http://localhost:8000/v1 NIM เปิดใช้งาน OpenAI-compatible chat completions API เดียวกับ build.nvidia.com ดังนั้นการสลับระหว่าง cloud และ local เป็นการเปลี่ยน env-var บรรทัดเดียว :::

Hugging Face Inference Providers

Hugging Face Inference Providers route ไปยัง 20+ open models ผ่าน unified OpenAI-compatible endpoint (router.huggingface.co/v1) Requests จะถูก route ไปยัง backend ที่เร็วที่สุดที่มีอยู่โดยอัตโนมัติ (Groq, Together, SambaNova, etc.) พร้อม failover อัตโนมัติ

# Use any available model
hermes chat --provider huggingface --model Qwen/Qwen3-235B-A22B-Thinking-2507
# Requires: HF_TOKEN in ~/.hermes/.env

# Short alias
hermes chat --provider hf --model deepseek-ai/DeepSeek-V3.2

หรือตั้งค่าแบบถาวรใน config.yaml:

model:
  provider: "huggingface"
  default: "Qwen/Qwen3-235B-A22B-Thinking-2507"

รับ token ของคุณได้ที่ huggingface.co/settings/tokens - ตรวจสอบให้แน่ใจว่าได้เปิดใช้งานสิทธิ์ "Make calls to Inference Providers" แล้ว Free tier รวมอยู่ด้วย ($0.10/month credit, no markup on provider rates).

คุณสามารถ append routing suffixes ให้กับ model names: :fastest (default), :cheapest, หรือ :provider_name เพื่อบังคับใช้ backend ที่เฉพาะเจาะจง

Base URL สามารถถูก override ด้วย HF_BASE_URL

Custom & Self-Hosted LLM Providers

Hermes Agent ทำงานกับ any OpenAI-compatible API endpoint ไม่ว่าจะเป็นที่ใดก็ตาม หากเซิร์ฟเวอร์มีการติดตั้ง /v1/chat/completions คุณสามารถชี้ Hermes ไปที่ Endpoint นั้นได้ ซึ่งหมายความว่าคุณสามารถใช้ local models, GPU inference servers, multi-provider routers, หรือ any third-party API ก็ได้

General Setup

สามวิธีในการตั้งค่า custom endpoint:

Interactive setup (recommended):

hermes model
# Select "Custom endpoint (self-hosted / VLLM / etc.)"
# Enter: API base URL, API key, Model name

Manual config (config.yaml):

# In ~/.hermes/config.yaml
model:
  default: your-model-name
  provider: custom
  base_url: http://localhost:8000/v1
  api_key: your-key-or-leave-empty-for-local

:::warning Legacy env vars OPENAI_BASE_URL และ LLM_MODEL ใน .env ถูก ลบออกแล้ว ไม่ส่วนใดของ Hermes อ่านค่าเหล่านี้ - config.yaml คือแหล่งข้อมูลหลัก (single source of truth) สำหรับการตั้งค่า model และ endpoint หากคุณมีข้อมูลที่ล้าสมัย (stale entries) ใน .env ระบบจะล้างข้อมูลเหล่านั้นโดยอัตโนมัติในการรัน hermes setup ครั้งถัดไป หรือเมื่อมีการย้าย config ใช้ hermes model หรือแก้ไข config.yaml โดยตรง :::

ทั้งสองวิธีนี้จะบันทึกข้อมูลลงใน config.yaml ซึ่งเป็นแหล่งข้อมูลหลักสำหรับ model, provider, และ base URL

Switching Models with /model

:::warning hermes model vs /model hermes model (รันจาก terminal ของคุณ, นอกเหนือจาก session แชทใดๆ) คือ ตัวช่วยตั้งค่า provider แบบเต็มรูปแบบ (full provider setup wizard) ใช้สิ่งนี้เพื่อเพิ่ม provider ใหม่, รัน OAuth flows, กรอก API keys, และตั้งค่า custom endpoints

/model (พิมพ์ภายใน session แชท Hermes ที่กำลังทำงานอยู่) สามารถใช้ได้เพียง สลับระหว่าง providers และ models ที่คุณตั้งค่าไว้แล้วเท่านั้น มันไม่สามารถเพิ่ม provider ใหม่, รัน OAuth, หรือแจ้งให้กรอก API keys ได้ หากคุณตั้งค่า provider เพียงตัวเดียว (เช่น OpenRouter), /model จะแสดงเฉพาะ models สำหรับ provider นั้นเท่านั้น

ในการเพิ่ม provider ใหม่: ออกจาก session ของคุณ (Ctrl+C หรือ /quit), รัน hermes model, ตั้งค่า provider ใหม่, จากนั้นจึงเริ่ม session ใหม่ :::

เมื่อคุณตั้งค่า custom endpoint อย่างน้อยหนึ่งตัวแล้ว คุณสามารถสลับ models ระหว่าง session ได้:

/model custom:qwen-2.5          # สลับไปใช้ model บน custom endpoint ของคุณ
/model custom                    # ตรวจจับ model อัตโนมัติจาก endpoint
/model openrouter:claude-sonnet-4 # สลับกลับไปใช้ cloud provider

หากคุณมีการตั้งค่า custom providers ที่มีชื่อ (named custom providers) (ดูด้านล่าง), ให้ใช้ไวยากรณ์แบบสามส่วน (triple syntax):

/model custom:local:qwen-2.5    # ใช้ custom provider "local" กับ model qwen-2.5
/model custom:work:llama3       # ใช้ custom provider "work" กับ model llama3

เมื่อสลับ providers, Hermes จะบันทึก base URL และ provider ลงใน config เพื่อให้การเปลี่ยนแปลงคงอยู่แม้จะมีการรีสตาร์ท เมื่อสลับออกจาก custom endpoint ไปยัง built-in provider, base URL ที่ล้าสมัยจะถูกล้างโดยอัตโนมัติ

:::tip /model custom (เปล่า, ไม่มีชื่อ model) จะเรียกใช้ API /models ของ endpoint ของคุณ และจะเลือก model โดยอัตโนมัติหากมีการโหลด model เพียงตัวเดียว มีประโยชน์สำหรับ local servers ที่รัน model ตัวเดียว :::

ทุกอย่างที่อยู่ด้านล่างนี้ทำตามรูปแบบเดียวกัน - เพียงแค่เปลี่ยน URL, key, และ model name

Ollama - Local Models, Zero Config

Ollama รัน open-weight models แบบ local ด้วยคำสั่งเดียว เหมาะสำหรับ: การทดลอง local อย่างรวดเร็ว, งานที่ต้องการความเป็นส่วนตัว, การใช้งานแบบ offline รองรับ tool calling ผ่าน OpenAI-compatible API

# Install and run a model
ollama pull qwen2.5-coder:32b
ollama serve   # Starts on port 11434

จากนั้นตั้งค่า Hermes:

hermes model
# Select "Custom endpoint (self-hosted / VLLM / etc.)"
# Enter URL: http://localhost:11434/v1
# Skip API key (Ollama ไม่ต้องการ)
# Enter model name (เช่น qwen2.5-coder:32b)

หรือตั้งค่า config.yaml โดยตรง:

model:
  default: qwen2.5-coder:32b
  provider: custom
  base_url: http://localhost:11434/v1
  context_length: 32768   # ดู warning ด้านล่าง

:::caution Ollama defaults to very low context lengths Ollama จะไม่ใช้ context window เต็มของ model ของคุณโดยค่าเริ่มต้น ขึ้นอยู่กับ VRAM ของคุณ ค่าเริ่มต้นคือ:

สำหรับการใช้งาน agent พร้อม tools, คุณต้องการ context อย่างน้อย 16k–32k ที่ 4k, system prompt + tool schemas เพียงอย่างเดียวก็สามารถเติมเต็ม window ได้แล้ว โดยไม่เหลือที่ว่างสำหรับการสนทนา

วิธีเพิ่มค่า (เลือกอย่างใดอย่างหนึ่ง):

# Option 1: ตั้งค่า server-wide ผ่าน environment variable (recommended)
OLLAMA_CONTEXT_LENGTH=32768 ollama serve

# Option 2: สำหรับ Ollama ที่จัดการโดย systemd
sudo systemctl edit ollama.service
# Add: Environment="OLLAMA_CONTEXT_LENGTH=32768"
# Then: sudo systemctl daemon-reload && sudo systemctl restart ollama

# Option 3: ฝังค่าลงใน custom model (persistent per-model)
echo -e "FROM qwen2.5-coder:32b\nPARAMETER num_ctx 32768" > Modelfile
ollama create qwen2.5-coder-32k -f Modelfile

คุณไม่สามารถตั้งค่า context length ผ่าน OpenAI-compatible API (/v1/chat/completions) ได้ มันต้องถูกตั้งค่าที่ฝั่ง server หรือผ่าน Modelfile นี่คือสาเหตุอันดับ 1 ของความสับสนเมื่อรวม Ollama เข้ากับ tools อย่าง Hermes :::

ตรวจสอบว่า context ของคุณถูกตั้งค่าอย่างถูกต้อง:

ollama ps
# ดูที่คอลัมน์ CONTEXT - ควรแสดงค่าที่คุณตั้งค่าไว้

:::tip ดู models ที่มีให้ใช้ด้วย ollama list ดึง model ใดๆ จาก Ollama library ด้วย ollama pull <model> Ollama จัดการ GPU offloading โดยอัตโนมัติ - ไม่ต้องตั้งค่าสำหรับส่วนใหญ่ :::

vLLM - High-Performance GPU Inference

vLLM คือมาตรฐานสำหรับการให้บริการ LLM ในระดับ production เหมาะสำหรับ: maximum throughput บน GPU hardware, การให้บริการ large models, continuous batching

pip install vllm
vllm serve meta-llama/Llama-3.1-70B-Instruct \
  --port 8000 \
  --max-model-len 65536 \
  --tensor-parallel-size 2 \
  --enable-auto-tool-choice \
  --tool-call-parser hermes

จากนั้นตั้งค่า Hermes:

hermes model
# Select "Custom endpoint (self-hosted / VLLM / etc.)"
# Enter URL: http://localhost:8000/v1
# Skip API key (หรือกรอกถ้าคุณตั้งค่า vLLM ด้วย --api-key)
# Enter model name: meta-llama/Llama-3.1-70B-Instruct

Context length: vLLM จะอ่าน max_position_embeddings ของ model โดยค่าเริ่มต้น หากค่านี้เกินหน่วยความจำ GPU ของคุณ, มันจะเกิดข้อผิดพลาดและแจ้งให้คุณตั้งค่า --max-model-len ให้ต่ำลง คุณยังสามารถใช้ --max-model-len auto เพื่อค้นหาค่าสูงสุดที่เหมาะสมได้ ตั้งค่า --gpu-memory-utilization 0.95 (ค่าเริ่มต้น 0.9) เพื่อบีบ context ให้ได้มากที่สุดใน VRAM

Tool calling ต้องใช้ flags อย่างชัดเจน:

Supported parsers: hermes (Qwen 2.5, Hermes 2/3), llama3_json (Llama 3.x), mistral, deepseek_v3, deepseek_v31, xlam, pythonic หากไม่มี flags เหล่านี้, tool calls จะไม่ทำงาน - model จะ output tool calls เป็น text

:::tip vLLM รองรับขนาดที่มนุษย์อ่านได้: --max-model-len 64k (k ตัวพิมพ์เล็ก = 1000, K ตัวพิมพ์ใหญ่ = 1024) :::

SGLang - Fast Serving with RadixAttention

SGLang เป็นทางเลือกแทน vLLM ที่ใช้ RadixAttention สำหรับการนำ KV cache กลับมาใช้ใหม่ เหมาะสำหรับ: การสนทนาหลายรอบ (prefix caching), constrained decoding, structured output

pip install "sglang[all]"
python -m sglang.launch_server \
  --model meta-llama/Llama-3.1-70B-Instruct \
  --port 30000 \
  --context-length 65536 \
  --tp 2 \
  --tool-call-parser qwen

จากนั้นตั้งค่า Hermes:

hermes model
# Select "Custom endpoint (self-hosted / VLLM / etc.)"
# Enter URL: http://localhost:30000/v1
# Enter model name: meta-llama/Llama-3.1-70B-Instruct

Context length: SGLang จะอ่านจาก config ของ model โดยค่าเริ่มต้น ใช้ --context-length เพื่อ override หากคุณต้องการเกินค่าสูงสุดที่ model ประกาศไว้, ให้ตั้งค่า SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1

Tool calling: ใช้ --tool-call-parser ด้วย parser ที่เหมาะสมสำหรับ family ของ model ของคุณ: qwen (Qwen 2.5), llama3, llama4, deepseekv3, mistral, glm หากไม่มี flag นี้, tool calls จะกลับมาเป็น plain text

:::caution SGLang defaults to 128 max output tokens หากคำตอบดูเหมือนถูกตัดทอน, ให้เพิ่ม max_tokens ใน requests ของคุณ หรือตั้งค่า --default-max-tokens บน server ค่า default ของ SGLang คือ 128 tokens ต่อ response หากไม่ได้ระบุใน request :::

llama.cpp / llama-server - CPU & Metal Inference

llama.cpp รัน quantized models บน CPU, Apple Silicon (Metal), และ consumer GPUs เหมาะสำหรับ: การรัน models โดยไม่มี datacenter GPU, ผู้ใช้ Mac, edge deployment

# Build and start llama-server
cmake -B build && cmake --build build --config Release
./build/bin/llama-server \
  --jinja -fa \
  -c 32768 \
  -ngl 99 \
  -m models/qwen2.5-coder-32b-instruct-Q4_K_M.gguf \
  --port 8080 --host 0.0.0.0

Context length (-c): การ build ล่าสุด default เป็น 0 ซึ่งจะอ่าน context ของการฝึกจาก metadata ของ GGUF สำหรับ models ที่มี context การฝึก 128k+ การทำเช่นนี้อาจเกิด OOM เมื่อพยายามจัดสรร KV cache ทั้งหมด ให้ตั้งค่า -c อย่างชัดเจนตามที่คุณต้องการ (32k–64k เป็นช่วงที่ดีสำหรับการใช้งาน agent) หากใช้ parallel slots (-np), context รวมจะถูกแบ่งระหว่าง slots - ด้วย -c 32768 -np 4, แต่ละ slot จะได้เพียง 8k

จากนั้นตั้งค่า Hermes ให้ชี้ไปที่มัน:

hermes model
# Select "Custom endpoint (self-hosted / VLLM / etc.)"
# Enter URL: http://localhost:8080/v1
# Skip API key (local servers ไม่ต้องการ)
# Enter model name - หรือปล่อยว่างเพื่อตรวจจับอัตโนมัติหากโหลด model เพียงตัวเดียว

สิ่งนี้จะบันทึก endpoint ลงใน config.yaml เพื่อให้คงอยู่ข้าม session

:::caution --jinja จำเป็นสำหรับการทำ tool calling หากไม่มี --jinja, llama-server จะเพิกเฉยต่อพารามิเตอร์ tools โดยสิ้นเชิง model จะพยายามเรียกใช้ tools โดยการเขียน JSON ใน response text ของมัน แต่ Hermes จะไม่รับรู้ว่ามันคือ tool call - คุณจะเห็น raw JSON เช่น {"name": "web_search", ...} ถูกพิมพ์เป็น message แทนการค้นหาจริง

Native tool calling support (best performance): Llama 3.x, Qwen 2.5 (รวมถึง Coder), Hermes 2/3, Mistral, DeepSeek, Functionary. models อื่นๆ ใช้ generic handler ที่ใช้งานได้แต่ประสิทธิภาพอาจต่ำกว่า ดู llama.cpp function calling docs สำหรับรายการทั้งหมด

คุณสามารถตรวจสอบว่า tool support ทำงานอยู่หรือไม่ โดยการตรวจสอบ http://localhost:8080/props - field chat_template ควรปรากฏอยู่ :::

:::tip ดาวน์โหลด GGUF models จาก Hugging Face การควอนไทซ์ Q4_K_M ให้ความสมดุลที่ดีที่สุดระหว่างคุณภาพกับการใช้หน่วยความจำ :::

LM Studio - Desktop App with Local Models

LM Studio คือ desktop app สำหรับรัน local models ด้วย GUI เหมาะสำหรับ: ผู้ใช้ที่ชอบ visual interface, การทดสอบ model อย่างรวดเร็ว, developers บน macOS/Windows/Linux

เริ่ม server จากแอป LM Studio (Developer tab → Start Server), หรือใช้ CLI:

lms server start                        # Starts on port 1234
lms load qwen2.5-coder --context-length 32768

จากนั้นตั้งค่า Hermes:

hermes model
# Select "Custom endpoint (self-hosted / VLLM / etc.)"
# Enter URL: http://localhost:1234/v1
# Skip API key (LM Studio ไม่ต้องการ)
# Enter model name

:::caution Context length often defaults to 2048 LM Studio จะอ่าน context length จาก metadata ของ model แต่ GGUF models หลายตัวรายงานค่า default ที่ต่ำ (2048 หรือ 4096) ควรตั้งค่า context length อย่างชัดเจน ในการตั้งค่า model ของ LM Studio:

1. คลิกที่ไอคอนรูปเฟืองถัดจาก model picker
2. ตั้งค่า "Context Length" เป็นอย่างน้อย 16384 (แนะนำ 32768)
3. โหลด model ใหม่เพื่อให้การเปลี่ยนแปลงมีผล

หรือใช้ CLI: lms load model-name --context-length 32768

ในการตั้งค่า default แบบ persistent ต่อ model: ไปที่ My Models tab → ไอคอนรูปเฟืองบน model → ตั้งค่าขนาด context :::

Tool calling: รองรับตั้งแต่ LM Studio 0.3.6 Models ที่มีการฝึก tool-calling แบบ native (Qwen 2.5, Llama 3.x, Mistral, Hermes) จะถูกตรวจจับอัตโนมัติและแสดงพร้อม tool badge models อื่นๆ ใช้ generic fallback ที่อาจไม่น่าเชื่อถือเท่า

WSL2 Networking (Windows Users)

เนื่องจาก Hermes Agent ต้องการสภาพแวดล้อมแบบ Unix, ผู้ใช้ Windows จึงต้องรันมันภายใน WSL2 หาก model server ของคุณ (Ollama, LM Studio, etc.) รันอยู่บน Windows host, คุณจำเป็นต้องเชื่อมช่องว่างเครือข่าย - WSL2 ใช้ virtual network adapter ที่มี subnet ของตัวเอง ดังนั้น localhost ภายใน WSL2 จะหมายถึง Linux VM, ไม่ใช่ Windows host

:::tip Both in WSL2? No problem. หาก model server ของคุณรันอยู่ภายใน WSL2 ด้วย (พบบ่อยสำหรับ vLLM, SGLang, และ llama-server), localhost จะทำงานได้ตามปกติ - พวกมันแชร์ network namespace เดียวกัน ข้ามส่วนนี้ไปได้เลย :::

Option 1: Mirrored Networking Mode (Recommended)

มีให้ใช้บน Windows 11 22H2+, mirrored mode ทำให้ localhost ทำงานได้สองทิศทางระหว่าง Windows และ WSL2 - เป็นวิธีแก้ไขที่ง่ายที่สุด

1. สร้างหรือแก้ไข %USERPROFILE%\.wslconfig (เช่น C:\Users\YourName\.wslconfig):

   [wsl2]
   networkingMode=mirrored

2. รีสตาร์ท WSL จาก PowerShell:

   wsl --shutdown

3. เปิด terminal WSL2 ของคุณใหม่ localhost ตอนนี้จะเข้าถึงบริการของ Windows ได้:

   curl http://localhost:11434/v1/models   # Ollama บน Windows - ใช้งานได้

:::note Hyper-V Firewall บน Windows 11 build บางตัว, firewall ของ Hyper-V จะบล็อก mirrored connections โดยค่า default หาก localhost ยังไม่ทำงานหลังจากเปิด mirrored mode, ให้รันคำสั่งนี้ใน Admin PowerShell:

Set-NetFirewallHyperVVMSetting -Name '{40E0AC32-46A5-438A-A0B2-2B479E8F2E90}' -DefaultInboundAction Allow

:::

Option 2: Use the Windows Host IP (Windows 10 / older builds)

หากคุณไม่สามารถใช้ mirrored mode ได้, ให้หา Windows host IP จากภายใน WSL2 และใช้ IP นั้นแทน localhost:

# Get the Windows host IP (the default gateway of WSL2's virtual network)
ip route show | grep -i default | awk '{ print $3 }'
# ตัวอย่าง output: 172.29.192.1

ใช้ IP นั้นใน config Hermes ของคุณ:

model:
  default: qwen2.5-coder:32b
  provider: custom
  base_url: http://172.29.192.1:11434/v1   # Windows host IP, ไม่ใช่ localhost

:::tip Dynamic helper Host IP สามารถเปลี่ยนได้เมื่อ WSL2 restart คุณสามารถดึงมันแบบ dynamic ใน shell ของคุณ:

export WSL_HOST=$(ip route show | grep -i default | awk '{ print $3 }')
echo "Windows host at: $WSL_HOST"
curl http://$WSL_HOST:11434/v1/models   # Test Ollama

หรือใช้ mDNS name ของเครื่องคุณ (ต้องติดตั้ง libnss-mdns ใน WSL2):

sudo apt install libnss-mdns
curl http://$(hostname).local:11434/v1/models

:::

Server Bind Address (Required for NAT Mode)

หากคุณใช้ Option 2 (NAT mode ด้วย host IP), model server บน Windows ต้องยอมรับการเชื่อมต่อจากภายนอก 127.0.0.1 โดยค่า default, server ส่วนใหญ่จะฟังแค่บน localhost - การเชื่อมต่อ WSL2 ใน NAT mode มาจาก virtual subnet ที่แตกต่างกันและจะถูกปฏิเสธ ใน mirrored mode, localhost จะแมปโดยตรง ทำให้การ binding 127.0.0.1 default ทำงานได้ดี

Ollama on Windows (detailed): Ollama รันเป็น Windows service. ในการตั้งค่า OLLAMA_HOST:

1. เปิด System Properties → Environment Variables
2. เพิ่ม System variable ใหม่: OLLAMA_HOST = 0.0.0.0
3. รีสตาร์ท Ollama service (หรือ reboot)

Windows Firewall

Windows Firewall ถือว่า WSL2 เป็น network แยก (ทั้งใน NAT และ mirrored mode) หากการเชื่อมต่อยังล้มเหลวหลังจากขั้นตอนข้างต้น, ให้เพิ่ม firewall rule สำหรับ port ของ model server ของคุณ:

# รันใน Admin PowerShell - แทนที่ PORT ด้วย port ของ server ของคุณ
New-NetFirewallRule -DisplayName "Allow WSL2 to Model Server" -Direction Inbound -Action Allow -Protocol TCP -LocalPort 11434

Common ports: Ollama 11434, vLLM 8000, SGLang 30000, llama-server 8080, LM Studio 1234.

Quick Verification

จากภายใน WSL2, ทดสอบว่าคุณสามารถเข้าถึง model server ของคุณได้:

# แทนที่ URL ด้วย address และ port ของ server ของคุณ
curl http://localhost:11434/v1/models          # Mirrored mode
curl http://172.29.192.1:11434/v1/models       # NAT mode (ใช้ host IP จริงของคุณ)

หากคุณได้รับ JSON response ที่แสดงรายการ models ของคุณ, คุณก็พร้อมแล้ว ใช้ URL เดียวกันนั้นเป็น base_url ใน config Hermes ของคุณ

Troubleshooting Local Models

ปัญหาเหล่านี้ส่งผลกับ ทุก local inference servers เมื่อใช้กับ Hermes

"Connection refused" จาก WSL2 ไปยัง model server ที่โฮสต์บน Windows

หากคุณรัน Hermes ภายใน WSL2 และ model server ของคุณอยู่บน Windows host, http://localhost:<port> จะไม่ทำงานใน default NAT networking mode ของ WSL2 ดูที่ WSL2 Networking ด้านบนเพื่อดูวิธีแก้ไข

Tool calls ปรากฏเป็น text แทนการทำงาน

model output สิ่งที่คล้ายกับ {"name": "web_search", "arguments": {...}} เป็น message แทนการเรียกใช้ tool จริงๆ

สาเหตุ: server ของคุณไม่ได้เปิดใช้งาน tool calling, หรือ model ไม่รองรับมันผ่าน tool calling implementation ของ server

Model ดูเหมือนจะลืม context หรือให้คำตอบที่ไม่สอดคล้องกัน

สาเหตุ: Context window มีขนาดเล็กเกินไป เมื่อการสนทนาเกินขีดจำกัด context, server ส่วนใหญ่จะ drop messages เก่าๆ โดยเงียบๆ system prompt + tool schemas ของ Hermes เพียงอย่างเดียวสามารถใช้ 4k–8k tokens ได้

Diagnosis:

# ตรวจสอบว่า Hermes คิดว่า context คืออะไร
# ดูที่บรรทัด startup: "Context limit: X tokens"

# ตรวจสอบ context จริงของ server ของคุณ
# Ollama: ollama ps (คอลัมน์ CONTEXT)
# llama.cpp: curl http://localhost:8080/props | jq '.default_generation_settings.n_ctx'
# vLLM: ตรวจสอบ --max-model-len ใน startup args

Fix: ตั้งค่า context เป็นอย่างน้อย 32,768 tokens สำหรับการใช้งาน agent ดูส่วนของ server แต่ละตัวด้านบนสำหรับ flag ที่เฉพาะเจาะจง

"Context limit: 2048 tokens" ตอน startup

Hermes ตรวจจับ context length จาก endpoint /v1/models ของ server ของคุณ หาก server รายงานค่าต่ำ (หรือไม่รายงานเลย), Hermes จะใช้ขีดจำกัดที่ model ประกาศ ซึ่งอาจผิดพลาด

Fix: ตั้งค่าอย่างชัดเจนใน config.yaml:

model:
  default: your-model
  provider: custom
  base_url: http://localhost:11434/v1
  context_length: 32768

Responses get cut off mid-sentence

Possible causes:

1. Low output cap (max_tokens) บน server - SGLang default เป็น 128 tokens ต่อ response. ตั้งค่า --default-max-tokens บน server หรือกำหนดค่า model.max_tokens ใน config.yaml ของ Hermes หมายเหตุ: max_tokens ควบคุมความยาว response เท่านั้น - มันไม่เกี่ยวข้องกับว่าประวัติการสนทนาของคุณสามารถยาวได้แค่ไหน (นั่นคือ context_length)
2. Context exhaustion - model เติมเต็ม context window ของมันแล้ว เพิ่ม model.context_length หรือเปิดใช้งาน context compression ใน Hermes

LiteLLM Proxy — Multi-Provider Gateway

LiteLLM คือ proxy ที่รองรับ OpenAI-compatible ที่รวม 100+ LLM providers ไว้เบื้องหลัง API เดียว เหมาะสำหรับ: การสลับระหว่าง providers โดยไม่ต้องเปลี่ยน config, load balancing, fallback chains, budget controls

# Install and start
pip install "litellm[proxy]"
litellm --model anthropic/claude-sonnet-4 --port 4000

# Or with a config file for multiple models:
litellm --config litellm_config.yaml --port 4000

จากนั้นตั้งค่า Hermes ด้วย hermes model → Custom endpoint → http://localhost:4000/v1

ตัวอย่าง litellm_config.yaml พร้อม fallback:

model_list:
  - model_name: "best"
    litellm_params:
      model: anthropic/claude-sonnet-4
      api_key: sk-ant-...
  - model_name: "best"
    litellm_params:
      model: openai/gpt-4o
      api_key: sk-...
router_settings:
  routing_strategy: "latency-based-routing"

ClawRouter — Cost-Optimized Routing

ClawRouter โดย BlockRunAI เป็น local routing proxy ที่ auto-select models ตามความซับซ้อนของ query มันจำแนก requests ใน 14 dimensions และ route ไปยัง model ที่ถูกที่สุดที่สามารถจัดการงานนั้นได้ การชำระเงินทำผ่าน USDC cryptocurrency (ไม่มี API keys)

# Install and start
npx @blockrun/clawrouter    # Starts on port 8402

จากนั้นตั้งค่า Hermes ด้วย hermes model → Custom endpoint → http://localhost:8402/v1 → model name blockrun/auto

Routing profiles:

:::note ClawRouter ต้องการ wallet ที่มี USDC บน Base หรือ Solana สำหรับการชำระเงิน ทุก requests จะ route ผ่าน backend API ของ BlockRun รัน npx @blockrun/clawrouter doctor เพื่อตรวจสอบสถานะ wallet :::

Other Compatible Providers

บริการใดๆ ที่มี OpenAI-compatible API ก็ใช้งานได้ ตัวเลือกยอดนิยมบางส่วน:

ตั้งค่าตัวใดตัวหนึ่งเหล่านี้ด้วย hermes model → Custom endpoint, หรือใน config.yaml:

model:
  default: meta-llama/Llama-3.1-70B-Instruct-Turbo
  provider: custom
  base_url: https://api.together.xyz/v1
  api_key: your-together-key

Context Length Detection

:::note Two settings, easy to confuse context_length คือ total context window - งบประมาณรวมสำหรับ input และ output tokens (เช่น 200,000 สำหรับ Claude Opus 4.6). Hermes ใช้สิ่งนี้เพื่อตัดสินใจว่าจะบีบ history เมื่อใด และเพื่อตรวจสอบ API requests

model.max_tokens คือ output cap - จำนวน tokens สูงสุดที่ model อาจสร้างได้ใน single response มันไม่มีความเกี่ยวข้องกับว่าประวัติการสนทนาของคุณสามารถยาวได้แค่ไหน ชื่อมาตรฐานของอุตสาหกรรม max_tokens เป็นแหล่งที่มาของความสับสนทั่วไป; API ดั้งเดิมของ Anthropic ได้เปลี่ยนชื่อเป็น max_output_tokens เพื่อความชัดเจน

ตั้งค่า context_length เมื่อ auto-detection ได้ขนาด window ผิดพลาด ตั้งค่า model.max_tokens เฉพาะเมื่อคุณต้องการจำกัดว่า individual responses จะยาวแค่ไหน :::

Hermes ใช้ multi-source resolution chain เพื่อตรวจจับ context window ที่ถูกต้องสำหรับ model และ provider ของคุณ:

1. Config override — model.context_length ใน config.yaml (ลำดับความสำคัญสูงสุด)
2. Custom provider per-model — custom_providers[].models.<id>.context_length
3. Persistent cache — ค่าที่ค้นพบก่อนหน้า (คงอยู่แม้จะมีการรีสตาร์ท)
4. Endpoint /models — เรียกใช้ API ของ server ของคุณ (local/custom endpoints)
5. Anthropic /v1/models — เรียกใช้ API ของ Anthropic สำหรับ max_input_tokens (สำหรับผู้ใช้ API-key เท่านั้น)
6. OpenRouter API — metadata model แบบ live จาก OpenRouter
7. Nous Portal — suffix-matches Nous model IDs กับ OpenRouter metadata
8. models.dev — registry ที่ดูแลโดย community พร้อม context length เฉพาะ provider สำหรับ 3800+ models ใน 100+ providers
9. Fallback defaults — รูปแบบ model family ทั่วไป (default 128K)

สำหรับส่วนใหญ่แล้วสิ่งนี้จะใช้งานได้ทันที ระบบนี้รับรู้ provider - model ตัวเดียวกันอาจมีขีดจำกัด context ที่แตกต่างกันขึ้นอยู่กับว่าใครเป็นผู้ให้บริการ (เช่น claude-opus-4.6 คือ 1M บน Anthropic direct แต่ 128K บน GitHub Copilot)

ในการตั้งค่า context length อย่างชัดเจน, ให้เพิ่ม context_length ใน model config ของคุณ:

model:
  default: "qwen3.5:9b"
  base_url: "http://localhost:8080/v1"
  context_length: 131072  # tokens

สำหรับ custom endpoints, คุณยังสามารถตั้งค่า context length ต่อ model ได้:

custom_providers:
  - name: "My Local LLM"
    base_url: "http://localhost:11434/v1"
    models:
      qwen3.5:27b:
        context_length: 32768
      deepseek-r1:70b:
        context_length: 65536

hermes model จะแจ้งให้ทราบถึง context length เมื่อตั้งค่า custom endpoint ปล่อยว่างไว้สำหรับการตรวจจับอัตโนมัติ

:::tip When to set this manually

• คุณกำลังใช้ Ollama ด้วย custom num_ctx ที่ต่ำกว่าค่าสูงสุดของ model
• คุณต้องการจำกัด context ให้ต่ำกว่าค่าสูงสุดของ model (เช่น 8k บน model 128k เพื่อประหยัด VRAM)
• คุณกำลังรันอยู่หลัง proxy ที่ไม่ได้ expose /v1/models :::

Named Custom Providers

หากคุณทำงานกับ custom endpoints หลายตัว (เช่น local dev server และ remote GPU server), คุณสามารถกำหนดพวกมันเป็น named custom providers ใน config.yaml:

custom_providers:
  - name: local
    base_url: http://localhost:8080/v1
    # api_key ถูกละไว้ - Hermes ใช้ "no-key-required" สำหรับ local servers ที่ไม่ต้องใช้ key
  - name: work
    base_url: https://gpu-server.internal.corp/v1
    key_env: CORP_API_KEY
    api_mode: chat_completions   # optional, auto-detected from URL
  - name: anthropic-proxy
    base_url: https://proxy.example.com/anthropic
    key_env: ANTHROPIC_PROXY_KEY
    api_mode: anthropic_messages  # สำหรับ Anthropic-compatible proxies

สลับระหว่างพวกมันกลาง session ด้วยไวยากรณ์แบบสามส่วน:

/model custom:local:qwen-2.5       # ใช้ endpoint "local" กับ qwen-2.5
/model custom:work:llama3-70b      # ใช้ endpoint "work" กับ llama3-70b
/model custom:anthropic-proxy:claude-sonnet-4  # ใช้ proxy

คุณยังสามารถเลือก named custom providers จากเมนู interactive hermes model ได้

Choosing the Right Setup

:::tip คุณสามารถสลับระหว่าง providers ได้ตลอดเวลาด้วย hermes model - ไม่จำเป็นต้อง restart ประวัติการสนทนา, memory, และ skills ของคุณจะคงอยู่ไม่ว่าคุณจะใช้ provider ใด :::

API Keys ทางเลือก

การโฮสต์ Firecrawl ด้วยตนเอง (Self-Hosting Firecrawl)

โดยค่าเริ่มต้น Hermes จะใช้ Firecrawl cloud API สำหรับการค้นหาเว็บและการทำ scraping หากคุณต้องการรัน Firecrawl ในเครื่องของคุณเอง คุณสามารถกำหนดให้ Hermes ชี้ไปยัง instance ที่โฮสต์ด้วยตนเองได้ ดูคำแนะนำการตั้งค่าที่สมบูรณ์ได้ที่ SELF_HOST.md ของ Firecrawl

สิ่งที่คุณได้รับ: ไม่ต้องใช้ API key, ไม่มี rate limits, ไม่มีค่าใช้จ่ายต่อหน้า, และความเป็นเจ้าของข้อมูลเต็มรูปแบบ

สิ่งที่คุณสูญเสีย: เวอร์ชัน cloud ใช้ "Fire-engine" ที่เป็นกรรมสิทธิ์ของ Firecrawl สำหรับการหลีกเลี่ยง anti-bot ขั้นสูง (Cloudflare, CAPTCHAs, IP rotation) ส่วน self-hosted ใช้ fetch + Playwright แบบพื้นฐาน ดังนั้นเว็บไซต์ที่ได้รับการป้องกันบางแห่งอาจล้มเหลว การค้นหาจะใช้ DuckDuckGo แทน Google

การตั้งค่า:

1. Clone และเริ่ม stack Docker ของ Firecrawl (5 containers: API, Playwright, Redis, RabbitMQ, PostgreSQL - ต้องการ RAM ประมาณ 4-8 GB):

   git clone https://github.com/firecrawl/firecrawl
   cd firecrawl
   # In .env, set: USE_DB_AUTHENTICATION=false, HOST=0.0.0.0, PORT=3002
   docker compose up -d

2. กำหนดให้ Hermes ชี้ไปยัง instance ของคุณ (ไม่ต้องใช้ API key):

   hermes config set FIRECRAWL_API_URL http://localhost:3002

คุณยังสามารถตั้งค่าทั้ง FIRECRAWL_API_KEY และ FIRECRAWL_API_URL ได้ หาก instance ที่โฮสต์ด้วยตนเองของคุณเปิดใช้งานการตรวจสอบสิทธิ์

การกำหนดเส้นทางผู้ให้บริการ OpenRouter Provider Routing

เมื่อใช้ OpenRouter คุณสามารถควบคุมวิธีการส่งคำขอไปยังผู้ให้บริการต่างๆ ได้ เพิ่มส่วน provider_routing ในไฟล์ ~/.hermes/config.yaml:

provider_routing:
  sort: "throughput"          # "price" (default), "throughput", หรือ "latency"
  # only: ["anthropic"]      # ใช้เฉพาะผู้ให้บริการเหล่านี้
  # ignore: ["deepinfra"]    # ข้ามผู้ให้บริการเหล่านี้
  # order: ["anthropic", "google"]  # ลองใช้ผู้ให้บริการตามลำดับนี้
  # require_parameters: true  # ใช้เฉพาะผู้ให้บริการที่รองรับพารามิเตอร์คำขอทั้งหมด
  # data_collection: "deny"   # ยกเว้นผู้ให้บริการที่อาจจัดเก็บ/ฝึกฝนข้อมูล

ทางลัด (Shortcuts): เพิ่ม :nitro ต่อท้ายชื่อโมเดลใดๆ เพื่อจัดเรียงตาม throughput (เช่น anthropic/claude-sonnet-4:nitro) หรือเพิ่ม :floor เพื่อจัดเรียงตามราคา

Fallback Model

กำหนดค่า provider:model สำรองที่ Hermes จะสลับไปใช้อัตโนมัติเมื่อโมเดลหลักของคุณล้มเหลว (rate limits, server errors, auth failures):

fallback_model:
  provider: openrouter                    # required
  model: anthropic/claude-sonnet-4        # required
  # base_url: http://localhost:8000/v1    # optional, สำหรับ custom endpoints
  # key_env: MY_CUSTOM_KEY               # optional, ชื่อ env var สำหรับ API key ของ custom endpoint

เมื่อเปิดใช้งาน fallback จะสลับโมเดลและ provider กลางเซสชันโดยไม่ทำให้การสนทนาของคุณขาดตอน มันจะทำงาน อย่างมากที่สุดครั้งเดียว ต่อเซสชัน

Supported providers: openrouter, nous, openai-codex, copilot, copilot-acp, anthropic, gemini, google-gemini-cli, qwen-oauth, huggingface, zai, kimi-coding, kimi-coding-cn, minimax, minimax-cn, deepseek, nvidia, xai, ollama-cloud, bedrock, ai-gateway, opencode-zen, opencode-go, kilocode, xiaomi, arcee, alibaba, custom.

:::tip Fallback ถูกกำหนดค่าผ่าน config.yaml เท่านั้น - ไม่มี environment variables สำหรับส่วนนี้ หากต้องการรายละเอียดทั้งหมดเกี่ยวกับเมื่อไหร่ที่มันจะทำงาน, supported providers, และวิธีการโต้ตอบกับ auxiliary tasks และ delegation โปรดดูที่ Fallback Providers. :::

ดูเพิ่มเติม (See Also)

• Configuration - การตั้งค่าทั่วไป (โครงสร้างไดเรกทอรี, config precedence, terminal backends, memory, compression, และอื่นๆ)
• Environment Variables - รายการอ้างอิงที่สมบูรณ์ของ environment variables ทั้งหมด

📄 user-guide/skills/google-workspace.md

sidebar_position: 2 sidebar_label: "Google Workspace" title: "Google Workspace - Gmail, Calendar, Drive, Sheets & Docs" description: "Send email, manage calendar events, search Drive, read/write Sheets, and access Docs - all through OAuth2-authenticated Google APIs"

ทักษะ Google Workspace

การรวมระบบ Gmail, Calendar, Drive, Contacts, Sheets, และ Docs สำหรับ Hermes ใช้ OAuth2 พร้อมการรีเฟรชโทเคนอัตโนมัติ หากมี จะใช้ Google Workspace CLI (gws) เพื่อให้ครอบคลุมมากขึ้น และหากไม่สามารถใช้ได้ จะย้อนกลับไปใช้ Google's Python client libraries

Skill path: skills/productivity/google-workspace/

การตั้งค่า (Setup)

การตั้งค่านี้ขับเคลื่อนโดย Agent อย่างสมบูรณ์ - เพียงแค่สั่งให้ Hermes ตั้งค่า Google Workspace และระบบจะนำคุณไปทีละขั้นตอน ขั้นตอนการทำงานมีดังนี้:

1. สร้าง Google Cloud project และเปิดใช้งาน APIs ที่จำเป็น (Gmail, Calendar, Drive, Sheets, Docs, People)
2. สร้าง OAuth 2.0 credentials (ประเภท Desktop app) และดาวน์โหลด client secret JSON
3. การอนุญาต (Authorize) - Hermes จะสร้าง auth URL คุณทำการอนุมัติในเบราว์เซอร์ จากนั้นคัดลอก redirect URL กลับมา
4. เสร็จสิ้น (Done) - โทเคนจะรีเฟรชอัตโนมัติจากจุดนี้เป็นต้นไป

:::tip ผู้ใช้ที่ต้องการเฉพาะอีเมล หากคุณต้องการเฉพาะอีเมล (ไม่รวม Calendar/Drive/Sheets) ให้ใช้ทักษะ himalaya แทน - ซึ่งทำงานด้วย Gmail App Password และใช้เวลาเพียง 2 นาที ไม่จำเป็นต้องมี Google Cloud project :::

Gmail

การค้นหา (Searching)

$GAPI gmail search "is:unread" --max 10
$GAPI gmail search "from:[email protected] newer_than:1d"
$GAPI gmail search "has:attachment filename:pdf newer_than:7d"

ส่งคืน JSON ที่มี id, from, subject, date, snippet, และ labels สำหรับแต่ละข้อความ

การอ่าน (Reading)

$GAPI gmail get MESSAGE_ID

ส่งคืนเนื้อหาข้อความทั้งหมดเป็นรูปแบบข้อความ (ให้ความสำคัญกับ plain text และจะย้อนกลับไปใช้ HTML)

การส่ง (Sending)

# Basic send
$GAPI gmail send --to [email protected] --subject "Hello" --body "Message text"

# HTML email
$GAPI gmail send --to [email protected] --subject "Report" \
  --body "<h1>Q4 Results</h1><p>Details here</p>" --html

# Custom From header (display name + email)
$GAPI gmail send --to [email protected] --subject "Hello" \
  --from '"Research Agent" <[email protected]>' --body "Message text"

# With CC
$GAPI gmail send --to [email protected] --cc "[email protected]" \
  --subject "Update" --body "FYI"

ส่วนหัว From แบบกำหนดเอง (Custom From Header)

Flag --from ช่วยให้คุณปรับแต่งชื่อที่แสดงของผู้ส่งในอีเมลขาออก ซึ่งมีประโยชน์เมื่อ Agent หลายตัวใช้บัญชี Gmail เดียวกัน แต่คุณต้องการให้ผู้รับเห็นชื่อที่แตกต่างกัน:

# Agent 1
$GAPI gmail send --to [email protected] --subject "Research Summary" \
  --from '"Research Agent" <[email protected]>' --body "..."

# Agent 2  
$GAPI gmail send --to [email protected] --subject "Code Review" \
  --from '"Code Assistant" <[email protected]>' --body "..."

วิธีการทำงาน: ค่า --from จะถูกตั้งเป็น RFC 5322 From header บน MIME message. Gmail อนุญาตให้ปรับแต่งชื่อที่แสดงสำหรับที่อยู่อีเมลที่ได้รับการยืนยันของคุณโดยไม่ต้องมีการตั้งค่าเพิ่มเติม ผู้รับจะเห็นชื่อที่แสดงแบบกำหนดเอง (เช่น "Research Agent") ในขณะที่ที่อยู่อีเมลยังคงเดิม

สำคัญ: หากคุณใช้ ที่อยู่อีเมลที่แตกต่างกัน ใน --from (ไม่ใช่บัญชีที่ได้รับการยืนยัน) Gmail กำหนดให้ที่อยู่นั้นต้องถูกตั้งค่าเป็น Send As alias ใน Gmail Settings → Accounts → Send mail as.

Flag --from ใช้ได้ทั้งในการ send และ reply:

$GAPI gmail reply MESSAGE_ID \
  --from '"Support Bot" <[email protected]>' --body "We're on it"

การตอบกลับ (Replying)

$GAPI gmail reply MESSAGE_ID --body "Thanks, that works for me."

ทำการเชื่อมโยงการตอบกลับโดยอัตโนมัติ (ตั้งค่า In-Reply-To และ References headers) และใช้ thread ID ของข้อความต้นฉบับ

Labels

# List all labels
$GAPI gmail labels

# Add/remove labels
$GAPI gmail modify MESSAGE_ID --add-labels LABEL_ID
$GAPI gmail modify MESSAGE_ID --remove-labels UNREAD

Calendar

# List events (defaults to next 7 days)
$GAPI calendar list
$GAPI calendar list --start 2026-03-01T00:00:00Z --end 2026-03-07T23:59:59Z

# Create event (timezone required)
$GAPI calendar create --summary "Team Standup" \
  --start 2026-03-01T10:00:00-07:00 --end 2026-03-01T10:30:00-07:00

# With location and attendees
$GAPI calendar create --summary "Lunch" \
  --start 2026-03-01T12:00:00Z --end 2026-03-01T13:00:00Z \
  --location "Cafe" --attendees "[email protected],[email protected]"

# Delete event
$GAPI calendar delete EVENT_ID

:::warning เวลาของ Calendar ต้อง มีการระบุ timezone offset (เช่น -07:00) หรือใช้ UTC (Z) วันที่และเวลาเปล่าๆ เช่น 2026-03-01T10:00:00 นั้นคลุมเครือและจะถูกถือว่าเป็น UTC :::

Drive

$GAPI drive search "quarterly report" --max 10
$GAPI drive search "mimeType='application/pdf'" --raw-query --max 5

Sheets

# Read a range
$GAPI sheets get SHEET_ID "Sheet1!A1:D10"

# Write to a range
$GAPI sheets update SHEET_ID "Sheet1!A1:B2" --values '[["Name","Score"],["Alice","95"]]'

# Append rows
$GAPI sheets append SHEET_ID "Sheet1!A:C" --values '[["new","row","data"]]'

Docs

$GAPI docs get DOC_ID

ส่งคืนชื่อเอกสารและเนื้อหาข้อความทั้งหมด

Contacts

$GAPI contacts list --max 20

รูปแบบผลลัพธ์ (Output Format)

คำสั่งทั้งหมดส่งคืน JSON ฟิลด์หลักสำหรับแต่ละบริการ:

การแก้ไขปัญหา (Troubleshooting)