spine/llmrouter
0
0
Fork 0
Code Issues 1 Pull Requests Actions Packages Projects Releases Wiki Activity

llmrouter: kira-tts als deizo/kira-tts aufnehmen

Browse Source 
Upstream kira-tts (10.6.42.111:8002, KIRA_TTS_KEY) und Alias deizo/kira-tts,
dazu das Recht in allen 12 Schluesseln ergaenzt, die deizo/kira-stt schon
hatten.

Anders als LiteLLM reicht der Router den Audio-Stream durch: Nicht-JSON-
Antworten gehen als Body weiter, statt ausgepuffert zu werden. Gemessen ueber
den Router: erster Ton nach 22 ms gestreamt gegen 5,70 s ungestreamt. Der
LiteLLM-Weg puffert und kommt auf 9,17 s (bekannter Upstream-Bug
BerriAI/litellm#14891).

Inka nutzt darueber jetzt STT und TTS; das LLM blieb vorerst auf dem alten
Weg (Tool-Schema-Grammatik, s. 42i/intern#1201).

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
This commit is contained in:
elton
2026-09-06 08:28:19 +02:00
committed by andreas
co-authored by Claude Opus 5
parent dcdfb1bc9e
commit d07bef5e10
2 changed files with 23 additions and 2 deletions
Download Patch File Download Diff File Expand all files Collapse all files
config.json
+10 -1
View File
@@ -1,5 +1,5 @@
{
"_doku": "Versionierte Quelle des llmrouter. Secrets kommen NUR aus der Umgebung: OPENROUTER_API_KEY, MISTRAL_API_KEY, KIRA_REASONING_KEY, KIRA_STT_KEY, ARTIFICIALANALYSIS_API_KEY, ADMIN_KEY; Client-Keys aus KEYS_FILE (token -> name), Rechte aus key-acls.json (name -> aliasse). Port 4010 (4001 im LXC von nginx belegt); Caddy zeigt llm.lan auf 4010, LiteLLM bleibt auf 4000 und bekommt alles, was hier unbekannt ist (fallback). MODEL_BLOCKLIST zeigt auf die Sperrliste (Host: /srv/llmrouter/model-blocklist.json).",
"_doku": "Versionierte Quelle des llmrouter. Secrets kommen NUR aus der Umgebung: OPENROUTER_API_KEY, MISTRAL_API_KEY, KIRA_REASONING_KEY, KIRA_STT_KEY, KIRA_TTS_KEY, ARTIFICIALANALYSIS_API_KEY, ADMIN_KEY; Client-Keys aus KEYS_FILE (token -> name), Rechte aus key-acls.json (name -> aliasse). Port 4010 (4001 im LXC von nginx belegt); Caddy zeigt llm.lan auf 4010, LiteLLM bleibt auf 4000 und bekommt alles, was hier unbekannt ist (fallback). MODEL_BLOCKLIST zeigt auf die Sperrliste (Host: /srv/llmrouter/model-blocklist.json).",
"port": 4010,
"logDir": "./log",
"refreshHours": 12,
@@ -32,6 +32,10 @@
"base": "http://10.6.42.111:8001/v1",
"keyEnv": "KIRA_STT_KEY"
},
"kira-tts": {
"base": "http://10.6.42.111:8002/v1",
"keyEnv": "KIRA_TTS_KEY"
},
"litellm": {
"base": "http://127.0.0.1:4000/v1",
"clientKey": true
@@ -93,6 +97,11 @@
"upstream": "kira-stt",
"model": "kira-stt"
},
"deizo/kira-tts": {
"art": "fest",
"upstream": "kira-tts",
"model": "kira-tts"
},
"42i/marvin-tts": {
"art": "fest",
"upstream": "voice",
key-acls.json
+13 -1
View File
@@ -5,6 +5,7 @@
"42i/marvin-2609:medium",
"deizo/kira-reasoning",
"deizo/kira-stt",
"deizo/kira-tts",
"42i/marvin-stt",
"42i/marvin-tts",
"role/engineer",
@@ -14,6 +15,7 @@
"42i/marvin-2609:medium",
"deizo/kira-reasoning",
"deizo/kira-stt",
"deizo/kira-tts",
"42i/marvin-stt",
"42i/marvin-tts",
"role/ops",
@@ -23,6 +25,7 @@
"42i/marvin-2609:medium",
"deizo/kira-reasoning",
"deizo/kira-stt",
"deizo/kira-tts",
"42i/marvin-stt",
"42i/marvin-tts",
"role/assistant",
@@ -32,6 +35,7 @@
"42i/marvin-2609:medium",
"deizo/kira-reasoning",
"deizo/kira-stt",
"deizo/kira-tts",
"42i/marvin-stt",
"42i/marvin-tts",
"role/service"
@@ -45,6 +49,7 @@
"42i/marvin-2609-core:medium",
"deizo/kira-reasoning",
"deizo/kira-stt",
"deizo/kira-tts",
"42i/marvin-stt",
"42i/marvin-stt-turbo",
"42i/marvin-tts",
@@ -59,6 +64,7 @@
"42i/marvin-2609:medium",
"deizo/kira-reasoning",
"deizo/kira-stt",
"deizo/kira-tts",
"role/privacy"
],
"persona-aria": [
@@ -67,6 +73,7 @@
"42i/marvin-2609:medium",
"deizo/kira-reasoning",
"deizo/kira-stt",
"deizo/kira-tts",
"role/architect"
],
"persona-inka": [
@@ -76,6 +83,7 @@
"42i/marvin-2609:medium",
"deizo/kira-reasoning",
"deizo/kira-stt",
"deizo/kira-tts",
"42i/marvin-stt",
"42i/marvin-stt-turbo",
"42i/marvin-tts",
@@ -88,6 +96,7 @@
"42i/marvin-2609:medium",
"deizo/kira-reasoning",
"deizo/kira-stt",
"deizo/kira-tts",
"42i/marvin-stt",
"42i/marvin-stt-turbo",
"42i/marvin-tts",
@@ -99,6 +108,7 @@
"42i/marvin-2609:medium",
"deizo/kira-reasoning",
"deizo/kira-stt",
"deizo/kira-tts",
"42i/marvin-embedding",
"42i/marvin-embedding-turbo",
"42i/marvin-stt",
@@ -113,6 +123,7 @@
"42i/marvin-2609:medium",
"deizo/kira-reasoning",
"deizo/kira-stt",
"deizo/kira-tts",
"role/xo",
"role/*"
],
@@ -120,7 +131,8 @@
"42i/marvin-2609:low",
"42i/marvin-2609:medium",
"deizo/kira-reasoning",
"deizo/kira-stt"
"deizo/kira-stt",
"deizo/kira-tts"
]
}
}