♥️ Wahnsinn: Hermes-Agent + Qwen offline betreiben 💣

[IQ137]

https://www.youtube.com/watch?v=Ne2UH682x9I

👌👌👌Alle Videoanzeigen entfernt von#GreenTuber 

https://play.google.com/store/apps/details?id=by.green.tuber

 

# [Guide] Hermes-Agent + Qwen komplett offline betreiben (Local AI Setup)

Hi Leute,

wer seine Daten nicht in die Cloud schicken will und einen persistenten, selbstlernenden AI-Agenten auf der eigenen Hardware laufen lassen möchte, für den ist die Kombination aus **Hermes-Agent** (von Nous Research) und **Qwen** aktuell die absolute Benchmark.

Da Hermes nativ hervorragend mit **Ollama** harmoniert, lässt sich das Ganze extrem unkompliziert und zu 100 % offline einrichten. Hier ist die Schritt-für-Schritt-Anleitung für euer Local-Setup.

---

### Voraussetzungen

* **Hardware:** Mindestens 16 GB RAM/VRAM empfohlen. Für Modelle wie Qwen 3.6 27B/35B solltet ihr eine potente GPU (z. B. NVIDIA RTX 4090/5090 oder entsprechende Mac-Hardware) am Start haben.
* **Ollama:** Muss vorab installiert sein.
* **Node.js / Python:** (Je nach eurer Hermes-Installationvariante, meistens reicht Node.js für das CLI/Desktop-Framework).

---

## Schritt 1: Lokales Qwen-Modell über Ollama laden

Bevor wir das Internet kappen, müssen wir das gewünschte Qwen-Modell über Ollama herunterladen. Qwen-Modelle sind extrem stark im Tool-Use und Reasoning, was für Agenten essenziell ist.

Öffnet euer Terminal und ladet das Modell eurer Wahl (Beispiel mit Qwen 3.6):

```bash
# Für kleinere/mittlere Systeme (sehr schnell):
ollama pull qwen3.6:14b

# Für High-End-Setups (Empfohlen für komplexe Agenten-Tasks):
ollama pull qwen3.6:32b

```

*(Hinweis: Alternativ funktioniert auch `ollama pull hermes3` hervorragend, falls ihr das modifizierte Llama-3-Modell von Nous Research nutzen wollt).*

---

## Schritt 2: Hermes-Agent installieren

Falls noch nicht geschehen, installiert den Hermes-Agenten über das Terminal:

```bash
npm install -g @nousresearch/hermes-agent

```

*(Oder klont das offizielle GitHub-Repository, falls ihr die Core-Dateien direkt bearbeiten wollt).*

---

## Schritt 3: Konfiguration auf Offline & Ollama umstellen

Damit Hermes nicht versucht, externe Cloud-APIs (wie OpenAI oder Anthropic) anzusteuern, passen wir die Konfigurationsdatei an.

1. Sucht die Datei `config.yaml` in eurem Hermes-Verzeichnis (meistens unter `~/.config/hermes-agent/config.yaml` oder im Installationsordner).
2. Öffnet sie mit einem Texteditor und passt die Parameter wie folgt an:

```yaml
model:
  provider: "ollama"
  name: "qwen3.6:32b"       # Exakter Name eures lokal installierten Ollama-Modells
  api_base: "http://localhost:11434"

# WICHTIG FÜR OFFLINE-BETRIEB:
features:
  cloud_sync: false         # Verhindert Cloud-Synchronisation der Memorys
  telemetry: false          # Deaktiviert das Senden von Nutzungsdaten
  update_check: false       # Blockiert automatische Online-Abfragen nach Updates

```

> ⚠️ **Wichtiger Hardware-Tipp:** Agenten-Workflows erfordern oft einen großen Kontext. Wenn ihr Ollama startet, stellt sicher, dass das Context-Window (z. B. über ein Modelfile oder die Config) auf mindestens **32k oder 64k** erhöht wird, damit der Agent sich an vergangene Schritte erinnert.

---

## Schritt 4: Lokale Zusatzfeatures einrichten (Optional)

Wenn ihr den Agenten komplett "Air-Gapped" (ohne Internetverbindung) für Spracheingabe (STT) oder Sprachausgabe (TTS) nutzen wollt, müsst ihr auch hierfür lokale Bibliotheken anweisen:

* **Lokales Whisper für Spracheingabe:**
```bash
pip install openai-whisper
whisper --model medium "test.mp3"  # Einmalig ausführen, um das Modell lokal zu cachen

```

* **Lokale Tools:** Vergewissert euch in der Config, dass keine Agenten-Skills aktiv sind, die standardmäßig Web-Suchen (wie Brave Search oder Google API) triggern wollen, es sei denn, ihr habt einen lokalen Such-Index geschaltet.

---

## Schritt 5: Starten und Testen

Startet euren Ollama-Server (falls er nicht im Hintergrund läuft) und führt Hermes aus:

```bash
hermes-agent start

```

Fragt den Agenten im Terminal oder im lokalen Web-UI etwas Lokales, wie z. B. *"Erstelle mir ein Python-Skript, das alle Dateien in meinem aktuellen Ordner auflistet"*.

Wenn er antwortet, ohne dass Netzwerk-Traffic nach außen geht: **Glückwunsch, euer autarker, privater KI-Agent läuft!**

---

*Habt ihr Probleme mit der Token-Generierungsgeschwindigkeit (t/s) bei den größeren Qwen-Modellen oder Fragen zu bestimmten Skill-Integrations? Schreibt es einfach hier....