IQ137 Posted July 4 Posted July 4 Um einen KI-Chatbot wie **Deepseek R1** oder Googles **Gemma 4** lokal auf Ihrem Rechner laufen zu lassen, nutzen Sie am einfachsten benutzerfreundliche Oberflächen wie **LM Studio** oder **Ollama**, die Modelle von **Hugging Face** automatisch verwalten. Entscheidend ist dabei nicht das Training (Deep Learning), sondern das **Inferenz-Running**: Sie laden ein bereits trainiertes Modell herunter, das je nach Größe spezifische **VRAM-Anforderungen** (Grafikspeicher) stellt. Für den Einstieg reicht oft ein moderner PC mit 16 GB RAM oder eine Grafikkarte mit mindestens 6–8 GB VRAM. ## Voraussetzungen Bevor Sie beginnen, stellen Sie sicher, dass Ihre Hardware die Mindestanforderungen erfüllt. Die Leistung hängt primär vom verfügbaren Arbeitsspeicher (RAM) und Grafikspeicher (VRAM) ab. * **Prozessor (CPU):** Ein moderner Mehrkernprozessor (Intel i5/i7/i9 oder AMD Ryzen 5/7/9) ist ausreichend, wobei die Antwortgeschwindigkeit ohne dedizierte Grafikkarte langsamer ist. * **Grafikkarte (GPU) – Empfohlen:** Eine NVIDIA-Grafikkarte (RTX 3060 oder höher mit mindestens 12 GB VRAM) beschleunigt die Berechnung massiv. Auch Apple Silicon Macs (M1/M2/M3) mit Unified Memory (mindestens 16 GB) sind sehr gut geeignet. AMD-GPUs werden ebenfalls unterstützt, erfordern aber oft spezifischere Konfigurationen. * **Arbeitsspeicher (RAM):** Mindestens 16 GB System-RAM für kleinere Modelle; 32 GB oder mehr sind für leistungsstärkere Varianten ratsam. * **Speicherplatz:** Je nach Modellgröße benötigen Sie zwischen 2 GB und über 50 GB freien Festplattenspeicher (SSD empfohlen). * **Software:** Ein aktuelles Betriebssystem (Windows 10/11, macOS oder Linux). ## Step-by-step instructions Hier ist der einfachste Weg, ein Open-Source-Modell (wie sie auf Hugging Face gehostet werden) lokal zu betreiben, ohne komplexe Programmierkenntnisse zu benötigen. **Methode 1: Nutzung von LM Studio (Empfohlen für Einsteiger)** LM Studio fungiert als grafische Oberfläche, die den Zugriff auf Modelle von Hugging Face vereinfacht und die technische Installation abstrahiert. * Laden Sie die Software **LM Studio** von der offiziellen Website (lmstudio.ai) für Ihr Betriebssystem herunter und installieren Sie sie. * Starten Sie das Programm und klicken Sie im linken Menü auf das Lupen-Symbol ("Discover"), um die integrierte Suche zu öffnen. * Geben Sie in das Suchfeld den Namen eines Modells ein, das auf Hugging Face verfügbar ist, beispielsweise `Gemma 4` (von Google) oder `Deepseek R1`. * Wählen Sie auf der linken Seite eine Modell-Variante aus, die zu Ihrer Hardware passt (LM Studio zeigt oft eine grüne Leiste an, wenn das Modell auf Ihrem System laufen wird). Achten Sie auf die Dateigröße und den empfohlenen VRAM. * Klicken Sie auf "Download", um das Modell auf Ihren lokalen Rechner zu speichern. * Wechseln Sie nach dem Download zum Chat-Symbol (Sprechblase) im linken Menü. * Wählen Sie oben in der Mitte das soeben heruntergeladene Modell aus der Liste aus. * Geben Sie Ihre Nachricht in das Chat-Feld ein und drücken Sie Enter; die KI antwortet nun vollständig lokal auf Ihrem Gerät. **Methode 2: Nutzung von Ollama (Für Fortgeschrittene & Terminal-Nutzer)** Ollama ist eine effiziente Lösung, die Modelle direkt verwaltet und oft über eine Web-Oberfläche oder Kommandozeile genutzt wird. * Besuchen Sie die Website von **Ollama** (ollama.com) und laden Sie die Installationsdatei für Ihr Betriebssystem herunter. * Installieren Sie Ollama und starten Sie das Programm (unter Windows/macOS läuft es meist im Hintergrund; unter Linux folgen Sie den Terminal-Installationsbefehlen). * Öffnen Sie Ihr Terminal (Eingabeaufforderung oder PowerShell unter Windows, Terminal auf Mac/Linux). * Geben Sie den Befehl zum Herunterladen und Starten eines Modells ein, z. B. `ollama run deepseek-r1` oder `ollama run gemma4` (falls verfügbar). Ollama lädt das Modell automatisch von den Servern (ähnlich wie Hugging Face Repositories) herunter. * Sobald der Download abgeschlossen ist, können Sie direkt im Terminal mit der KI chatten. * Optional: Installieren Sie eine "WebUI" (wie Open WebUI via Docker), um eine chatgpt-ähnliche Oberfläche im Browser zu erhalten, die mit Ollama im Hintergrund kommuniziert. ### Hinweis zu Deep Learning und Hugging Face Es ist wichtig zu unterscheiden: Sie betreiben hier **kein Deep Learning** im Sinne von Training. Das "Deep Learning" (das eigentliche Lernen der Muster) hat bereits stattgefunden, als die Firmen (Google, DeepSeek, Meta) die Modelle mit enormem Rechenaufwand trainiert haben. **Hugging Face** dient lediglich als Plattform (ein "Hub"), auf der diese fertigen, trainierten Modelle kostenlos zum Download bereitgestellt werden. Wenn Sie das Modell lokal ausführen, nutzen Sie nur die **Inferenz**: Das Modell wendet sein bereits gelerntes Wissen auf Ihre Eingaben an, ohne sich dabei weiterzuentwickeln oder neue Daten dauerhaft zu speichern. 1 Quote
IQ137 Posted July 8 Author Posted July 8 Auf Hugging Face gibt es eine riesige Open-Source-Community, die genau solche Modelle bereitstellt. Da die Begriffe „zensiert“ oder „unzensiert“ 1. Die richtigen Suchbegriffe auf Hugging Face Wenn du oben in der Suchleiste von Hugging Face nach Modellen suchst, nutze diese Begriffe: abliterated (Sehr zu empfehlen): Das ist die modernste Methode. Entwickler entfernen hierbei die mathematischen „Vektoren“ im Modell, die für das Verweigern von Antworten zuständig sind (z. B. Llama-3-8B-Instruct-abliterated). Das Modell behält seine volle Intelligenz, verweigert aber nichts mehr. uncensored: Der klassische Begriff. Oft findest du ältere oder modifizierte Modelle (z. B. Dolphin oder WizardLM-Uncensored), die ohne Sicherheits-Feintuning (RLHF) trainiert wurden. heretic / derestricted: Neuere Bezeichnungen für abliterierte oder uneingeschränkte Versionen von Top-Modellen wie Gemma 3 oder Qwen. 2. Bekannte Modell-Reihen (Beispiele) Falls du nach konkreten Namen suchst, die für ihre Offenheit bekannt sind: Dolphin-Reihe (z. B. von Cognitive Computations oder Eric Hartford): Sehr populäre, bewusst unzensierte Versionen von Basis-Modellen (Mistral, Llama, Qwen). Modelle von "HauhauCS" oder "DavidAU": Bekannte Profil-Einträge auf Hugging Face, die regelmäßig die neuesten Modelle (wie Qwen oder Gemma) in unzensierten, aggressiv de-alignierten Varianten hochladen. 3. Wie du sie erkennst (Das Suffix) Achte beim Namen des Modells auf das Ende. Wenn du das Modell lokal auf deinem PC (z. B. mit Tools wie LM Studio, Ollama oder AnythingLLM) laufen lassen willst, lade dir immer die GGUF-Variante herunter. Beispiel für die Suche: > DeepSeek-R1-Distill-Llama-8B-Abliterated-GGUF (Das wäre eine unzensierte Version von DeepSeeks 8B Modell, optimiert für den Heim-PC). Ein wichtiger Tipp für die Nutzung: Unzensierte Modelle neigen dazu, genau das zu tun, was du ihnen sagst. Sie filtern aber auch keine Falschinformationen oder extremen Unsinn heraus. Du musst dein System-Prompt (die Anweisung vor dem Chat) präzise formulieren, um die besten Ergebnisse zu erzielen. 2 Quote
IQ137 Posted July 13 Author Posted July 13 Wer Interesse an GPU Beschleuniger oder Hardware hat kann sich gerne melden. Ich kann die aktuellen Tesla A100 GPUs ab 16 -80GB Ram organisieren zu kleines Preis 0 Quote
Mahakala Posted July 13 Posted July 13 Krass, genau damit befasse ich mich aktuell, von daher nice, dass du den Thread hier gemacht hast! Hatte mit einem DGX Spark geliebäugelt, der mir allerdings aktuell zu großer finanzieller Aufwand ist leider....Der hat halt den Vorteil, dass der kaum Strom verbraucht. 0 Quote
IQ137 Posted July 13 Author Posted July 13 18 minutes ago, Mahakala said: Krass, genau damit befasse ich mich aktuell, von daher nice, dass du den Thread hier gemacht hast! Hatte mit einem DGX Spark geliebäugelt, der mir allerdings aktuell zu großer finanzieller Aufwand ist leider....Der hat halt den Vorteil, dass der kaum Strom verbraucht. Was hast du vor? 😂 Hallo Mini PCs gehen preislich bei ähnlicher Performance ab 1.5k Wenn du die was mit der Tesla bastelst kommst du ähnlich hin. Wobei die Hardware Preise aktuell durch die Decke gehe und kein vernünftiges Unternehmen in eigene Hardware investiert. Leasing sehr kurze Laufzeit und Cloud monatlich kündbar ist am sinnvollsten. Wir machen extreme Sprünge Monat für Monat. Warte mal ab wie sich die CPU Leistung dank Huawei neuer Architektur verändert. Zudem bringen die Chinesen gerade ihr erstes Uefi auf den Markt.... Da kommt noch was 0 Quote
Mahakala Posted July 13 Posted July 13 Kannst du mir Beispiele nennen zu mini pcs mit ähnlicher Leistung ab 1.5K? Würdest du also aktuell eher sagen noch etwas abwarten bis Huawei am Start ist? Ich will möglichst keinen fetten eigenen Monster Pc mit 1Kw Plus und lautem Lüfter usw, sondern etwas Kleineres. Ich will einfach selber KI Forschung betreiben und mit eigenen Regeln, Grundsätzen usw experimentieren in bestimmte Richtungen.... 0 Quote
IQ137 Posted July 13 Author Posted July 13 GMKtec Evo-X2 oder Minisforum MS-S1 Max mal in Betracht gezogen? 0 Quote
IQ137 Posted July 13 Author Posted July 13 Definitiv warten min 6 Monate du kannst dir auch stündliche Zugänge für wenig Geld Mieten. 0 Quote
Mahakala Posted July 13 Posted July 13 Ja, auf evo-x2 bin ich bereits aufmerksam geworden, danke für den Hinweis! Aber vielleicht wäre die Variante Terra + RTX 3090 besser wegen mehr Flexibilität. Muss mich da nochmal tiefer mit befassen glaube ich 😉 Für paar Stunden mieten käme für mich nicht in Frage, dafür ist der Bereich meiner Forschung und Anwendung zu speziell und die Art meiner Arbeit deutlich zu tief 0 Quote
IQ137 Posted July 13 Author Posted July 13 Ich baue meine Ki mit 50 x 1.3ghz dualcore und onboard RAM. Du solltest dich vorher mit den Möglichkeiten auseinander setzen. Deepseek hilft beim erstellen von solchen Architekturen extrem... 0 Quote
IQ137 Posted July 13 Author Posted July 13 Ich würde aktuell wenn ich noch einmal Anfang auf oktacore setzen aus Smartphones/ TV boxen all Winner etc 0 Quote
Recommended Posts