KI lokal betreiben?

[Link]

Hey, hat jemand von euch schonmal eine KI selbst lokal auf seiner Hardware selbst betrieben? Kann man mit der KI dann wirklich alles machen ohne das sie jammert das es das nicht machen darf.

 

Natürlich braucht man die richtige Hardware. Laut KI mindestens eine RTS 3060 mit 12gb Ram, umso mehr umso besser. Vielleicht hat es ja schonmal jemand getestet und kann seine Erfahrungen hier einbringen.

[someperson]

Das kommt drauf an, welches modell bzw. LLM du benutzt. Einige haben keine Richtlinien auf Zensur, andere schon. Aber die unzensierten sind auf jeden Fall zu finden.

[Link]

Ok nehmen wir mal an ich nehme Llama-2-7b-chat da ich nicht vorhab mit eine 5090 zu kaufen, dann muss ich mir noch ein Model suchen welches keinerlei Zensur unterliegt? So richtig hab ich das ganze irgendwie noch nicht verstanden...

[someperson]

1 hour ago, Link said:

Ok nehmen wir mal an ich nehme Llama-2-7b-chat da ich nicht vorhab mit eine 5090 zu kaufen, dann muss ich mir noch ein Model suchen welches keinerlei Zensur unterliegt? So richtig hab ich das ganze irgendwie noch nicht verstanden...

Genau. Du lädst dir ja ein Modell runter, dass dann auf deiner Grafikkarte läuft. Und auf den verschiedenen Websites und Torrenrlisten, auf denen du dir diese Modelle runterlädst, musst du nach welchen suchen, die keiner Zensur unterliegen.

[moby007]

Kommt jemand an geklaute Grafikkarten ran?

[Siphillis07]

On 21.9.2026 at 10:22, someperson said:

Genau. Du lädst dir ja ein Modell runter, dass dann auf deiner Grafikkarte läuft. Und auf den verschiedenen Websites und Torrenrlisten, auf denen du dir diese Modelle runterlädst, musst du nach welchen suchen, die keiner Zensur unterliegen.

kannst du websites empfehlen wo man die modelle runterladen kann ?

[Kleinstein]

ComfyUI mit ComfyUI-GGUF ->  Qwen-Image-2.1-Uncensored-GGUF von abenzerps. ( Für Bilder ) . Geht auch auf dem Smartphone, aber da muss man einen Server mieten oder besitzen. Also nicht mehr Lokal 

 

[g1tex]

On 21.9.2026 at 06:53, someperson said:

Das kommt drauf an, welches modell bzw. LLM du benutzt. Einige haben keine Richtlinien auf Zensur, andere schon. Aber die unzensierten sind auf jeden Fall zu finden.

hast einen link ?

 

5 hours ago, Kleinstein said:

ComfyUI mit ComfyUI-GGUF ->  Qwen-Image-2.1-Uncensored-GGUF von abenzerps. ( Für Bilder ) . Geht auch auf dem Smartphone, aber da muss man einen Server mieten oder besitzen. Also nicht mehr Lokal 

 

meinst einen vps z.b ?

[Kleinstein]

4 hours ago, g1tex said:

 

meinst einen vps z.b ?

Ja,  man kann KI auch auf einem klassischen VPS betreiben, allerdings gibt es dabei eine sehr große Einschränkung, die fehlende GPU. Runpod wäre z.b eine GPU cloud