KI lokal betreiben?

[Link]

Hey, hat jemand von euch schonmal eine KI selbst lokal auf seiner Hardware selbst betrieben? Kann man mit der KI dann wirklich alles machen ohne das sie jammert das es das nicht machen darf.

 

Natürlich braucht man die richtige Hardware. Laut KI mindestens eine RTS 3060 mit 12gb Ram, umso mehr umso besser. Vielleicht hat es ja schonmal jemand getestet und kann seine Erfahrungen hier einbringen.

[someperson]

Das kommt drauf an, welches modell bzw. LLM du benutzt. Einige haben keine Richtlinien auf Zensur, andere schon. Aber die unzensierten sind auf jeden Fall zu finden.

[Link]

Ok nehmen wir mal an ich nehme Llama-2-7b-chat da ich nicht vorhab mit eine 5090 zu kaufen, dann muss ich mir noch ein Model suchen welches keinerlei Zensur unterliegt? So richtig hab ich das ganze irgendwie noch nicht verstanden...

[someperson]

1 hour ago, Link said:

Ok nehmen wir mal an ich nehme Llama-2-7b-chat da ich nicht vorhab mit eine 5090 zu kaufen, dann muss ich mir noch ein Model suchen welches keinerlei Zensur unterliegt? So richtig hab ich das ganze irgendwie noch nicht verstanden...

Genau. Du lädst dir ja ein Modell runter, dass dann auf deiner Grafikkarte läuft. Und auf den verschiedenen Websites und Torrenrlisten, auf denen du dir diese Modelle runterlädst, musst du nach welchen suchen, die keiner Zensur unterliegen.