KI lokal betreiben?

[Link]

Hey, hat jemand von euch schonmal eine KI selbst lokal auf seiner Hardware selbst betrieben? Kann man mit der KI dann wirklich alles machen ohne das sie jammert das es das nicht machen darf.

 

Natürlich braucht man die richtige Hardware. Laut KI mindestens eine RTS 3060 mit 12gb Ram, umso mehr umso besser. Vielleicht hat es ja schonmal jemand getestet und kann seine Erfahrungen hier einbringen.

[someperson]

Das kommt drauf an, welches modell bzw. LLM du benutzt. Einige haben keine Richtlinien auf Zensur, andere schon. Aber die unzensierten sind auf jeden Fall zu finden.

[Link]

Ok nehmen wir mal an ich nehme Llama-2-7b-chat da ich nicht vorhab mit eine 5090 zu kaufen, dann muss ich mir noch ein Model suchen welches keinerlei Zensur unterliegt? So richtig hab ich das ganze irgendwie noch nicht verstanden...