Przejdź do treści
GGUFSZTUCZNA INTELIGENCJA
Künstliche IntelligenzModelle, ihr Betrieb und ihre Grenzen

GGUF

GPT-Generated Unified Format

Ein Modellformat, bei dem die Gewichte quantisiert sind – also mit geringerer Genauigkeit gespeichert, beispielsweise mit vier statt sechzehn Bit. Das Modell wird mehrfach kleiner, die Qualität sinkt leicht.

Warum das wichtig ist

Er entscheidet, ob ein Modell auf eigenem Hardware lauffähig ist. Der gleiche Bildgenerator wiegt 34 GB in voller Genauigkeit und 11,5 GB im GGUF-Format – die erste Version passt nicht auf einen normalen Server, die zweite schon.

Was ohne das fehlt

Ohne Quantisierung erfordert die Arbeit mit großen Modellen Grafikkarten im Wert von zehntausenden Złoty oder die Miete von Rechenleistung in der Cloud mit der Übermittlung eigener Daten dorthin.

Wann es verwendet wird

Beim Ausführen von Modellen auf eigenen Servern und Computern. Kennzeichnungen wie Q4_K_M oder Q5_K_M im Dateinamen zeigen an, wie stark das Modell komprimiert wurde.

Wie wir es einsetzen

Q4_K_M ist ein vernünftiger Kompromiss – die Datei ist viermal kleiner, wobei der Qualitätsverlust in redaktionellen Materialien nicht sichtbar ist. Unter Q4 wird der Verlust an Qualität bei Gesichtsdetails und kleiner Schrift sichtbar.

Zahlen, die man kennen sollte

Künstliche Intelligenz in Zahlen

26%

Prognozowany udział w pełni elektrycznych pojazdów (BEV, bez hybryd) w europejskim parku samochodowym do 2035 roku, w porównaniu z 4% w 2025 r.

BCG2035Europa

88%

Meta podaje, że ponad 88% z 137 000 usuniętych reklam oszukańczych w Polsce zostało wykrytych automatycznie przed zgłoszeniem.

Meta09/2026Polen

2 500 000 000 000 USD

Prognozowane światowe wydatki na AI w 2026 roku.

Gartner2026weltweit

Zahlen aus demselben Feld — gesammelt in unserer Marktdatenbank.

Verwandte Begriffe