Einleitung

Im Film wird erklärt, wie KI-Tests mithilfe eines Apple Mac mini (jetzt mit einem M4-Prozessor) durchführt. Er betont, dass Apples neuere M-Prozessoren KI-Software out of the box unterstützen – vorausgesetzt, die Hardware ist leistungsstark genug.

Hardware & Setup

Apple Mac mini mit M4-Prozessor:

• Verwendet wird ein Mac mini, der über einen M4 Pro bzw. Max Chip verfügt.
• Die Standardchips funktionieren zwar auch, sind aber langsamer als die leistungsstärkeren Varianten.

Arbeitsspeicher und externe Festplatten:

• 24 GB RAM können bei rechenintensiven KI-Anwendungen knapp werden.
• Eine externe Festplatte kann als zusätzlicher Speicher genutzt werden, insbesondere bei Investitionen ab etwa 1700 €.

Remote Desktop:

• Der Mac mini wird per Remote Desktop betrieben, was die Nutzung ohne direkt angeschlossene Hardware ermöglicht.

Software & Modelle

LM Studio:

• Zentrales Programm, das speziell für Mac verfügbar ist.
• Ermöglicht das Herunterladen, Testen und direkte Nutzen vorgefertigter KI-Modelle.

Hugging Face:

• Möglichkeit, Modelle einzeln herunterzuladen.
• Diverse Modelle für Textgenerierung, Videoerkennung und mehr.

Python-Beispiele:

• Begleitende Python-Codes erleichtern den Einstieg in die Nutzung.

Leistung & Modellevaluation

• Ein 1-Milliarden-Parameter (1b) Modell liefert schnelle, aber ungenaue Ergebnisse.
• Modelle ab 14 Milliarden Parametern sind präziser.
• Ein 1b Modell benötigt ca. 1,19 GB Speicher; 24 GB RAM werden bei einem 4-Bit-Modell mit 24 Milliarden Parametern verbraucht.
• LM Studio zeigt den Token-Verbrauch als Leistungsindikator an.

Mehrere Modelle auf einem Server

• Mehrere Modelle können simultan auf einem Server betrieben werden.
• Über definierte Endpunkte können verschiedene Modelle abgerufen und verglichen werden.
• Neben Llama-Modellen werden auch Modelle von Microsoft und Gemma vorgestellt, teils speziell für Programmieraufgaben optimiert.

Fazit

• Für intensive KI-Arbeiten lohnt sich die Investition in leistungsfähige Hardware wie den Mac mini mit Pro/Max Chip.
• Mit LM Studio und den verfügbaren Modellen lassen sich vielseitige KI-Anwendungen kostengünstig und flexibel umsetzen – ohne fortlaufende Kosten wie bei Diensten wie ChatGPT.

Erstellt von Günther Haslbeck