Eigene Daten in der KI lokal verwenden mit AnythingLLM und Ollama

#ChatGPT ist nur einer von vielen und kostet Geld. Nutzt doch KI einfach selbst auf eurem Rechner #lokal ohne Daten ins Internet zu senden. Das geht und das geht immer einfacher. Mit https://ollama.com/ zum Beispiel könnt ihr diverse Modelle einfach lokal nutzen.

Überblick

• Der Sprecher zeigt, wie man Olama nutzt, um lokal KI-Funktionen zu verwenden – ohne für ChatGPT bezahlen zu müssen.
• Ziel: Eine einfache, lokale KI-Anwendung auf dem eigenen Rechner einsetzen.

Installation und Einrichtung

• Download & Installation:
  • Besuche olama.com und lade das Programm herunter.
  • Nach der Installation erscheint das Programm nicht direkt, aber ein kleines Lama-Symbol ist in der Taskleiste (bei Windows) sichtbar.
• Konfiguration:
  • Öffne die Eingabeaufforderung und gib olama list ein, um den aktuellen Status anzuzeigen.
  • Zur Installation von Modellen:
    • Verwende olama run und olama pull gefolgt vom Modellnamen (z. B. „Lama 3“).

Nutzung der lokalen KI

• Starten der KI:
  • Mit dem Befehl olama run (hier wurde das Modell "fe3" genutzt, da es schneller ist) wird das Modell gestartet.
• Interaktion:
  • Der Sprecher testet die KI, indem er sie begrüßt ("Hallo, wie geht es dir?") und daraufhin eine Antwort erhält.
  • Die KI wird aufgefordert, ein einfaches PHP-Programm zu erstellen, das eine Datei einliest und ausgibt.
• Leistungshinweis:
  • Auf älteren Rechnern kann die Ausführung etwas langsamer sein.
  • Die Leistung entspricht in etwa der von ChatGPT in der Bezahlversion – allerdings ohne Bildgenerierung.

Abschluss

• Der Sprecher schließt das Video mit einem Aufruf zum Abonnieren, Liken und Kommentieren.
• Das Video dauert letztlich 2,5 Minuten, obwohl es ursprünglich für unter einer Minute geplant war.

ollama pull phi3

oder

ollama pull llama3

zum runterladen (auf der Webseite findest du weitere) und

ollama list

um sich die Modelle anzuzeigen die man hat und

ollama run phi3

um mit dem Modell zu chatten. #ollama #llama3 #phi3

So könnt ihr eure Daten nutzen: https://youtu.be/m6NEST76568

Fragen? Fragt mich einfach oder folgt mir auf LinkedIn: https://www.linkedin.com/in/guentherhaslbeck/