Lokale Installation eines LLM für die Zusammenfassung deutscher und englischer Texte

Ich empfehle, einen Linux-Rechner vollkommen neu aufzusetzen.

Für diesen Zweck empfehle ich Artix Linux, (Linux ohne systemd): artix-plasma-openrc-20260420-x86_64.iso

sha256sum: 1f8fa3e1b085626ee5c97fe23f9b22cbfd4849bca182506ce3123e8646e9bf5e

Auf dem 1 TB Datenträger sind drei der vier BIOS-Partitionen bereits angelegt. Der automatische Installer kommt damit nicht zurecht. Also auf der Kommenadozeile eine weitere Partition angelegt und diese mit „ext4“ formatiert.

Zur Sicherheit mache ich einmal ein extra „partprobe /dev/sda“.

Dann wieder auf „System installieren“. Der Rechner hat einen „Touchscreen“ (berührungsempfindlichen Bildschirm), da geht das teilweise deutlich zügiger.

Allerdings hat es auch nicht funktoniert, man konnte die Partition „sda4“ nicht auswählen. Aber man konnte eine „ersetzen“, also die „sda4“ entsprechend ausgewählt, dann ließ sich „Artix“ installieren.

Nach dem ersten Start kam allerdings nur der Mauszeiger (?). Also ein schwarzer Bildschirm mit Mauszeiger.

In die Kommandozeile – und wieder das alte „nouveau“-Problem wird unter „dmesg“ sichtbar.

Also erst einmal die Paketdatenbanken aktualisiert

  • pacman -Syy

Und updaten mit

  • pacman -Syu

Es sieht schon spektakulär aus, wenn sieben Downloads gleichzeitig in der Kommandozeile angezeigt werden. Insgesamt werden 556 Pakete aktualisiert.

Allerdings startete danach die graphische Oberfläche überhaupt nicht mehr.

Lösung:

  • pacman -S nvidia-utils

„reboot“ – und dann ging es.

Noch ein Weltraum-Hintergrundbild installiert, das Theme in „Artix“ geändert, Programme nachinstalliert („screen“ – Leertaste funktioniert nicht direkt nach dem Start, aber die Eingabetaste)

Es gibt keinen AUR-Helper, also

  • pacman -S git base-devel
  • git clone https://aur.archlinux.org/paru.git
  • als User: makepkg -si
  • per Hand vorher: pacman -S cargo

Dann geht es. Ich kompiliere ungern als „root“. Und „sudo bash“ geht nicht, nur direkt „su“, darauf ist „makepkg“ aber nicht ausgelegt. Offenbar ein Konzeptionsfehler.

Dann installieren, als root:

  • pacman -U -paru-2.1.0.2-x86_64.pkg.tar.zst

Dann, als einfacher Benutzer:

  • paru -S ollama-bin

Wieder die .zst-Datei installieren

Als User (nicht als „root“) mit

  • ollama serve

Das Modell starten.

Mit

  • ollama pull qwen …

das Modell laden (4,7 GB).

Man kann es sich mit

  • ollama list

anzeigen lassen.

Dann weiter:

  • paru -S open-webui

Ich habe das zweite ausgewählt, „open-webui-desktop-bin“

Vorher noch:

  • pacman -S electron
  • pacman -S c-ares
  • pacman -S jemallov
  • pacman -S uv

Dann das Paket installieren:

  • pacman -U open-webui/open-webui-0.11-0.1-any.pkg.tar.zst

Wo der genaue Pfad ist, lasse ich mir in einem anderen „screen“ mit „ps aux | grep paru“ anzeigen.

Der Server starten mit:

  • open-webui serve

Dann im Browser eingeben:

  • http://localhost:8080

Netzwerkkabel abstecken und: Lokale KI.

„Loslegen mit Open WEBUI“.

Wenn das Modell zu langsam ist, ein einfacheres laden:

  • ollama pull ‚llama3.2:3b“

Das hat nur ein GB.

Und lokal laufen lassen mit:

  • OLLAMA_NO_GPU=1 ollama run qwen2.5:7b… „Dreht sich die Sonne um die Erde oder anders herum?“

Es ist trotzdem langsam. Man kann:

  • die benutzten CPU-Kerne erhöhen
  • Den Kontext auf 2048 verringern.

Alles in /etc/ollama.conf

Manchmal scheint „open-webui“ etwas nachzuladen. Dann hilft

  • open-webui serve –offline

Aber auch hier versucht er Updates nachzuladen und der „fetch“ schlägt fehl.

Als user nachinstallieren:

  • paru -S open-webui

„Artix“ scheint mir leider noch einen größeren Fehler zu haben – und zwar kommt – bei der lokalen graphischen Oberfläche – manchmal, nachdem der Screensaver aktiv war, die Fehlermeldung „Das Konto ist wegen 3 fehlgeschlagener Anmelde-Versuche gesperrt. (noch 10 Minuten zum Entsperren)“. So etwas darf in meinen Augen überhaupt nicht passieren. Es gab gar keinen Anmelde-Versuch. Man kann den Benutzer wechseln, dann kommt man wieder zu einem früheren Anmelde-Menu. Denn der zweite Teil des Fehlers ist: Das Herunterzählen funktioniert nicht.

Wenn der Benutzer von „open-webui“ nicht mehr bekannt ist, kann man die Datenbank suchen und mit

  • sqlite3 webui.de
  • .tables
  • select id, username, email from user;

sich den Benutzer anzeigen lassen.

Mit

  • .quit

kommt man aus sqlite3 wieder heraus.

Damit es sauber läuft, mußte ich noch in /var/lib/open-webui die Zugriffsrechte sauber setzen.

Und auch bei der „chroma.sqlite3“. In meinen Augen ist python unglaublich schwer zu debuggen. Warum die Sprache so weit gekommen ist, kann ich nicht ganz nachvollziehen.

Zusammengefaßt: Ganz trivial ist es nicht…

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert