From cf8f986bec43fe998ce15443783fb26ea63759bc Mon Sep 17 00:00:00 2001 From: Janik von Rotz Date: Wed, 18 Feb 2026 11:53:09 +0100 Subject: [PATCH] vault backup: 2026-02-18 11:53:09 --- Input - Arbeit mit LLMs.md | 71 ++++++++++++++++++++++++-------------- 1 file changed, 45 insertions(+), 26 deletions(-) diff --git a/Input - Arbeit mit LLMs.md b/Input - Arbeit mit LLMs.md index a10a34bb..90fd5f2d 100644 --- a/Input - Arbeit mit LLMs.md +++ b/Input - Arbeit mit LLMs.md @@ -3,33 +3,43 @@ section: training kind: tutorial --- -Umgang mit LLMs und lokales Tooling. +Umgang mit LLMs und Tooling in der Entwicklungsumgebung. ## Über -> Was ist ein LLM? +> Was ist ein Large Language Model (LLM)? +Ein LLM ist ein computerlinguistisches Wahrscheinlichkeitsmodell. Es stellt Wort- und Satzfolge-Beziehungen aus einer Vielzahl von Textdokumenten und einem rechenintensivem Trainingsprozess her. + + Als selbstanpassende Sprachmodelle können sie verschiedene Aufgaben in natürlicher Sprache ausführen, z. B. das Zusammenfassen, Übersetzen, Vorhersagen und Erstellen von Texten. > Wast ist ein LLM Chat? +Über einen Dialog kann mit einem LLM gechattet werden. Der Chat stellt ein Kontext-Fenster und den Chat-Verlauf in jeder Interaktion zur Verfügung. Das LLM kann so vergangene Antworten bei neuen Fragen berücksichtigen und sich Dinge "merken". > Was ist ein LLM Agent? +Ein LLM Agent kann im Vergleich zum Chat mit zusätzlichen Werkzeugen interagieren. Die sog. Tools erlauben es beispielsweise Daten vom Computer zu lesen und zu schreiben. + +Mit einem Kommandozeilenwerkzeug wird der LLM Agent angesteuert. In einem Chat teilt der Anwender die Aufgabe mit und der Agent arbeitet solange bis die Aufgabe erfüllt ist. + +> Was ist ein LLM Provider? + +Ein LLM Provider stellt Modelle mit API als Dienstleistung bereit. Über die API können Anwendungen wie Chats oder Kommandozeilenwerkzeuge auf verschiedene Sprachmodelle zugreifen. > Was ist ein LLM Router? +Der LLM Router verbindet die APIs von verschiedenen LLM Provider. Damit kann der Anwender über eine einheitliche API auf verschiedene Sprachmodelle und Provider zugreifen. -> Wo werden diese Dinge gehostet? +## Hosting -LLMs werden als Dienst von Service-Providern wie Infomaniak angeboten. Die Liste von Providern ist sehr umfassend: +> Wo werden diese Dinge gehostet/angeboten? -Den LLM Chat hosten wir selber. +LLM APIs werden als Dienstleistung von Service-Providern wie Infomaniak angeboten. Die Liste von Providern ist sehr umfassend: -Ein LLM Agent kann lokal auf der Kommandozeile ausgeführt werden. +Den LLM Chat hosten wir selber. Der LLM Agent wird lokal auf der Kommandozeile ausgeführt. Und als LLM Router nutzen wir ein externes Angebot. -Der LLM Router wir extern gehostet. - -> Nach welchen Kriterien wählen wir die LLM-Dienstleister aus? +> Nach welchen Kriterien wählen wir die LLM-Dienstleistungen aus? - **LLM**: Verfügbar als Open Weights und im besten Fall Open Source. - **LLM Provider**: Provider ist in der Schweiz oder in Europa. Chat-Protokolle werden nicht als Trainingsdaten verwendet. @@ -37,50 +47,59 @@ Der LLM Router wir extern gehostet. - **LLM Agent**: Ist eine Open Source Software und kann lokal ausgeführt werden. - **LLM Router**: Verbindet europäische LLM Provider. Transparentes Pricing. -## LLM +## LLM auswählen > Wie unterscheiden sich LLMs voneinander? +Es gibt Modelle, die aufgrund der Trainingsdaten auf bestimmte Anwendungsfälle spezialisiert sind. Beispielsweise wurde [StarCoder](https://huggingface.co/bigcode/starcoder) mehrheitlich mit Computer-Code trainiert und eignet sich deshalb gut für Programmier-Aufgaben. -> Was ist ein "thinking" LLM? +> Wie sehe ich ob ein Modell über Tools verfügt? -## LLM Chat +Auf Listen von Models kann nach diesem Attribut gefiltert werden: + +> Was ist ein "Thinking" LLM? + +Modelle mit der Fähigkeit "Reasoning" oder "Thinking" absolvieren einen internen Prozess bevor sie die Antwort liefern. +## Chat starten > Wie kann ich mit einem LLM chatten? -Du kannst entweder über eine Weboberfläche [[LLM Chat Mint System]] oder über die Kommandozeile kommunizieren. +Du kannst entweder über die Weboberfläche [[LLM Chat Mint System]] oder über die Kommandozeile mit `llm` kommunizieren. + +> Was ist der Nutzen? + +LLM Chats sind eine gute Hilfe bei der Verarbeitung von unstrukturierten Dokumenten oder können gute Hinweise auf Fehlermeldungen liefern. > Wie richte ich die Kommandozeile ein? -Du kannst das [[llm]] cli mit den [[Mint System Dotfiles]] installieren. Beim einrichten wird automatisch eine Verbindung mit den Infomaniak AI Tools gemacht. +Du kannst das [[llm]] cli mit den [[Mint System Dotfiles]] installieren. Beim Einrichten wird automatisch eine Verbindung mit den Infomaniak AI Tools gemacht. -## LLM Router +## Agent ausführen -> Wie wähle ich ein passendes Modell aus? +> Wie sieht der Coding Workflow aus? -Siehe [[Cortecs]]. - -## LLM Agent - -### Lokales Setup +Details zum Workflow sind hier beschrieben: > Wie kann ich OpenCode lokal installieren? +Du kannst das OpenCode cli mit den [[Mint System Dotfiles]] installieren. > Mit welchem Provider soll ich OpenCode verbinden? -### Build and Plan +Verwende den Anbieter _Cortecs_, den API-Key findest du in KeePass. > Was ist der Plan und Build Modus? +Im Plan-Modus macht der Agent keine Änderungen an Dateien und formuliert einen Plan um die Aufgabe zu lösen. Im Build-Modus nutzt der Agent die verfügbaren Tools um die Aufgabe zu erledigen. -### AGENTS.md +> Was ist das `AGENTS.md`? -> Was ist das Agents.md? - -## Prompt +Das `AGENTS.md` ist eine Readme-Datei, die sich an den Agenten richtet. Damit wird dem Agenten den benötigten Kontext sowie Erklärungen zum Projekt geliefert. Das Dokument soll die Arbeit des Agenten vereinfachen und Fehler vermeiden. > Wie erstelle ich einen Prompt? +Wenn das Projekt über einen `prompts` Ordner verfügt, kannst du mit `task create-prompt "Titel des Prompts"` einen Prompt anlegen. Erweitere den Abschnitt _Task_ mit der Aufgabenbeschreibung. +> Wie führe ich einen Prompt aus? +Starte `opencode` im Terminal und gibt den Pfad zur Prompt-Datei ein. OpenCode sollte erkennen, dass es sich um eine Aufgabe handelt. \ No newline at end of file