Lokales Sprachmodell
Ein Modell, das auf Ihrem Rechner bleibt
Vesper spricht wahlweise mit Ollama oder mit LM Studio — beide sind eigenständige Programme, die Sie selbst installieren, und beide laufen vollständig auf Ihrem eigenen Rechner. Die App verbindet sich über die lokale Adresse 127.0.0.1, niemals über das Internet, und die Antwort verlässt Ihren Rechner nie.
Ollama einrichten
Ollama ist ein Dienst mit einer HTTP-Schnittstelle. Er läuft im Hintergrund; Vesper findet ihn automatisch, sobald er gestartet ist.
- Herunterladen und installieren von ollama.com/download (macOS, Windows, Linux).
- In einem Terminal ein Modell laden:
ollama pull llama3.2 - Geladene Modelle ansehen:
ollama list - Ollama läuft danach als Dienst unter
127.0.0.1:11434— keine weitere Einstellung in Vesper nötig.
LM Studio einrichten
LM Studio ist eine Anwendung mit eigener Oberfläche und stellt eine OpenAI-kompatible Schnittstelle bereit.
- Herunterladen und installieren von lmstudio.ai.
- In der Modellsuche der Anwendung ein Modell im GGUF-Format herunterladen und laden.
- Im Bereich für den lokalen Server den Server starten.
- LM Studio stellt die Schnittstelle danach unter
127.0.0.1:1234bereit — Vesper spricht sie im OpenAI-kompatiblen Format an.
Welche Modelle laufen auf welcher Hardware
Was hier steht, ist absichtlich knapp: Wir haben noch keine eigene Messreihe über Geschwindigkeit und Arbeitsspeicherbedarf gefahren, und eine Zahl ohne eigene Messung würden wir nicht hinschreiben. Fest steht nur der allgemeine Zusammenhang — ein Modell mit mehr Parametern braucht mehr Arbeitsspeicher und antwortet auf derselben Hardware langsamer als ein kleineres. Wie schnell ein bestimmtes Modell auf Ihrem Rechner tatsächlich antwortet: nicht gemessen, probieren Sie es mit einem kleinen Modell zuerst.
| Modellfamilie | Verfügbar über | Geschwindigkeit auf Ihrer Hardware |
|---|---|---|
| Llama 3.2 | Ollama-Bibliothek, LM-Studio-Suche | nicht gemessen |
| Mistral | Ollama-Bibliothek, LM-Studio-Suche | nicht gemessen |
| Qwen 2.5 | Ollama-Bibliothek, LM-Studio-Suche | nicht gemessen |
| Gemma 2 | Ollama-Bibliothek, LM-Studio-Suche | nicht gemessen |
| Phi-3 | Ollama-Bibliothek, LM-Studio-Suche | nicht gemessen |
Was ohne Modell passiert
Vesper bleibt ohne installiertes Modell vollständig nutzbar. Was fehlt, sind ausschließlich die frei formulierten Textvorschläge.
Arbeitet ohne Modell
- Das Kanban-Brett mit allen drei Kartenarten
- Die Bewerbungs-Pipeline samt Trichter-Auswertung
- Der Anzeigen-Ausleser — reine Textarbeit ohne Sprachmodell
- Nachfass-Erinnerungen und fällige Termine
- Die vier Textbausteine ohne Modell: Nachfassen, Antwort auf eine Absage, Terminbestätigung, Absage an den Arbeitgeber
Braucht ein Modell
- Ein Anschreiben aus den Angaben einer Karte vorschlagen
- Ein Vorstellungsgespräch mit Fragen vorbereiten
- Eine lange Notiz zu Stichpunkten verdichten
Ohne verbundenes Modell zeigt die App an diesen Stellen einen Hinweis statt eines leeren Knopfes.
Ein Vorschlag, kein fertiger Text
Ein Modell mit einigen Milliarden Parametern, wie es auf einem Telefon oder Laptop läuft, schreibt flüssiges Deutsch — und erfindet dabei Berufsjahre, Projekte und Namen, wenn ihm eine Angabe fehlt. Jeder Text, der an einen Empfänger gehen könnte, trägt deshalb denselben ersten Hinweis: ganz lesen, bevor er abgeschickt wird. Vesper gibt dem Modell dabei ausschließlich Angaben mit, die auf der Karte stehen, und weist es ausdrücklich an, nichts zu ergänzen — verhindern kann das eine Anweisung an ein kleines Modell trotzdem nicht zuverlässig.