Warum ich meine KI lokal betreibe, wo es zählt: ein Jahr Agentensystem im eigenen Betrieb

Vor gut einem Jahr habe ich angefangen, meinen Betrieb Schritt für Schritt an ein Agentensystem zu übergeben: Post sichten, Termine ordnen, Belege ablegen, Texte vorbereiten. Nicht als Experiment, sondern als Alltag. Und von Anfang an mit einer Entscheidung, die alles andere geprägt hat: lokal, wo es zählt, Cloud, wo sie stark ist. Nicht „alles lokal”. Das wäre keine ehrliche Beschreibung dessen, was bei mir tatsächlich läuft.

Warum lokal, wo es zählt?

Der erste Grund ist banal: Es sind meine Daten. Kundenmails, Angebote, Buchhaltung. All das möchte ich nicht ungeprüft in ein Rechenzentrum schicken, nur damit mir jemand eine Zusammenfassung schreibt. Für einen Kleinbetrieb ist das keine Prinzipienreiterei, sondern eine praktische Frage, bei der auch die DSGVO mitzudenken ist (keine Rechtsberatung, nur gelebte Praxis). Bei mir laufen deshalb Stimme, Kamera-Präsenz und vor allem das Gedächtnis meines Agentensystems lokal. Was mein System über meinen Betrieb lernt, bleibt bei mir.

Der zweite Grund: Kontrolle. Ein lokales Modell verändert sich nicht über Nacht. Wenn etwas funktioniert, funktioniert es morgen noch genauso.

Wo Cloud stark ist

Ehrlich dazu gehört auch: Für wirklich schweres Denken, also komplexe Auswertungen, längere Texte, mehrstufige Planung, reicht ein lokales Modell auf normaler Bürohardware nicht an die großen Cloud-Modelle heran. Diesen Teil übernimmt bei mir bewusst und dosiert die Cloud. Nicht aus Bequemlichkeit, sondern weil es dort schlicht besser funktioniert.

Wie ich dahin gekommen bin

Angefangen habe ich klein, mit sogenannten Nanobot-Agenten. Kleine, leichte Agenten, die man sich schnell zusammenbaut und die für den Einstieg großartig sind: Man versteht, wie ein Agent denkt, wie er Werkzeuge aufruft und wo er stolpert. Ehrlich gesagt sind sie eher Spielzeug. Aber ein lehrreiches. Sie haben meinen Betrieb bis zu einem gewissen Punkt tatsächlich mitgetragen.

Dann kam der Punkt, an dem sie regelmäßig eingebrochen sind. Nicht wegen der Aufgaben an sich, sondern wegen der Menge: zu viele Mails, zu viele Dateien, zu viel Vorgeschichte. Irgendwann waren sie vom eigenen Kontext überwältigt und wussten nicht mehr, was gerade wichtig ist. Für ein komplexes System sind sie einfach nicht gemacht.

Ich brauchte also etwas, das mit Kontext besser umgeht, das intern suchen kann statt alles auf einmal zu lesen, und das Werkzeuge zuverlässig aufruft. Das war dann Claude Code. Und aus diesem Fundament ist meine Assistentin Anna entstanden, die heute den Großteil meiner täglichen Handgriffe übernimmt.

Was bei mir läuft

• Ollama stellt die lokalen Sprachmodelle bereit. Schnell genug für Alltagstexte und Zusammenfassungen, klein genug für einen normalen Arbeitsrechner.
• Claude Code ist der Kern des Agentensystems: Kontext, Suche, Werkzeuge, Denkarbeit. Bewusst und dosiert eingesetzt, nicht als Dauerleitung.
• Drumherum ein eigenes Gedächtnis, eine lokale Stimme und die Anbindung an Post, Kalender und Dateiablage.

Aus diesen Bausteinen ist ein System aus KI-Agenten geworden, das mir spürbar Arbeit abnimmt, ohne dass ich die Übersicht verliere.

Was ich gelernt habe

Der größte Gewinn ist nicht die Geschwindigkeit, sondern die Ruhe: Ich muss nicht mehr an alles selbst denken.

Für Selbstständige und Einzelunternehmer ist genau das der Punkt. Nicht „mehr Output”, sondern weniger Reibung. Bei den Daten, die lokal bleiben sollen, und mit der Cloud-Stärke dort, wo sie etwas bringt. Wie das konkret aussieht, zeige ich in den kommenden Beiträgen und in den Kursen, die gerade entstehen. Wenn du wissen willst, wann es losgeht: Beim Start benachrichtigen lassen.