KI Agent Token Kosten berechnen: Was wirklich zählt

Das Wichtigste in Kürze

• Erfassen Sie alle Modellaufrufe eines Agentenlaufs, nicht nur den ersten Prompt.
• Protokollieren Sie Eingabe- und Ausgabetokens getrennt und nutzen Sie die Preise des jeweiligen Anbieters und Modells.
• Rechnen Sie auch Suchdienste, Infrastruktur, Support sowie menschliche Prüfung und Nacharbeit ein.
• Begrenzen Sie Laufzeit und Budget je Aufgabe. Prüfen Sie nach Kostensenkungen erneut die Ergebnisqualität.
• Vergleichen Sie die Gesamtkosten pro erfolgreich abgeschlossenem Fall, nicht allein die Kosten pro Aufruf.

Worum es geht

Tokens sind Textbausteine, die ein Sprachmodell verarbeitet oder ausgibt. Die genaue Anzahl hängt unter anderem vom Text und seiner Aufbereitung ab. Anbieter können Eingabe und Ausgabe unterschiedlich abrechnen. Welche Preise und Einheiten gelten, entnehmen Sie den aktuellen Angaben des jeweiligen Anbieters.

Bei einem KI-Agenten ist ein einzelner Modellaufruf häufig nur ein Teil des Ablaufs. Der Agent kann Informationen suchen, Zwischenergebnisse prüfen, weitere Aufrufe starten oder einen Schritt wiederholen. Lange Kontexte und umfangreiche Dokumente erhöhen den Verbrauch. Unnötige Schleifen können zusätzliche Aufrufe verursachen.

Für eine belastbare Rechnung sollten Sie mehrere Kostenarten unterscheiden:

• Modellkosten: Eingabe- und Ausgabetokens über alle Aufrufe eines Falls.
• Weitere Betriebskosten: etwa Dienste, Infrastruktur, Überwachung und technische Betreuung, sofern sie im konkreten Ablauf anfallen.
• Bearbeitungskosten: menschliche Prüfung, Korrekturen, Fehlerbehebung und Nacharbeit.

Tokenpreise allein bilden diese Aufwände nicht ab. Sie zeigen auch nicht, ob ein Fall erfolgreich abgeschlossen wurde oder ob eine Person das Ergebnis nachbearbeiten musste.

Typische Ausgangslage

Stellen Sie sich einen Betrieb vor, der eingehende Anfragen mit einem Agenten vorsortieren möchte. Der Agent liest eine Nachricht, sucht passende Informationen in freigegebenen Unterlagen und erstellt einen Antwortentwurf zur Prüfung. Ein klar formulierter Fall kann mit wenigen Schritten auskommen. Bei einer unklaren Anfrage kann der Agent zusätzliche Dokumente durchsuchen, weitere Modellaufrufe starten oder einen unvollständigen Entwurf erneut bearbeiten.

Wenn nur der erste Aufruf erfasst wird, bleiben diese Unterschiede unsichtbar. Auch die Zeit einer Person, die den Entwurf prüft, korrigiert oder Informationen nachträgt, fehlt dann in der Rechnung. Die Kosten erscheinen dadurch niedriger, als sie für den tatsächlichen Ablauf sind.

So gehen Sie vor

1. Legen Sie den betrachteten Fall fest. Beschreiben Sie, wo ein Vorgang beginnt und wann er als erfolgreich abgeschlossen gilt. Ein klarer Endpunkt hilft, vergleichbare Fälle auszuwerten.

2. Protokollieren Sie jeden Schritt. Erfassen Sie je Fall die Modellaufrufe, Eingabe- und Ausgabetokens sowie Such- und Wiederholungsschritte. Notieren Sie außerdem, ob ein Mensch geprüft, korrigiert oder den Vorgang übernommen hat.

3. Berechnen Sie die Modellkosten. Ordnen Sie die protokollierten Tokens dem jeweils verwendeten Modell zu. Wenden Sie die gültigen Anbieterpreise und Abrechnungseinheiten an. Bei mehreren Modellen oder Preisstufen rechnen Sie die Posten getrennt und summieren sie anschließend.

4. Ergänzen Sie weitere Kosten. Berücksichtigen Sie Dienste und Infrastruktur, die dem Ablauf zugeordnet werden können. Erfassen Sie auch Support und menschliche Bearbeitung. Wenn ein Posten nicht direkt einem Fall zugeordnet werden kann, dokumentieren Sie die verwendete Verteilungsmethode.

5. Vergleichen Sie typische und aufwendige Fälle. Betrachten Sie Fälle mit langen Dokumenten, vielen Suchschritten oder notwendiger Nacharbeit. So erkennen Sie, ob bestimmte Abläufe den Verbrauch deutlich erhöhen.

6. Setzen Sie Grenzen und prüfen Sie Änderungen. Legen Sie fest, wie viele Schritte ein Agent ausführen darf und wann er abbrechen oder an einen Menschen übergeben soll. Bestimmen Sie ein Budget je Aufgabe. Nach Änderungen an Kontext, Suchumfang oder Modell vergleichen Sie erneut Kosten und Qualität.

Eine einfache Kennzahl lautet: Kosten pro erfolgreich abgeschlossenem Fall = zugeordnete Modell-, Betriebs- und Bearbeitungskosten geteilt durch die Zahl der erfolgreich abgeschlossenen Fälle. Beziehen Sie die Kosten fehlgeschlagener Versuche in die Gesamtrechnung ein. Sonst bleiben Aufwände für Fehler und erneute Bearbeitung außen vor.

Entscheidungskriterien und typische Fehler

Für die Entscheidung, ob eine Berechnung schon aussagekräftig ist, helfen einige Fragen: Ist die Aufgabe klar abgegrenzt? Können Sie erkennen, wann ein Ergebnis erfolgreich ist? Lassen sich Modellaufrufe und menschliche Prüfschritte einem Fall zuordnen? Wenn diese Punkte offen sind, sollten Sie zunächst den Ablauf und die Messmethode klären.

Typische Fehler sind:

• Nur einen Modellaufruf betrachten, obwohl der Agent mehrere Schritte ausführt.
• Eingabe- und Ausgabetokens zusammenfassen und dadurch unterschiedliche Preisansätze übersehen.
• Durchschnittswerte betrachten, ohne Fälle mit vielen Wiederholungen oder langen Dokumenten gesondert zu prüfen.
• Prüfzeit und Nacharbeit nicht erfassen.
• Kostensenkungen allein anhand des Tokenverbrauchs bewerten, ohne die Qualität der Ergebnisse zu vergleichen.

Eine niedrigere Tokenmenge ist nicht automatisch ein besseres Ergebnis. Wenn wichtige Informationen fehlen, kann der Prüfaufwand steigen oder ein Fall erneut bearbeitet werden müssen. Bewerten Sie Änderungen daher gemeinsam anhand von Kosten, erfolgreichem Abschluss und Nacharbeit.

Grenzen und Risiken

Die Zuordnung von Infrastruktur- und Supportkosten zu einzelnen Fällen kann schwierig sein. Eine nachvollziehbare Schätzung ist oft hilfreicher als eine scheinbar genaue Zahl, deren Annahmen nicht dokumentiert sind. Halten Sie fest, welche Kosten direkt gemessen und welche anteilig zugerechnet wurden.

Auch die Verringerung des Kontexts hat Grenzen. Werden relevante Belege oder notwendige Informationen weggelassen, kann das Ergebnis schlechter ausfallen. Prüfen Sie deshalb nach jeder Kürzung, ob der Agent die Aufgabe weiterhin korrekt bearbeitet und ob zusätzliche menschliche Kontrolle nötig wird.

Ein Kostenlimit schützt nicht vor ungeeigneten Ergebnissen. Legen Sie auch fest, was bei einem Abbruch geschieht: etwa Übergabe zur Prüfung, Rückfrage oder Bearbeitung außerhalb des Agenten. Welche Kontrollen und Vorgaben im konkreten Einsatz nötig sind, hängt von Aufgabe und Daten ab und sollte im Einzelfall geprüft werden.

Woran Sie den Nutzen erkennen

Vergleichen Sie den Aufwand des bisherigen Ablaufs mit dem Agentenprozess. Berücksichtigen Sie dabei nicht nur Modellkosten, sondern auch Prüfzeit, Fehler und Nacharbeit. Aussagekräftig ist, ob die Gesamtkosten je erfolgreich abgeschlossenem Fall zum erwarteten Nutzen passen und ob Mitarbeitende spürbar weniger manuelle Schritte erledigen müssen.

Definieren Sie vor dem Pilotbetrieb, welche Ergebnisse Sie beobachten wollen. Das können Kosten je Fall, Zahl der Wiederholungen, Anteil der Fälle mit menschlicher Korrektur oder Bearbeitungszeit sein. Legen Sie außerdem fest, welche Ergebnisqualität für den Einsatz erforderlich ist. So lässt sich eine Änderung nicht allein danach beurteilen, ob sie Tokens spart.

Häufige Fragen

Wie berechne ich die Kosten eines einzelnen Agentenlaufs?

Addieren Sie die Kosten aller Modellaufrufe des Falls anhand der erfassten Eingabe- und Ausgabetokens und der geltenden Anbieterpreise. Ergänzen Sie zurechenbare Betriebs- und Bearbeitungskosten.

Warum reichen die Tokenpreise nicht aus?

Ein Agent kann mehrere Modellaufrufe, Suchschritte und Wiederholungen ausführen. Zudem können Infrastruktur, Support, menschliche Prüfung und Nacharbeit anfallen. Diese Posten gehören zur Gesamtrechnung.

Wie gehe ich mit unterschiedlichen Fällen um?

Werten Sie typische und aufwendige Fälle getrennt aus. Eine einzelne Durchschnittszahl kann verschleiern, dass lange Dokumente oder wiederholte Schritte deutlich mehr Aufwand verursachen.

Sollte ich den Kontext kürzen, um Kosten zu senken?

Prüfen Sie zuerst, welche Informationen für die Aufgabe erforderlich sind. Kürzen Sie schrittweise und vergleichen Sie anschließend sowohl Kosten als auch Ergebnisqualität. Wichtige Belege sollten nicht verloren gehen.