KI-Buchhaltung testen: Die Demo, die etwas aussagt

Die meisten Demos zeigen dasselbe: eine saubere PDF-Rechnung eines bekannten Lieferanten, die vollständig erkannt und korrekt kontiert wird. Das beeindruckt und sagt nichts aus, weil dieser Fall in jedem System funktioniert.

Die fünf Belege, die den Unterschied zeigen

Vor dem Termin lohnt es sich, aus dem eigenen Bestand ein Testpaket zusammenzustellen. Fünf Belege genügen:

Ein verblasster Thermobon. Der Härtefall der Bilderkennung. Wenn ein System hier eine Zahl erfindet statt auszusteuern, weiß man das Wichtigste.

Eine Hotelrechnung mit zwei Steuersätzen. Prüft, ob positionsweise gelesen und aufgeteilt wird oder ob der Beleg auf ein Konto mit einem Steuersatz läuft. Siehe Splitbuchung.

Ein Bewirtungsbeleg mit handschriftlichem Trinkgeld. Prüft zwei Dinge auf einmal: ob die Handschrift gelesen wird und ob die Aufteilung in abziehbaren und nicht abziehbaren Anteil erfolgt, bei voller Vorsteuer. Siehe Bewirtungsbeleg buchen.

Eine echte Kreditkartenabrechnung. Mit gemischten Steuersätzen, mindestens einer Fremdwährungsposition und zwei Positionen ohne Beleg. Der aufwendigste Beleg überhaupt, siehe Kreditkartenabrechnung buchen.

Ein ZUGFeRD-PDF. Prüft, ob das eingebettete XML genutzt wird oder ob die Datei durch die Texterkennung läuft. Im zweiten Fall wird geschätzt, obwohl exakte Werte danebenliegen.

Wie ein System diese fünf Belege behandelt, sagt mehr über den Alltag aus als jede Funktionsübersicht.

Wer aus der Kanzlei am Termin teilnehmen sollte

Demos werden häufig von einer Person angesehen, meist einem Berufsträger, und die Entscheidung fällt danach im Alleingang. Das ist der Grund, warum ausgewählte Systeme im Betrieb an Stellen scheitern, die im Termin niemand angesprochen hat.

Drei Perspektiven decken zusammen ab, was zu bewerten ist.

Die Person, die täglich damit arbeiten wird. Sie erkennt in zehn Minuten, ob eine Oberfläche im Dauerbetrieb tragfähig ist, wie viele Schritte eine Korrektur kostet und ob sich Vorschläge nachvollziehen lassen. Diese Einschätzung ist im Alltag mehr wert als jede Funktionsliste, und sie wird von jemandem, der das System zweimal im Monat öffnet, nicht getroffen.

Die Person, die den Abschluss verantwortet. Sie fragt nach dem Weg der Daten in die Buchführung, nach dem Verbleib des Belegs am Buchungssatz und nach dem Verhalten bei fehlerhaften Sätzen im Stapel. Das sind die Punkte, an denen eine reibungslose Erfassung nachträglich Arbeit erzeugt.

Die Person, die für Datenschutz und Organisation zuständig ist. Sie stellt die Frage nach Verarbeitungsort, Unterauftragnehmern und Trainingsnutzung und erkennt eine ausweichende Antwort schneller als jemand, der sie zum ersten Mal stellt.

Der Aufwand dafür ist eine Stunde je Person und Termin. Er entfällt in der Regel mehrfach, weil eine gemeinsame Bewertung die Zahl der Nachgespräche verringert und weil eine Entscheidung, die alle drei Perspektiven berücksichtigt hat, im Haus nicht mehr in Frage gestellt wird.

Sinnvoll ist außerdem, den Termin nicht als Vorführung zu vereinbaren, sondern als Arbeitssitzung mit eigenen Belegen. Die Formulierung bei der Terminvereinbarung entscheidet darüber, ob eine vorbereitete Präsentation abläuft oder ob live gearbeitet wird, und sie kostet einen Satz.

Die acht Fragen

Manches lässt sich nicht vorführen, sondern nur beantworten. Diese acht trennen erfahrungsgemäß am deutlichsten:

1. Wird der individuelle Kontenplan des Mandanten gelesen oder gegen einen Standardkontenrahmen gearbeitet?
2. Wie kommt der Beleg an den Buchungssatz, und hängt er dort auch nach dem Festschreiben noch?
3. Was passiert bei einem fehlerhaften Satz im Stapel? Bricht der ganze Import ab oder wird der einzelne Satz ausgesteuert?
4. Wo wird gelernt, wenn ich einen Vorschlag korrigiere, und kann ich das Gelernte einsehen und zurücknehmen?
5. Was passiert, wenn eine Information fehlt, die nicht auf dem Beleg steht? Wird geraten oder gefragt?
6. Wie läuft eine Rückfrage an den Mandanten, und bleibt die Antwort am Beleg hängen?
7. Wo werden die Daten verarbeitet, wer sind die Unterauftragnehmer, und werden Eingaben zum Training verwendet?
8. Welche Zusatzoptionen kosten extra? Bankanbindung und Belegtransfer sind bei mehreren Anbietern gesondert berechnet.

Frage 4 ist die, die am seltensten gestellt wird und am meisten aussagt. Eine gelernte Zuordnung, die nirgends sichtbar ist, lässt sich weder prüfen noch korrigieren, wenn sie falsch ist. Mehr dazu in Wie eine Buchhaltungs-KI aus Korrekturen lernt.

Frage 7 ist keine IT-Frage, sondern eine berufsrechtliche. Siehe KI und Verschwiegenheit.

Wie das Testpaket zusammengestellt wird

Die fünf Belege sind schnell benannt und selten zur Hand, wenn der Termin ansteht. Die Zusammenstellung dauert eine halbe Stunde und lohnt sich, weil dasselbe Paket in jedem weiteren Anbietergespräch wiederverwendet wird und damit die Vergleichbarkeit herstellt.

Drei Punkte gehören dabei beachtet.

Die Belege müssen echt sein und aus dem eigenen Bestand stammen. Ein nachgebauter oder aus dem Internet geladener Beleg testet nicht den eigenen Alltag. Gerade die Eigenheiten, an denen Systeme scheitern, entstehen bei bestimmten Lieferanten und Geräten und sind nicht allgemein.

Die berufsrechtliche Seite ist vorher zu klären. Werden echte Belege in ein fremdes System gegeben, verlassen mandatsbezogene Daten das Haus. Das kann zulässig sein, setzt aber die Verpflichtung des Anbieters zur Verschwiegenheit und eine datenschutzrechtliche Grundlage voraus, siehe KI und Verschwiegenheit. Wer diesen Schritt vor dem Termin geht, ist auch bei der späteren Auswahl schneller.

Das erwartete Ergebnis gehört vorher aufgeschrieben. Für jeden der fünf Belege wird notiert, wie die Kanzlei ihn behandeln würde, mit Konto, Steuersatz und gegebenenfalls Aufteilung. Ohne diese Notiz wird im Termin über das Ergebnis diskutiert, statt es zu vergleichen, und ein plausibel klingender Vorschlag wird leicht akzeptiert.

Ergänzen lässt sich das Paket um einen sechsten Beleg, der nicht bewertet, sondern beobachtet wird: eine Rechnung eines Lieferanten, den die Kanzlei bereits gut kennt. Sie zeigt, ob das System die Möglichkeit bietet, eine Zuordnung sofort zu hinterlegen, und wie viele Schritte das kostet. Diese Frage wird in Demos nie gestellt und im Alltag hundertfach beantwortet.

Was bei den fünf Belegen konkret zu beobachten ist

Nicht das Ergebnis allein ist aussagekräftig, sondern das Verhalten auf dem Weg dorthin. Die folgende Übersicht nennt je Beleg das Verhalten, das für ein brauchbares System spricht, und das, was gegen eines spricht.

Die dritte Zeile verdient eine Erläuterung, weil sie der schwierigste der fünf Fälle ist. Ein handschriftlich ergänztes Trinkgeld steht typischerweise direkt über der Zahlzeile, und ein schwaches Verfahren fasst beide Zeilen zu einer zusammen. Das Ergebnis sieht dann korrekt aus, denn die Summe stimmt, und das Trinkgeld ist verschwunden. Wer diesen Fehler finden will, muss das erwartete Ergebnis vorher kennen, sonst fällt er nicht auf.

Die fünfte Zeile lässt sich mit einem einfachen Handgriff prüfen: Man vergleiche den vom System übernommenen Betrag mit dem im Datensatz hinterlegten. Stimmen sie auf den Cent überein und werden auch Felder korrekt übernommen, die im sichtbaren Teil des Dokuments gar nicht stehen, wird der Datensatz genutzt. Näheres in E-Rechnung und KI-Buchhaltung.

Vier Fragen, die den Betrieb betreffen

Die acht Fragen zielen auf die fachliche Leistung. Vier weitere entscheiden darüber, wie sich das System nach der Einführung anfühlt, und sie werden fast nie gestellt, weil sie unspektakulär sind.

Wie kommen die Belege eigentlich hinein? Mailweiterleitung, Portal, Ordnerüberwachung, App auf dem Telefon des Mandanten, Schnittstelle zu einem Rechnungsversender. Je mehr Wege, desto weniger muss der Mandant umgestellt werden, und die Umstellung des Mandanten ist der Teil, der in der Praxis am längsten dauert. Siehe Belegeingang und seine Kanäle.

Was passiert bei einem Ausfall? Belegverarbeitung ist zeitkritisch in der Abschluss- und Voranmeldungsphase. Wie lange dauert eine Wiederherstellung, gibt es einen Weg, in der Zwischenzeit ohne das System zu arbeiten, und bleiben eingegangene Belege erhalten.

Wie kommt man wieder heraus? Am Vertragsende sind die eigenen Daten herauszugeben: Belege, Zuordnungen, Regeln, Protokolle. In welchem Format, in welcher Zeit, zu welchem Preis. Diese Frage vor dem Vertragsschluss zu stellen ist deutlich einfacher als danach.

Wer richtet ein und wer betreut? Der Unterschied zwischen einer Einrichtung, die der Anbieter begleitet, und einer, die man selbst vornimmt, beträgt je Mandat mehrere Stunden. Ob diese Begleitung im Preis enthalten ist, gehört zur Kostenrechnung.

Was eine Testphase leisten muss

Eine Demo zeigt Funktionen, eine Testphase zeigt Alltag. Drei Punkte machen sie belastbar:

Echte Belege über einen vollen Monatszyklus. Ein zusammengestelltes Paket ist eine Stichprobe, ein Monat ist die Wirklichkeit, samt Spitzen und Sonderfällen.

Ein Mandat mit hohem Aufkommen und eines mit gemischten Belegen. Das erste zeigt die Kernfunktion, das zweite die Grenzen.

Eine Messung vorher. Ohne den Ausgangswert lässt sich hinterher nicht sagen, was sich verändert hat. Wie er ermittelt wird, steht in Automatisierungsquote richtig messen.

Wichtig ist die Erwartung an den Startwert: Ein neues System kennt weder die Lieferanten noch die Gewohnheiten des Mandats. Die Quote im ersten Monat ist die niedrigste, die es je haben wird. Bewertet wird der Verlauf.

Ein Ablauf für die Testphase über zwei Monate

Eine Testphase ohne Plan endet damit, dass am Ende niemand sagen kann, ob sie erfolgreich war. Der folgende Ablauf lässt sich neben dem Tagesgeschäft führen und liefert am Ende eine Entscheidungsgrundlage aus Zahlen statt aus Eindrücken.

Vor dem Start. Zwei Mandate auswählen, eines mit hohem und gleichförmigem Aufkommen, eines mit gemischten und unsauberen Belegen. Für beide die Ausgangswerte erheben: Zahl der Belege im Monat, aufgewendete Stunden für die Belegbearbeitung, interner Stundensatz. Eine Person benennen, die zuständig ist, mit ausgewiesener Zeit von etwa zwei Stunden je Woche. Ohne diese Benennung endet jede Testphase nach sechs Wochen im Tagesgeschäft.

Woche 1 und 2. Einrichtung, Anbindung des Belegeingangs, Übernahme der Kreditorenstammdaten, soweit möglich. In dieser Phase entsteht keine belastbare Quote, und sie sollte auch nicht gemessen werden. Gemessen wird stattdessen der Einrichtungsaufwand in Stunden, denn er gehört in die spätere Kostenrechnung.

Woche 3 bis 6. Der erste vollständige Zyklus. Jeder Vorschlag wird geprüft, jede Korrektur an der dafür vorgesehenen Stelle vorgenommen und nicht nachträglich im Buchführungsprogramm. Am Ende dieser Phase steht die erste Quote, und sie wird niedrig sein.

Woche 7 bis 10. Der zweite Zyklus, jetzt mit hinterlegten Zuordnungen. Hier zeigt sich, ob das System lernt. Der Vergleich der beiden Zyklen ist die eigentliche Aussage der Testphase, nicht der absolute Wert des zweiten.

Am Ende. Drei Zahlen gegenüberstellen: aufgewendete Stunden vorher, aufgewendete Stunden im zweiten Zyklus, Kosten des Systems einschließlich anteiliger Einrichtung. Dazu eine Liste der Fälle, die weiterhin regelmäßig ausgesteuert wurden, weil sie zeigt, wo die verbleibende Arbeit liegt.

Zwei Fehler machen diesen Ablauf wertlos. Der erste ist, die alte Arbeitsweise parallel weiterzuführen, denn dann steigt der Aufwand und die Messung misst zwei Verfahren gleichzeitig. Der zweite ist, in der Testphase nur die einfachen Belege einzuspielen, weil man die schwierigen ohnehin selbst bearbeiten will. Damit testet man genau den Teil, der in jedem System funktioniert. Zur Ermittlung der Vergleichszahlen siehe Automatisierungsquote richtig messen.

Was sich nur im laufenden Betrieb zeigt

Manches bleibt auch nach einer sauberen Testphase offen, weil es Zeit oder Sonderfälle braucht. Wer diese Punkte kennt, kann gezielt danach fragen, statt sie später zu entdecken.

Das Verhalten bei Lastspitzen. Der zehnte Tag des Monats und die Wochen vor einem Abschlusstermin erzeugen ein Vielfaches des durchschnittlichen Aufkommens. Ob die Verarbeitung dann Minuten oder Stunden braucht, entscheidet über die Brauchbarkeit im Alltag und zeigt sich in einer Testphase mit zwei Mandaten nicht.

Der Umgang mit Sonderfällen des Jahres. Anzahlungen und Schlussrechnungen, Jahresboni, Umbuchungen zum Abschluss, Korrekturbelege. Sie fallen ein- bis zweimal jährlich an und werden in keiner Testphase getroffen. Eine gezielte Frage danach ist der einzige Weg, sie vorher zu klären.

Die Entwicklung der Wissensbasis über ein Jahr. Ob hinterlegte Zuordnungen einsehbar und korrigierbar bleiben, wenn es dreihundert davon sind, statt dreißig. Eine übersichtliche Liste bei geringem Bestand sagt darüber wenig aus.

Der Wechsel eines Mandanten oder eines Sachbearbeiters. Was passiert mit dem Gelernten, wenn ein Mandat abgegeben oder ein Kontenrahmen umgestellt wird. Diese Frage stellt sich unweigerlich und wird in Auswahlgesprächen nie behandelt.

Diese vier Punkte sprechen nicht gegen eine Testphase, sondern für eine realistische Erwartung an sie. Sie beantwortet, ob das System zum Bestand passt. Sie beantwortet nicht, wie es sich nach zwei Jahren anfühlt.

Die Warnzeichen

Vier Beobachtungen im Termin sollten aufmerksam machen:

Nur mitgebrachte Belege. Wer eigene Belege nicht live einwerfen darf, sieht eine Vorführung und keinen Test.

Eine Prozentzahl ohne Definition. Erkennungsquote, Vorschlagsquote und Durchlaufquote unterscheiden sich um dreißig Prozentpunkte. Zur Zahl gehört, welche gemeint ist.

Keine ausgesteuerten Fälle. Ein System, das in einer Demo mit gemischten Belegen keinen einzigen Fall zur Klärung vorlegt, rät an Stellen, an denen es nichts wissen kann.

Ausweichende Antwort auf Frage 7. Wo die Daten liegen und ob damit trainiert wird, ist eine Frage mit einer klaren Antwort. Wenn sie nicht kommt, gehört sie schriftlich nachgefordert.

Wie sich mehrere Angebote vergleichen lassen

Wer drei Anbieter ansieht, hat am Ende drei Eindrücke und selten eine Entscheidungsgrundlage, weil die Termine mehrere Wochen auseinanderliegen und der letzte Eindruck der frischeste ist. Eine kurze Bewertungstabelle, die im Termin ausgefüllt wird, behebt das mit geringem Aufwand.

Sinnvoll sind wenige Kriterien mit klarer Beobachtung, nicht ein Katalog mit vierzig Zeilen.

Die letzte Zeile setzt voraus, dass die eigene Belegzahl bekannt ist. Ohne sie lassen sich Modelle, die auf Buchungszeilen, Mandanten oder Nutzern aufsetzen, nicht gegeneinander stellen. Die Umrechnung und die dazugehörigen Zahlen stehen in Was KI-Buchhaltung kostet.

Zwei Hinweise zur Anwendung. Die Tabelle sollte im Termin ausgefüllt werden, nicht danach, weil die Erinnerung an das konkrete Verhalten bei einem Beleg schon am Abend ungenau ist. Und sie sollte von derselben Person geführt werden, die auch die späteren Termine begleitet, sonst entsteht eine Bewertung mit unterschiedlichen Maßstäben.

Was danach entschieden werden muss

Am Ende steht keine Ja-Nein-Frage, sondern eine Rechnung: Wie viele Stunden entfallen, was kosten sie heute, und was kostet das System einschließlich Einrichtung und Pflege. Die Zahlen dafür stehen in Was KI-Buchhaltung kostet.

Und eine zweite Entscheidung, die häufig übersehen wird: Wer in der Kanzlei ist zuständig? Ohne benannte Person mit ausgewiesener Zeit endet auch das beste System nach sechs Wochen im Tagesgeschäft.

Ist die Auswahl getroffen, beginnt der aufwendigere Teil. Welche Vorarbeiten vor der ersten Belegverarbeitung stehen, wie eine Pilotgruppe zusammengesetzt sein sollte und was im ersten Quartal realistisch passiert, beschreibt KI-Buchhaltung einführen.