Mehr als eine schöne Verpackung: Was sind KI-Wrapper?

Das Angebot an KI-Tools ist riesig. Es gibt die großen bekannten KI-Chatbots aus den USA (ChatGPT oder Gemini), allgemeine Anwendungen für den Büroalltag, die mittlerweile im E-Mail- und Textverarbeitungsprogramm verfügbar sind, und eine ganze Reihe spezialisierter Anwendungen für Juristen. Neben spezifischen KI-Tools zur Optimierung von ganzen Arbeitsabläufen gibt es dabei auch Anwendungen mit einem Fokus auf die rechtliche Recherche und auch fast alles dazwischen und darüber hinaus.

Eine eigene KI haben dabei aber die wenigsten Anbieter. Die meisten sind sogenannte Wrapper. Das heißt, das eigene Angebot wird um eine externe KI herumgebaut. Das hat Vor- und Nachteile und es gibt verschiedene Ansätze, wie man sowas bauen kann.

Wer aktuell ein KI-Tool für sich, seine Kanzlei oder sein Unternehmen einkauft, sollte zumindest eine grobe Vorstellung davon haben, was man kauft, wo beim Produkt der Mehrwert herkommt oder ob man im Zweifel nur Geld für eine schöne Verpackung ausgibt.

Der große Unterschied: Eigenes KI-Modell oder nur eine neue Verpackung?

Die großen drei Anbieter von eigenen KI-Modellen sind OpenAI mit den GPT-Modellen, Anthropic mit Claude und Google mit Gemini. Das sind aktuell die leistungsstärksten Modelle, die intern von diesen Unternehmen gebaut wurden und über die die Unternehmen die volle Kontrolle haben. Bei Google laufen die Modelle zudem auch auf den eigenen Servern. Dann gibt es noch weitere Unternehmen, die eigene Modelle haben. Aus Europa ist unter anderem an Mistral aus Frankreich zu denken.

Diese Modelle sind der Motor für eigene Produkte – wie der Chatbot ChatGPT von OpenAI oder der Recherche- und Forschungsassistent NotebookLM von Google – und werden zudem gegen eine Gebühr über eine Schnittstelle für andere Unternehmen zur Verfügung gestellt. Die Unternehmen, die diese Modelle betreiben, haben dann aber immer noch die Endkontrolle darüber. Man kann sich das vorstellen, wie ein Lokal, das nach außen hin eigenständig auftritt, aber im Hintergrund die Küche eines anderen Restaurants nutzt. Diesen Ansatz fahren beispielsweise die Legal-AI-Tools Harvey oder Pandektes. Aber dazu später mehr.

Davon abzugrenzen sind Modelle, die frei zum Download (unter einer Open-Weights- oder Open-Scource-Lizenz) angeboten werden. Diese Modelle kann man dann auf dem eigenen Server selbst betreiben. Dies bietet volle Datenhoheit, viele Anpassungsmöglichkeiten und eben eine strukturelle Unabhängigkeit von den Modellanbietern. Um beim Küchenbeispiel zu bleiben: Das wäre so, als ob ein Anbieter von Küchengeräten die funktionsfähigen Geräte oder zumindest die genaue Bauanleitung dafür kostenlos zur Verfügung stellt und jeder andere diese nutzen kann. Dafür hat sich beispielsweise Beck-Noxtua entschieden (Ob man bei diesen selbst-gehosteten Modellen immer noch von einem KI-Wrapper sprechen kann, wird teilweise abgelehnt. Aber auf diese semantische Diskussion soll an dieser Stelle nicht weiter eingegangen werden).

Wenn man also kein eigenes KI-Modell hat, und das trifft auf fast alle Unternehmen zu, bleiben einem nur zwei Möglichkeiten, wenn man ein KI-Tool anbieten will: Entweder man kauft sich bei einem der großen Anbieter eins oder man nutzt ein frei verfügbares Tool, um sein eigenes Produkt jeweils darum zu bauen.

Die Schichtenarchitektur eines modernen KI-Wrappers

Ein solcher KI-Wrapper fungiert dann im Kern als Software-Schicht, die zwischen dem Endnutzer und einem zugrunde liegenden KI-Modell angesiedelt ist. Die primäre Aufgabe besteht darin, die Interaktion mit dem Modell zu steuern, zu optimieren und für spezifische Anwendungsfälle besser nutzbar zu machen.

Oder anders formuliert: Die großen und kleinen Anbieter bauen die Modelle so, dass möglichst viele Nutzer die Modelle für möglichst viele Anwendungsbereiche sinnvoll nutzen können. Der Mehrwert eines KI-Wrappers liegt dann darin, die Modelle konkreter auf das zuzuschneiden, was beispielsweise Juristen brauchen. Dafür gibt es mehrere Ansätze.

Als erstes zu nennen ist das sogenannte Fine-Tuning. Fine-Tuning ist der Prozess, bei dem ein bereits vortrainiertes KI-Modell durch zusätzliches Training auf einem spezifischen, kleineren Datensatz spezialisiert wird. Während das Modell im ersten Schritt – dem sogenannten "Pre-training" – allgemeine Sprachmuster und breites Wissen erlernt hat, passt es sich beim Fine-tuning an eine bestimmte Aufgabe, einen Fachbereich oder einen individuellen Antwortstil an. Da die grundlegenden Fähigkeiten bereits vorhanden sind, ist dieser Vorgang weitaus effizienter und ressourcensparender als das Training eines komplett neuen Modells. Insbesondere bei selbst-gehosteten Open-Weights- und Open-Scource-Modellen kann nach freiem Ermessen fine-getuned werden. Da aber immer wieder neue Modelle auf den Markt kommen, muss man diesen Prozess mit jedem neuen Modell erneut durchführen. Und manche Anbieter – wie beispielsweise Anthropic – ermöglichen aktuell von vornherein kein klassisches Fine-Tuning ihrer Modelle. Ob und wie umfangreich die KI-Wrapper also tatsächlich noch fine-tunen, ist nicht immer klar und wird oft als Geschäftsgeheimnis behandelt.

Der System-Prompt - die Anweisung für die Rolle der KI

Danach kommt der sogenannte System-Prompt. Ein Prompt ist die Eingabe, die ein Nutzer an ein KI-Modell richtet. Ein System-Prompt hingegen ist eine übergeordnete Anweisung, die festlegt, wie sich die KI grundsätzlich verhalten soll – etwa welche Rolle sie einnimmt, welchen Tonfall sie nutzt oder welche Regeln sie befolgen muss. Die Anbieter der Modelle hinterlegen immer bereits einen geheimen System-Prompt, der beispielsweise festlegt, dass das Modell hilfreich sein soll.

Die KI-Wrapper ergänzen dann einen weiteren System-Prompt und erklären dem Modell beispielsweise, dass der Nutzer ein Jurist ist, klare und präzise Antworten möchte und wenig Wert auf lyrische Formulierungen legt. Dadurch wird der Nutzer entlastet, diese Angaben jeweils selbst einzugeben oder in den Grundeinstellungen zu vermerken. Die System-Prompts der KI-Wrapper sind ebenfalls in der Regel nicht öffentlich und können sehr umfangreich sein.

Guter Kontext für eine gute KI-Antwort

Der nächste und für Juristen überaus relevante Schritt ist die sogenannte Kontext-Injektion. Die Antwort eines KI-Tools ist umso besser, je mehr guten Kontext man dem Modell zusätzlich zum Prompt mitgibt. Die Frage nach den aktuellen Entwicklungen im Recht im KI-Bereich wird beispielsweise besser beantwortet, wenn man zusätzlich die LTO-Presseschau der letzten Wochen mit hochlädt. Damit man sowas nicht händisch machen muss, übernehmen das KI-Wrapper in der Regel im Rahmen der Möglichkeiten automatisch (Stichwort: Retrieval-Augmented Generation).

Die wesentliche Voraussetzung für eine Kontext-Injektion ist natürlich, dass der Anbieter eines KI-Wrappers Zugriff auf entsprechende Daten hat. Beck Noxtua etwa zum Beck-Verlag, Bryter hat eine Integration zu den Daten des Otto-Schmidt-Verlags und Libra mittlerweile zudem auch zu Wolters Kluwer Online, wozu auch LTO gehört. Wer keine Verlagsdaten hat, nutzt die Daten, die allgemein verfügbar sind, und versucht daraus das Beste rauszuholen. Das sind beispielsweise Gesetze und Urteile, die wegen § 5 UrhG gemeinfrei sind und darum nicht dem Urheberrechtschutz unterliegen. So gehen beispielsweise Harvey und Pandektes vor. Ob und für welche Anwendungen man im Endeffekt wirklich Aufsätze und Kommentare braucht und wie weit man allein mit dem Gesetzestext und frei verfügbaren Urteilen kommt, wird die Zukunft zeigen.

Zudem sollten die KI-Wrapper noch die Benutzeroberfläche (User Interface) der Anwendung gut gestalten und dem Nutzer eine vernünftige Nutzererfahrung (User Experience) ermöglichen. Auch dadurch können die KI-Wrapper einen relevanten Mehrwert schaffen.

Im Detail gibt es noch weitere Möglichkeiten und Unterschiede. Man kann weitere Werkzeuge anschließen, Output-Filter einbauen oder auch mehrere Modelle hintereinander verketten oder einen Gesamtauftrag in viele kleine Schritte zerlegen und diese jeweils automatisch orchestrieren.

Und was heißt das jetzt?

ür KI-Wrapper liegt der Vorteil darin, dass man sich die sehr aufwendige und kostspielige Eigenentwicklung eines eigenen Modells spart und sich auf die konkreten Bedürfnisse der Nutzer konzentrieren kann. Aber es gibt auch Nachteile.

Wer die Flagship-Modelle der großen Anbieter nutzt, kriegt für verhältnismäßig kleines Geld Zugang zu den jeweils leistungsstärksten Modellen der Welt. Aber man begibt sich auch in eine gewisse Abhängigkeit. Wenn der Modellanbieter morgen entscheidet, die Gebühren für die Nutzung der Modelle drastisch zu erhöhen (oder das Modell sogar komplett abzuschalten), gibt es wenig, was man dagegen tun kann. Um dieses Risiko zu managen, arbeiten viele Unternehmen mittlerweile mit mehreren Modellanbietern gleichzeitig zusammen. Bei Harvey sind aktuell beispielsweise die Modelle von allen drei großen Anbietern verfügbar.

Viel mehr Autonomie hat man, wenn man ein Open-Weights- oder ein Open-Scource-Modell nutzt. Das läuft auf der eigenen Hardware, verursacht keine Lizenzkosten und kann nicht von außen abgestellt werden. Zudem hat man volle Kontrolle über alle Datenflüsse, wenn man das Modell selbst hostet. Dafür muss man aber auch die Kosten für den eigenen Betrieb der Modelle zahlen und diese Modelle sind – allgemein gesprochen – in der Regel eine Stufe unter der Leistungsfähigkeit der Flagship-Modelle. Aber das heißt nicht zwingend, dass man das im konkreten Anwendungsfall auch merkt.

Neben dem Zugang zu den Modellen ist noch relevant, wie viel Konkurrenz die großen Modell-Anbieter den KI-Wrappern machen und in Zukunft machen werden. Aktuell haben KI-Wrapper für Juristen beispielsweise einen Vorteil gegenüber den allgemeinen Angeboten, wenn diese alle relevanten Gesetze und Urteile in einer Datenbank verfügbar gemacht haben. Aber es hält die großen Modell-Anbieter grundsätzlich auch nichts ab, das in Zukunft selbst zu tun.

Auch spezielle System-Prompts für juristische Bedürfnisse können dem Grunde nach auch die allgemeinen Modell-Anbieter anbieten (oder man erstellt die als fortgeschrittener Nutzer selbst). Zu denken ist hier beispielsweise auch an die Skills von Claude. Umso mehr die allgemeinen Modelle gegebenenfalls an die KI-Wrapper heranrücken, umso mehr Spezialisierung müssen wiederum die KI-Wrapper anbieten, um weiterhin einen Mehrwert zu bieten und den in der Regel bestehenden Kostenunterschied rechtfertigen zu können.

Legal AI – Quo vadis?

Wo wird sich also der KI-Markt für Juristen hin entwickeln? Welcher Ansatz wird sich durchsetzen und welche Angebote wird es in ein paar Jahren noch geben? Die Antwort auf diese Fragen ist völlig offen.

Als Nutzer heißt es darum, die Entwicklung im Blick zu behalten. Bei der Auswahl für ein geeignetes KI-Tool sollte dabei aktuell – neben berufsrechtlichen und anderen regulatorischen Vorgaben – vor allem eine Rolle spielen, welche konkreten Bedürfnisse man im Alltag hat und ob man beispielsweise Zugriff auf Verlagsdaten braucht oder ob Gesetze und Urteile ausreichen – und natürlich, wie viel Budget man hat.

Nico Kuhlmann ist Rechtsanwalt bei Hogan Lovells International LLP in Hamburg. Er beschäftigt sich mit Geistigem Eigentum, digitalen Geschäftsmodellen und dem Einsatz von Legal Tech und KI im Kanzleialltag und in Rechtsabteilungen. Auf LinkedIn und YouTube teilt er regelmäßig Einblicke in die digitale Transformation des Rechts.