Alles Legal #144: Agentic Commerce: Ist unser Recht bereit für KI-Agenten?

00:00:02: Hallo und Willkommen zu Alles Legal, Fintech, Recht, Kompakt.

00:00:07: Dein Deep

00:00:08: Dive in die rechtlichen Trends und Themen der Finanzwelt!

00:00:11: Jede Woche bringen wir von Permanent Banking & Paytag-Log dir die wichtigsten

00:00:15: Insights – kompakt,

00:00:17: verständlich und immer aktuell.

00:00:22: Hallo und herzlich willkommen zu einer neuen Folge von Alles Legal, find der gleich kompakt.

00:00:28: Ich bin Dana Wonderer und ja wir sind zurück aus der Sommerpause starten wieder neu mit einem Podcast alles legal und diesmal ich freue mich drauf mit einem auch sehr spannenden Thema Agentic Commerce, Agentec Payments.

00:00:44: Diese Themen sind regelmäßig bei Payment in Banking natürlich Thema, also nicht nur auf dem Blog sondern auch auf unseren Veranstaltungen.

00:00:52: Die letzte KI-Exchange zum Beispiel in Hamburg hatten wir natürlich super spannende Panel zu den Themen und auch die Banking Exchange, die uns dann im November erwartet.

00:01:01: da werden wir natürlich auch an dem Thema nicht vorbeikommen.

00:01:04: Und ja einfach super spannend!

00:01:06: KI berät jetzt nicht mehr nur sie handeln selbst Sie wählen Produkte, ausschließen Verträge ab und auch sie lösen auch Zahlungen aus.

00:01:15: Und da wickelt sich die Technologie halt unfassbar schnell.

00:01:19: und worauf wir heute schauen möchten ist nochmal die Seite zu beleuchten.

00:01:25: ja wie funktioniert das Ganze dann eigentlich rechtlich?

00:01:28: Ich freue mich sehr.

00:01:29: dazu habe ich Frank Malat im Podcast von Änerton.

00:01:34: Lieber Frank schön dass du wieder bei mir bist.

00:01:36: Hallo Dana!

00:01:37: Schön dass ich mal wieder dabei sein kann nach längerer Pause.

00:01:40: Ich freue mich sehr auf das Thema, es ist extrem spannend auch aus rechtlicher Sicht.

00:01:46: und was ich sehr cool finde ist – ich glaube diesmal ist die rechtliche Ausprägung nicht der Schaustopper aber im Detail gleich im Podcast.

00:01:56: Ja, jedenfalls!

00:02:02: passiert halt unfassbar viel.

00:02:03: Also wenn ich im Agent sage, such einen Flug raus zum Beispiel nach Barcelona maximal dreihundert Euro sag ihm macht das morgens und bucht das vielleicht am besten gleich für mich Ja wer hat diesen Vertrag dann eigentlich geschlossen ist?

00:02:17: Das ist eine super spannende Frage.

00:02:20: Und Frank wenn wir dieses ganze Thema besprechen ab welchem Punkt wird es denn für dich als Juristin besonders interessant?

00:02:30: Also für mich oder für uns als Juristen wird es genau in dem Moment interessant, indem die KI eben nicht nur vorbeweitet – das kennen wir ja schon, Check-Firm-Zwanzig und Konsorten – sondern empfiehlt oder sogar selbst handelt.

00:02:49: Im Sinne eines Vertrages abschließen Solange wir jetzt der Assistent, also die Tools, die man jetzt schon kennt, Check-Firm, es gibt andere Suchmaschinen natürlich noch.

00:03:03: Der zeigt mir dann irgendwie drei Flügel an... und am Ende klicke aber ich sozusagen aufbuchen, dann ist das rechtlich das klassische Modell, dass wir jetzt aus dem e-Commerce kennen.

00:03:16: Und spannend wird es eben dann wenn ich eben sozusagen das Ziel gewisse Grenzen und so weiter zwar nur vorgebe, aber die KI oder der KI Agent dann selber entscheidet also welcher Flug welche Airline welcher Preis welcher Vertragschluss wie er die Zahlung ausgelöst usw.

00:03:34: Weil dann trennen sich die menschliche Willensbildung und die technische Ausführung.

00:03:40: Und genau an dieser Bruchstelle entstehen die Fragen, wem ist die Entscheidung eigentlich zuzurechnen?

00:03:46: Was genau hat der Nutzer eigentlich erlaubt und wer trägt das Risiko wenn was schief geht?

00:03:51: Da ist es juristisch extrem spannend!

00:03:54: Dann bleiben wir doch gleich mal bei dem Beispiel.

00:03:56: Also ich gebe dem Agenten jetzt vor, okay, Ziel, Budget und Gefähreurzeit – alles Weitere entscheidet er dann selbst?

00:04:04: Was unterscheidet das rechtlich von den Digitalbuchungssystemen, die wir heute schon kennen?

00:04:10: Der entscheidende Unterschied ist der Entscheidung Spielraum.

00:04:13: Bei klassischen Buchungssystems wird der letzten Ende meine eigene Entscheidung umgesetzt.

00:04:19: Die helfen zwar auch bei der Vorbereitung der Entscheidung aber am Ende bin ich derjenige, der entscheidet.

00:04:24: Und beim Agendic Commerce delegiere ich ja einen Teil meiner Entscheidung, weil ich sage ja nur vielleicht auch ganz in der Analogenwelt umgesetzt wie es im Assistenzbereich bei uns mache.

00:04:37: Schau mal dass du den Flug buchen kannst.

00:04:38: Der soll nicht so viel kosten maximal keine Ahnung drei vier fünfhundert Euro am besten vormittags keine Zwischenstops.

00:04:44: So jetzt delegier' ich aber jetzt nicht ins Backoffice sondern an die KI Und der KI entscheidet dann.

00:04:51: Ich gebe Ihnen den Rechtsrahmen vor und damit ist die KI sozusagen nicht nur dabei, meinen Willen zu übermitteln sondern sie konkretisiert innerhalb des Rahmens, denen ich vorgebe.

00:05:05: Also es macht auch einen Unterschied wie viel Spielraum ich dem Agenten lasse also ob ich nur ein ausgewählten Flugbuch oder wirklich selbst entscheide?

00:05:16: Ja absolut, also das ist eigentlich der entscheidende Punkt an der Geschichte.

00:05:24: Wenn ich zum Beispiel sage na buche mir den Flug mit der Flugnummer XYZ für dreihundert Euro dann habe ich ja eigentlich schon alles entschieden.

00:05:33: Dann ist die KI quasi nur noch ausführendes Element.

00:05:38: Der Fortschritt ist ja eigentlich dass ich einen Rahmen setze und Der wird der Knackpunkt sein, es können wir jetzt vielleicht ein bisschen ausarbeiten.

00:05:48: Also in der Faustform wenn man das mal griffig machen möchte je größer die Autonomie des Agenten ist, desto wichtiger werden natürlich die rechtlichen Grenzen des Mandats.

00:05:56: und da muss ich immer so ein bisschen entscheiden.

00:05:58: Ich gebe viel Autonomien dann habe ich natürlich auch ein größeres Risiko dass was schief geht Gebe ich wenig Autonomie und wieder mehr zu tun.

00:06:06: Also es ist so ein bisschen auch ein Convenience Faktor, wie faul bin ich?

00:06:10: Wie viel Trust habe ich in die KI oder letzten Endes in meinen Agenten?

00:06:14: Ich finde den Begriff immer schön.

00:06:16: Das hab' ich ja im echten Leben auch.

00:06:18: der Unterschied im echte Leben is'.

00:06:20: Da kenne ich die Person, die für mich handelt.

00:06:22: da ist schon eine Vertrauensbeziehung da und deswegen ist dieses Trust Element zumindest mal wenn man's nicht festlegt in der KI-Lösung nicht so dar wie im echen Leben.

00:06:33: Gerade entsteht da ja auch super viel.

00:06:35: Es entstehen eigene Protokolleinfrastrukturen speziell für solche Prozesse, also Google, Visa, Stripe entwickeln daher schon einiges.

00:06:44: Was verändert sich dadurch aus rechtlicher Sicht?

00:06:50: Also zunächst mal ändert sich was in technischer Sicht.

00:06:52: Ich habe ja schon von diesem Trust gesprochen, also ich hab einen großen Trust zu unseren Mitarbeitern weil ich schon jahrelang mit denen arbeite und den kann ich vertrauen.

00:07:00: da weiß genau was los ist.

00:07:02: Wenn wir das jetzt alles automatisiert auf die KI übertragen dann ist es ganz wichtig dass ich dieses Vertrauender einbaue und mein Verständnis bin aber kein Techniker von dem Protokollen die davon den großen Player an Visa Mastercard Du hast sie genannt entstehen Sie eben diese trust layer Und da geht es jetzt gar nicht mehr so sehr darum eine neue Währung oder irgendwas zu schaffen, sondern es geht vielmehr darum Maschinen lesbar bestimmte Dinge nachweisbar zu machen.

00:07:29: Wer ist der Agent?

00:07:32: Für welchen Nutzer handelt die KI?

00:07:33: Was durfte die KI machen bis zu welchem Betrag?

00:07:36: also diese ganzen Parameter, die ich normalerweise in der Delegation an Mitarbeiter auch gebe.

00:07:41: Die muss sich irgendwie einerseits was Maschienen lesbar machen Ich muss aber vor allen Dingen den Nutzerwillen beweisbar machen.

00:07:50: Und da hilft die Technik sozusagen nicht bei der Lösung, der Rechtsfrage aber eben beim Beweisbarmachen des Nutzervillens.

00:07:57: und das ist glaube ich der entscheidende Knackpunkt an dem die Unternehmen

00:08:01: arbeiten.".

00:08:03: Und wenn ihr der Agent jetzt am Ende auf kaufen klickt ... Wessenerklärung ist denn das jetzt rechtlich überhaupt?

00:08:12: So!

00:08:13: Jetzt sind wir aber im Kern angekommen.

00:08:17: Also rechtlich ist es ganz klar nach dem Zivilrecht so, dass am Ende eine Erklärung muss immer eine Person oder ein Unternehmen stehen.

00:08:28: Es kann nie jetzt die KI- oder ein Protokoll sein.

00:08:30: Es muss immer natürlich eine juristische Person sein.

00:08:36: Das heißt also, die KI selber kann zumindest nachdem jetzt geltenden Zivilrechts selbst nicht Vertragspartner werden.

00:08:44: und deshalb müssen wir uns immer genau fragen wenn die KI nicht sein kann.

00:08:49: Dann muss es halt eine Erklärung des Nutzers sein und dann müssen wir uns halt genau überlegen, handelt vielleicht der Anbieter des Agenten also der KI für den Nutzer?

00:08:59: Also haben wir da so einen autorisierten Rahmen das sozusagen Die eigentliche Person, die für mich handelt eine echte Person oder ein Unternehmen ist und eben nicht die KI und der die KI dann nur nutzt sozusagen als technisches Tool.

00:09:15: Und so komme ich dann quasi dahinter, dass ich immer eine natürliche oder juristische Person

00:09:21: brauche.".

00:09:23: Dann könnte man doch aber sagen, KI handelt für mich also ist sie mein Vertreter?

00:09:29: Das müsste auch als Erklärung reichen oder

00:09:32: nicht?".

00:09:33: Das finde ich total cool, weil ehrlich gesagt das wäre die erste Annahme oder?

00:09:37: Also man sagt sich doch na ja wenn es doch technisch alles so cool geht kann ihr alles programmieren.

00:09:41: Warum kann denn der kann in die KI nicht stellvertreter sein?

00:09:44: also ist eine sehr berechtigte und sehr naheliegende Frage Jetzt ist aber unser zivilrecht dass schon über hundert Jahre alt ist ebenso ausgelegt dass neki kein Stellvertreter sein kann, warum?

00:10:01: Weil die KI selbst kein Rechtsobjekt ist.

00:10:04: Das heißt um eine Willenserklärung abgeben zu können und die benötige ich eben um einen Vertrag zu schließen.

00:10:11: Aber auch ein Rechtsobjet und es kann nur eine natürliche oder eine juristische Person sein und deswegen kann die KI selber nicht.

00:10:21: mein Vertreter schon angesprochen, dann müssen wir uns eben Gedanken dazu machen wer es denn sonst sein kann und dann wäre für mich zunächst mal naheliegend den Anbieter, den Entwickler des Unternehmen hinter der KI möglicherweise als Stellvertreter einzusetzen.

00:10:41: Und das könnte einen Ansatzpunkt sein.

00:10:44: Das ist ein anderes Punkt.

00:10:46: also wenn jetzt diese klassische Stellvertretung nicht weiter passt Wie versucht man das Handeln des Agenten denn in das bestehende Recht zu fassen?

00:10:55: Also welche Ansätze gibt es jetzt schon dazu?

00:10:58: Genau, ich habe gesagt ist spannend der an unserem Zivilrecht ist.

00:11:02: Es ist uralt aber trotzdem gibt's immer wieder neue technologischen Fortschritt und dann versuchen wir immer den technologischem Fortschutz sozusagen mit bekannten Rechtsfiguren zu lösen.

00:11:14: Und mir fallen in dem Zusammenhang vier grundlegende Modelle ein, das erste ist die Stellvertretung, das haben ja schon gerade uns ganz kurz angeschaut.

00:11:24: Das zweite ist die Bodenschaft.

00:11:28: Sag ich gleich was dazu?

00:11:29: Das dritte wäre die sogenannte Computererklärung.

00:11:35: Das wird es am Ende hinauslaufen.

00:11:37: Ich habe der Eingang schon gesagt, dass man einerseits sozusagen Autonomie andererseits Begrenzung des Mandats so eine gewisse Balance finden muss.

00:11:45: und der vierte Punkt wäre für mich das die Planquette Erklärung oder das Mandatsmodell Und da können wir gerne wenn du möchtest kann ich euch da einmal durchführen was das

00:11:57: ist.

00:11:57: Genau das ist erstmal diese vier Bereiche.

00:12:00: vielleicht gehst du dann nochmal ein bisschen drauf ein?

00:12:02: Was bedeutet das konkret

00:12:04: Genau.

00:12:04: Also fangen wir vielleicht nochmal kurz, haben ja schon beleuchtet mit der Stellvertretung an also die klassischen stellvertretungen.

00:12:10: kommen wir weiter aber eben nicht mit der KI selber sondern mit dem Betreiber der KI.

00:12:17: das könnte eine Lösung sein dass sozusagen die KI des Unternehmens mein Vertreter ist entsprechende Person in den Unternehmen.

00:12:25: Das hätte den großen Vorteil dass wir eben die Stellvertretung nutzen können und das wir vor allen Dingen nach den bekannten Regeln in der stellvertretungen, also bei der Vollmacht oder Vollmachtsüberschreitung arbeiten können.

00:12:38: Da haben wir klare rechtliche Vorgaben.

00:12:41: Der Vertreter darf nur innerhalb seiner Vollmachthandeln oder seines Mandats handeln.

00:12:45: wenn er darüber hinausgeht und mehr Macht als er darf dann habe ich da ein Haftungsregime, das sich anwenden kann und das ist im Grunde ein altbekanntes Modell.

00:12:56: Der Nachteil ist aber und da muss man dann sich mal die Praktikabilität anschauen, dass der Anbieter Daniel sehr tief in die Geschäftsprozesse hineinkommt.

00:13:06: Ist die Frage will der hunderttausendfach eine Millionfach hier in diese einzelnen Geschäfts-Prozesse rein?

00:13:14: Weil das zielrechtlich kann es sinnvoll sein, aber haftungsrechtlich... kommen dann in den folgenden Sendungen, vielleicht auch noch aufsichtsrecht zurück.

00:13:25: Da entstehen natürlich die großen Themen.

00:13:28: Aber das ist nicht ausgeschlossen.

00:13:30: Stellvertretung ist zumindest mal rechtlich möglich.

00:13:36: Lass uns – was war das nächste?

00:13:40: Wir haben uns zur Botenschaft unterhalten.

00:13:46: Die Botenschaft ist ein bekanntes Rechtsregime.

00:13:49: der Boote entscheidet im Grunde nicht selber.

00:13:53: Der transportiert letzten Endes eine vorgefertigte Willenserklärung, also wenn ich zum Beispiel... Ich gebe dir jetzt den Auftrag, gebe bitte zum Händler XY und sage ich möchte genau dieses eine Auto das hier im Schaufenster steht für zwanzigtausend Euro kaufen dann überbringst du sozusagen meine Willenserklarungen als Boote, also du hast gar keine Autonomie, du kannst da gar nicht eingreifen bis quasi wie ein Postbote, der im Briefkasten eingewürft.

00:14:20: Dann

00:14:20: brauche ich eigentlich auch KI nicht?

00:14:23: Genau oder?

00:14:24: Also vielleicht sollte man das dann mit der Botenfigur lassen weil die KI soll ja sehr viel mehr machen.

00:14:31: Weil sonst bin ich ja beim alten Muster und vom Grunde her ist der Mensch faul und ist für jeden technologischen Fortschritt dankbar.

00:14:42: Jetzt kommen wir zu den zwei spannenden Themen.

00:14:46: März gesagt Computer Erklärung und Blanquette Erklärungen.

00:14:51: Also die Computererklärung, die kennen wir Juristen im Grunde schon seit vielen Jahrzehnten.

00:14:56: Du hast ein Unternehmen das ein System nach festen Regeln programmiert.

00:15:01: Wenn eine bestimmte Bedingung erfüllt ist dann erzeugt das System eine automatische Erklärion.

00:15:06: also es sind das klassische.

00:15:07: wenn dann wenn x dann y. Ein Beispiel dazu die ein klassisches, in einem klassischen wahren wirtschaftssysteme ein automatisches bestell system.

00:15:23: Ich kriege ich krieg im system eingespielt.

00:15:26: Die die wahre x y ist nicht mehr da oder hat einen ein Minimum erreicht und dann wird automatisch gesagt Wir brauchen hier eine neue bestellung Und dann wird eben die war wieder aufgestockt mit sozusagen der produktionslos weiterlaufen kann.

00:15:41: Bei der modernen ki Stoßen wir dabei an die grenzen weil eben dort der Nutzer, also der die KI nutzt.

00:15:51: Die konkreten Entscheidungen davor ja nicht kennt und er kennt auch nicht die Entscheidungs-Logik hinter der KI.

00:15:57: Also ich weiß zwar wie ich prompte, ich weiß was ich da sage und welche Parameter ich setze aber ich weiß ja nicht wie diese Entscheidungsprozesse laufen.

00:16:05: Und die Autonomer und Lernfeger, die die Systeme sind oder die KI ist so schwieriger wird es halt am Ende des Tages auch sozusagen eine vorprogrammierte Erklärung des Nutzers zu verstehen, sodass wir da ähnlich wie bei der Bodenstellung zwar ein bisschen mehr können aber letzten Endes das KI-Thema nicht wirklich abbilden können.

00:16:26: Nicht ausgeschöpft

00:16:27: haben?

00:16:27: Ganz genau!

00:16:30: So dann kommen wir zur Blanquetteerklärung.

00:16:34: Kennst du bestimmt, oder?

00:16:36: Das klinkt an einer guten Lösung.

00:16:39: Jeder gibt ja gerne einen Blanko-Shack, kennt man vielleicht.

00:16:42: Hier ist ein Shack, den Betrag stellst du selber ein.

00:16:44: Das stelle ich mir total cool vor.

00:16:46: Kannst du im Grunde eintragen was du willst und dann gehst du zur Bank und lässt es aus sein?

00:16:51: Nämlich!

00:16:53: Ganz so läuft's natürlich nicht.

00:16:55: Ich hatte vorhin schon gesagt ähnlich wie bei der Stellvertretung hast Du natürlich auch beim Planquette zwar Freiheiten aber die wird immer durch einen Mandat begrenzt.

00:17:06: also ich gebe eine Erklärung ab Lass aber bestimmte Punkte bewusst offen, weil ich sie jetzt noch nicht weiß.

00:17:12: Weil ich dem, den ich sie gebe vertraue, dass er so ein bisschen recherchiert und gibt dann ein gewisses rechtliches dürfen mit das die Person in dem Fall die KI später dann innerhalb dieses Mandats handelt.

00:17:26: also übertragen nochmal auf unseren Flugbeispiel von vorhin Ich sag da nicht welchen konkreten Flug sozusagen die KI kaufen soll sondern ich sage Ich möchte nach Barcelona.

00:17:38: Das soll dann im Freitag sein, dreieinhalb Euro maximal kosten bitte nicht am Abend oder in der Früh.

00:17:44: umsteigen möchte ich im Grunde auch nicht so damit gebe ich einen gewissen Rechtsrahmen vor der ausgefüllt werden kann.

00:17:51: die KI konkretisiert es dann also Airline Flugnummerpreis und weiter passt das alles zusammen handelt innerhalb des Mandats und dann bin ich rechtlich sauber aufgestattet.

00:18:06: genau das waren jetzt mal die vier Modelle, die wir in Zivilrecht kennen.

00:18:12: Okay also man hört raus, ziemlich entscheidend scheint dabei zu sein was ich dem Agent vorher erlaubt habe.

00:18:19: und ja ich frage an dich welche Rolle spielt da dieses Mandat?

00:18:25: Das ist im Grunde das Herzstück zivilrechtlich weil wenn ich kein Mandat erteile sondern nur delegiere dann kann der rechtlich gesehen Vertreter damit die KI alles.

00:18:39: Wenn ich eine Blanco vollmacht gebe, dann kann ich damit machen was ich will.

00:18:43: Natürlich immer im Grenze von Treue und Glauben und da gibt es auch zivilrechtliche Grundsätze.

00:18:49: aber im Grundsatz bin ich sehr frei in dem was ich sage und deswegen würde ich auch sagen das Agenda Commerce System ist aus meiner Sicht weniger ein KI Produkt die KI hilft ja nur technische Vehikel sondern ist ein Mandatsprodukt dass der Nutzer letzten Endes selber festlegt.

00:19:10: Und in so eine Mandat, das ist halt dann besonders gut wenn ich es halt möglichst genau beschreiben kann.

00:19:19: also was ist der Zweck den du erfüllen sollst?

00:19:22: Welche Grenzen gibt's beitragsmäßig, mengenmäßig innerhalb welcher Zeit soll ich agieren oder wann sollen bestimmt das Ereignis gebucht werden?

00:19:31: Bei welchen Händlern darfst du einkaufen oder eben nicht einkauen?

00:19:34: Und so weiter.

00:19:35: Also es braucht einfach Regeln, damit der Agent am Ende des Tages eben meinen Willen den ich habe und den ich delegiere ausfüllt.

00:19:46: Deswegen ist – machen wir uns mal ein bisschen plagativ – so einen Kernsatz.

00:19:51: Der Agent darf im Grunde nicht mehr können als der Nutzer nachweisbar delegiert hat.

00:19:58: Dann lass uns doch jetzt noch mal einen kurzen Blick zumindest drauf auf die Risiken werfen.

00:20:02: Also was ist denn nun, wenn ich jetzt gesagt habe okay bucht den Flug für dreieinhalb Euro KI-Bucht aber oder bestellt jetzt einmal für vierhundertfünfzig Euro den Flug?

00:20:13: Was passiert jetzt rechtlich, wenn die Grenzen seines Mandats überschreitet?

00:20:20: Wenn die Grenze des Mandats überschritten werden dann stellt sich ja immer die Frage sozusagen behaftet.

00:20:30: Also irgendeiner muss jetzt ja sozusagen den Schaden tragen.

00:20:34: also ich Beispiel, ich sag dreihundert darfst ausgeben vierhundfünfzig werden ausgegeben dann wird sich der Händler wahrscheinlich erstmal nicht beschweren weil er sagt super viel Geld verdient.

00:20:45: Ich bin aber sozusagen hundertfünftig im Minus weil ich eigentlich nur dreihundert ausgeben wollte.

00:20:50: also will ich die hundert fünfzig haben Und irgendeiner muss die Party ja dann letzten Endes bezahlen.

00:20:55: Am Ende des Tages hängt die Frage, was passiert wenn der Agent das Mandat überschreitet sehr deutlich davon ab welches Zurechnungsmodell... Die haben wir gerade im Einzelnen durchgegangen welches zurechnung Modell es gibt.

00:21:11: und je nachdem was ich für ein Zurehnungsmodel habe, muss ich mir das mandat genau anschauen und dann gucke ich hat er Händler?

00:21:21: Und das ist auch wichtig.

00:21:23: Also ein Grundsatz in den Stellvertretungsrecht hat.

00:21:27: derjenige, der die Willenserklärung empfangen hat konnte der sehen bei der KI technisch sehen dass wir hier eine Überschreitung des Mandats haben.

00:21:35: ja weil wenn er genau weiß weil zum Beispiel über die Rails von Misa und Mastercard technisch übermitteln wird Achtung!

00:21:41: Das mandat geht eigentlich nur bis drei hundert Euro und der Händler akzeptiert aber vierhundert fünfzig.

00:21:48: dann hat er natürlich gesehen, dass der Vertreter die seine Vollmacht oder seinen Mandat überschreitet und dann hat er natürlich im Falle einer rechtlichen Auseinandersetzung sehr schlechte Karten.

00:22:01: Weil man immer sagen kann vor allen Dingen beweisbar sagen kann Schau mal du hast doch gewusst.

00:22:05: in dem Token den dir Vorlag wurde das Mandat angezeigt.

00:22:09: Das hättest du also verhindern müssen.

00:22:12: Und deswegen ist ganz klar die Frage wer haftet davon abhängig, sozusagen welches Zurechnungsmodell wir haben und wie das Mandat überschritten wurde.

00:22:25: Und deshalb ist es extrem wichtig dass wir die technischen Mittel nutzen um diesen Missbrauchers gar nicht möglich zu machen glaube ich, ist der Vorteil oder das Kern der Modelle der großen Zahlungsdienste Anbieter dass die eben diese Mandatsüberschreitung technisch ausschließen.

00:22:47: Da kann ich mir vorstellen, dass wie so eine Art Autorisierung stattfindet und wenn eben nur bis drei hundert Euro eine Zahlung freigegeben worden ist dann sperrt das Modell automatisch einen überschreiten.

00:22:59: aber Missbrauch gibt es natürlich immer.

00:23:01: Ja, Missbrauch und noch schwieriger finde ich dann solche Fälle nicht.

00:23:04: Ich meine man verfolgt die Nachrichten und hört immer wieder, wie der KI auch ganz alleine irgendwelche Entscheidungen trifft.

00:23:12: Also was passiert denn eigentlich jetzt wenn etwas tut, was ich überhaupt nicht gerechnet habe?

00:23:18: Wie geht man damit um?

00:23:21: Da passiert das, das hab' ich überhaupt nie in Auftrag gegeben.

00:23:24: Genau!

00:23:26: Das ist ganz entscheidend, in welchem Zurechnungsmodell befinden wir uns.

00:23:32: Weil wir dann ja nur sagen können wer es jetzt dafür verantwortlich ist.

00:23:35: Die KI dreht hohl hat einen technischen Fehler oder macht sogar boshaft weil sie ausbricht aus einem Mandat.

00:23:44: da muss ich mir halt ganz genau anschauen.

00:23:46: also erstens müssen wir das Mandat mal anschauen.

00:23:48: ist das beweisbar abgelegt?

00:23:50: Ich muss mir anschauen wenn ich zum Beispiel ein Vertreter-Modell bin hat derjenige, der das Tool einsetzt die Verantwortung dafür.

00:23:58: Also erinnert sich wenn das KI-Unternehmen meinen Vertreter ist weil es eben die natürliche oder juristische Person ist dann ist sehr sie dafür verantwortlich dass mein Mandat eingehalten wird.

00:24:08: Die Nutzung der KI ist ja nur ein technisches Tool um sozusagen dieses mandat auszufüllen und Dann wird ihm Dieses Fehlverhalten da KI natürlich zugerechnet.

00:24:20: weil ich kann jetzt nicht sagen so Kann ich's dazu?

00:24:23: Die KI ist hier wohlgedreht, da war ein technischer Fehler vor.

00:24:28: Dann würde ich immer als derjenige, der das Mandat erteilt hat sagen, ja, das ist aber nicht mal ein Problem.

00:24:33: Ich hab dich mandatiert und du nutzt es.

00:24:35: tul, dein Tool funktioniert nicht.

00:24:37: Ich habe den Schaden und den möchte ich jetzt von dir

00:24:39: haben.".

00:24:42: Was denkst Du denn?

00:24:43: Reicht unser heutiges Ziel wie recht grundsätzlich aus oder denkst du, dass der Gesetzgeber dann auch extrem nachsteuern muss?

00:24:53: Also jetzt sage ich was, wofür mich wahrscheinlich meine Anwaltskollegen steinigen.

00:24:57: Ich finde wir haben schon viel zu viele Gesetze.

00:25:03: Die Gesetzeswut finde ich eh schon absurd hoch.

00:25:07: Die ist mittlerweile so hoch, dass selbst Viereristen glaube ich nur noch mit KI-Hilfe sehen können was da erlassen wird.

00:25:14: Ich habe mal irgendwo eine Zahl gelesen bitte nicht festnageln aber ich hab irgendwann mal gelesen das auf EU Ebene tausend Gesetze allein im Bank und Finanzwesen jedes Jahr lassen werden.

00:25:24: Das natürlich völlig irre und gesetzliche Rahmen ist immer schön schafft aber immer Bürokratie.

00:25:30: deswegen... Ich hoffe nicht und hier ist auch meine klare Einschätzung.

00:25:36: Also mein Eindruck ist, dass das BGB mit den Anforderungen die und dem Problemen und Herausforderungen, die die KI mit sich bringt hervorragend klar kommt.

00:25:48: Wir haben alle rechtlichen Mittel um sozusagen umzusetzen was wir brauchen werden die Stellvertretung die Botenschaf Computer Erklärung Plakett Erklärungen haben wir schon ausgeführt.

00:25:58: Die haben natürlich alle Vor- und Nachteile.

00:26:02: Das heißt also rechtlich können wir es umsetzen.

00:26:06: Die Schwierigkeiten liegen in, oder die leben nicht von Schwierigkeiten sondern Herausforderungen liegen meines Erachtens darin dass wir nur festlegen müssen wie wir das praktisch umsetzten.

00:26:18: und praktisch Umsetzen bedeutet Wie beweisen wir dass ein Mandat vorliegt und welchen Inhalt es hat?

00:26:26: Wie machen wir die Limits lesbar?

00:26:28: Da haben wir die großen Anbieter, die das umsetzen mit ihren Payment Rails.

00:26:33: Hier gehen wir um mit Manipulationen.

00:26:35: da haben wir uns schon angeschaut dass es ganz wichtig ist welches Zurechnungsmodell wir nehmen und wie verteilen wird ihr Haftum?

00:26:41: Also wer muss das Port Money aufmachen wenn was schief geht?

00:26:47: Und deswegen würde ich hier eher von einem Anpassungs- und Konkretisierungsbedarf sprechen, aber nicht von der Regelungslücke.

00:26:54: Und bitte nicht von neuer Gesetzgebung.

00:26:57: Davon haben wir eh schon viel zuviel.

00:26:58: Okay!

00:27:02: Was sollten denn Unternehmen wie heute die Agenticumers Lösungen entwickeln?

00:27:06: Was sollten sie dann rechtlich aus deiner Sicht jetzt schlafen?

00:27:10: schon mal?

00:27:12: Also... fangen wir mal an wie sie nicht, was sie nicht auf dem Schirm haben sollen oder sie nicht machen sollten ist.

00:27:17: Wie autonom können wir unsere Agenten machen?

00:27:19: Sondern die sollen sich anschauen welche Autonomie können wir rechtlich kontrollierbar dass das eine und vor allen Dingen im Streitfall beweisbar machen?

00:27:28: weil das ist genau der Punkt wenn alles klappt dann streiten wir nicht dann ist alle super.

00:27:34: Wenn was nicht klappt, weil die KI eben nicht sauber arbeitet.

00:27:38: Dann gibt es einen Streit und dann gibt's Beweislast und Beweispflicht und das muss ich dann alles sauber aufsetzen.

00:27:44: Und deswegen wäre aus meiner Sicht für Unternehmen ganz entscheidend, die Identity zu bestimmen.

00:27:50: also wer ist Nutzer?

00:27:52: Wer ist Agent?

00:27:53: Wer is Anbieter?

00:27:53: Wers Händler?

00:27:55: Ich brauche zweitens ein ganz klares Mandat.

00:27:58: Also was darf die KI... Was darf der Agent konkret tun?

00:28:04: Ich brauche ein sogenanntes Risk-Tiering.

00:28:07: Was ist das?

00:28:08: Furchtbarer Begriff, habe ich selber es gelesen.

00:28:11: Also was darf automatisch passieren und wann braucht's eine menschliche Freigabe?

00:28:16: also wir brauchen glaube schon noch so bei all der Freiheit und Risiko-Hunger oder weniger Risikohunger muss die KI glaub ich jetzt in der Übergangszeit zumindest einen Protokoll vorsehen dass die KI selber erkennt.

00:28:33: Bin ich jetzt eigentlich noch innerhalb des Mandats oder kann das gewollt sein?

00:28:38: Ich habe hier zwar ein Ergebnis, dass technisch passt irgendwie ins Mandat.

00:28:42: Das hab' ich alles ausgelegt.

00:28:44: aber wann ist es sinnvoll vielleicht doch nochmal eine Rückfrage zu schicken so wie's auch in einer analogen Welt ist wenn man bei einer Buchung ist und dann kommt man plötzlich ach mist ihr zwei sich gar nicht solch die oder die Karte verwenden usw.

00:28:58: also da brauche ich noch dieses risk tiering.

00:29:01: Also wann brauche ich trotz KI noch mal eine Freigabe?

00:29:06: Ich brauch dann eine Beweisbarkeit, also Mandatausfallentscheidung, Konsent und technische Nachweise müssen alles protokolliert werden.

00:29:13: Ich brauche eine Beweisbarkeit im Falle eines Streits und es muss so sein dass das gerichtsfest ist.

00:29:19: Das heißt, dass ein Richter wenn er das Protokoll sieht sagt da steht's.

00:29:24: Mandat wurde eingehalten oder mandat wurde überschritten und dann weiß der eben sozusagen die... Haftung zu oder eben nicht.

00:29:33: Und wann kann ich aus dem vollautomatisierten Bereich wieder zurückkehren?

00:29:40: Also, wann kann der Nutzer sozusagen einschreiten?

00:29:42: Wann kann er wiederrufen?

00:29:43: Man kann reklamieren und so weiter.

00:29:45: also man kann praktisch die KI wieder stoppen und eine menschliche Entscheidung verlangen und das muss alles sozusagen Hand in Hand technisch und rechtlich umgesetzt werden.

00:29:56: Also wer darf was, welchen Nachweis braucht es?

00:29:58: Wann können wir einschreiten und wann ist irgendwas außerhalb des Mandats.

00:30:02: Und ich glaube das sind die Kernthemen mit denen wir uns in den nächsten jetzt sage ich mal Wochen- und Monaten beschäftigen sollten weil aus meiner Sicht wird dieses Thema sehr viel schneller kommen als wir vielleicht heute glauben.

00:30:17: davon bin ich fest überzeugt.

00:30:20: Frank, vielen Dank.

00:30:22: Also sehr spannend wie weit das Bestehenbereich erträgt.

00:30:25: und ja vielen Dank für deine Ausführung auf jeden Fall erstmal.

00:30:31: Und wir schaffen das nicht alles in eine Folge zu packen?

00:30:35: Das ist irgendwie dann doch eigentlich umfangreicher denn mit dem Verstragsabschluss ist es ja die Geschichte natürlich noch nicht zu Ende erzählt.

00:30:42: Irgendwann muss der Agent den Flug auch bezahlen Und das schauen wir uns in den nächsten Folgen an.

00:30:48: Frank, wie geht es weiter?

00:30:51: Ja genau, also Vertragsschluss ist schön aber irgendwann will jemand eine Leistung haben und der andere will auch bezahlt werden dafür.

00:30:59: Das Bezahlen ist natürlich technisch sehr einfach umsetzbar.

00:31:03: Das können die großen Anbieter aber wir müssen uns mal anschauen.

00:31:05: Das Eine ist ja was sie technisch können und das Andere ist was Sie rechtlich dürfen.

00:31:10: Die Ausführungen einer Zahlung ist schon schwierig wenn ich als Also in der Analogenwelt, als Mensch sozusagen.

00:31:18: Zahlungausführer gibt es Leitplanken, da gibt's Aufsichtsrechte, aufsichtsbehörden die BAFIN.

00:31:24: Da gibt's Erlaubnisvorbehalt und so weiter.

00:31:26: Und wir schauen uns mal an was passiert wenn eine KI bezahlt?

00:31:31: Braucht dann die BAFFIN, schaut die BAffin vorbei und sagt hey KI jetzt brauchen wir hier eine Zahlungserlaubnis.

00:31:36: oder fühl mir den Anbieter dahinter.

00:31:38: Die Themen sollten wir uns mal genauer anschauen.

00:31:41: Da wird's noch mal relativ spannend.

00:31:42: Ja, also es wird und bleibt spannend.

00:31:45: Und deswegen die Behörerinnen und Hörer bleibt dran bei AllesLegal.

00:31:49: Find der gleich kompakt bis zur nächsten Woche!

00:31:52: Ciao.