#581: Mensch und Modell: Die neue Guardrail im Fraud Management
Shownotes
Betrüger arbeiten längst mit KI: Deepfakes, synthetische Identitäten, hyperpersonalisierte Scams. Wie Banken, Fintechs und PSPs darauf reagieren – und warum die entscheidende Guardrail nicht die Technologie allein ist, sondern das Zusammenspiel von Mensch und Modell.
Themen dieser Folge
- Wie KI Betrug skaliert: Deepfakes, gefälschte CEO-Anrufe und synthetische Identitäten
- KI als Fraud-Assistent: Schnellere Erkennung von Auffälligkeiten in großen Datenmengen
- Warum menschliche Erfahrung unersetzbar bleibt – und ein norditalienischer Akzent einen Betrug entlarvte
- Eigene KI-Systeme absichern: KI-VO, Aufsicht und Haftung in der Fraud-Praxis
- Wo Guardrails schützen – und wo sie die Betrugsabwehr ausbremsen
KI bringt Geschwindigkeit, der Mensch bringt Erfahrung und Urteilsvermögen – diese Kombination wird zur entscheidenden Guardrail im Fraud Management.
Viel Spaß beim Hören!
Transkript anzeigen
00:00:02: Nicht nur
00:00:02: News, sondern
00:00:04: Hintergründe.
00:00:05: Permanent Banking – der Podcast mit echten Insights aus der Branche.
00:00:09: Echt
00:00:09: direkt fintech
00:00:11: pur!
00:00:12: Wir haben
00:00:13: sehr viel über die
00:00:14: schönen Seiten von KI schon gesprochen also was sind die Chancen?
00:00:18: Was eröffnet uns KI?
00:00:20: aber in jedem Panel bis auf jetzt dein Panel Mike wurde immer wieder über das Thema Verantwortung Haftung Fraud gesprochen.
00:00:29: Wir wissen es alle, letztendlich müssen wir uns entscheiden wer arbeitet gegen wehen.
00:00:35: Letztendlich ist aber klar dass die Betrüger ja mit eigentlich den gleichen Werkzeugen arbeiten wie wir natürlich in unserer Branche auch arbeiten und das muss man einfach wissen.
00:00:44: und jemand der das besonders gut weiß Das ist die Liebe.
00:00:47: Karm Hoakasie arbeitet bei oder ist Beraterin bei RISK Ident Wie der Name schon sagt also ihr identifiziert.
00:00:55: das Risiko sozusagen kam, du warst schon auf unser Payment Exchange.
00:01:00: Und was mir sehr gefallen hat ist, dass du gerade auch aus deiner Historie ... Du hast lange Zeit in der USA gelebt.
00:01:06: Sehr toll und anektotisch erzählen kannst!
00:01:08: Ich hoffe, in deinem Vortrag hast du was ähnlich Anektotisches mitgebracht?
00:01:12: Naja auf jeden Fall bin ich mir sicher, dass ihr heute coole Eins oder Insights bekommt wie man sozusagen dem Risk auf die Spur kommen kann und was es eben für Guardrails bedeutet und du gehst natürlich den Faktor Mensch nicht ausklammern, der da wichtig ist.
00:01:29: Also Kram, die Bühne ist dir.
00:01:32: Vielen Dank!
00:01:33: Freu mich total hier zu sein und eigentlich hat Michael Müller von Microsoft meinen kompletten Vortrag eigentlich zusammengefasst.
00:01:44: Und zwar wenn wir von KI reden.
00:01:47: also erst mal muss ich damit anfangen.
00:01:49: Ich arbeite seit fast zwanzig Jahren in der Betrugsprävention davon die meiste Zeit fast fünfzehn in den USA und bin jetzt seit vier Jahren bei riskident als Beraterin und befasse mich ständig mit dem Thema KI, Psychologie- und Betrugsprävention.
00:02:09: Und warum der Mensch so wichtig ist?
00:02:12: Und warum mache ich das?
00:02:14: Tja!
00:02:15: Und wie gesagt, ich beschäftige mich mit diesem Thema und höre aber immer Schauergeschichten.
00:02:23: KI wird uns alle ersetzen.
00:02:26: Wir verlieren alle unsere Jobs.
00:02:28: Die ist bösartig.
00:02:29: So ein Skynet wird die Welt erobern und wir als Menschen gehen unter.
00:02:35: Natürlich dem ich mit dem nicht überein, weil klar ist sie eine Bedrohung!
00:02:42: Die KI hat eben die Möglichkeit, Menschen sehr gut nachzuahmen.
00:02:47: Da denke ich an die Beispiele von Deepfakes wo der CFO plötzlich einen Anruf vom CEO bekommt, vielleicht auch noch über Video und der sagt hey bin auf Geschäftsreise da und da.
00:03:01: Und ich brauche unbedingt eine Million!
00:03:05: Es ist ja wie gesagt der CEO.
00:03:07: also Millionen wird überwiesen.
00:03:10: das ist in mehreren Firmen passiert.
00:03:12: die Schaden sind hoch weil es ging natürlich an Betrüger aber da kommt schon die erste Anektode außer Ferrari hatte nämlich erkannt, dass es nicht der CEO ist.
00:03:24: Und zwar an einer ganz eigenartigen Kleinigkeit.
00:03:29: Der CEO hat einen speziellen italienischen, ich glaube Norditalienischen Akzent und die KI hat natürlich nur typisches Italienisch gesprochen den Akzent nicht gehabt.
00:03:43: also Geld wurde nicht überwiesend.
00:03:46: oder Voice Cloning Anruf klingt wie der Chef, ist es aber nicht.
00:03:52: Oder so Sachen wie synthetische Identitäten.
00:03:57: Die sind industriell, die sind skaliert und natürlich unsichtbar.
00:04:02: Und dann kommt... Tja!
00:04:04: Die KI, die ist die Lebensretterin.
00:04:06: Die wird alle unsere Sachen leichter machen weil sie kann innerhalb von Millisekunden Transaktion verbinden, sie überprüfen und eventuell sagen wo die Zusammenhänge sind und natürliche Bearbeitung machen.
00:04:25: Sie wird nicht müde!
00:04:26: Die braucht keine Kaffeepause, sie braucht nicht mal ein Kaffee.
00:04:29: Die ist immer freundlich, die ist nicht schlecht gelaunt, die kommt immer ins Büro wenn ich sie brauche egal wann und wie viel und überhaupt.
00:04:38: sie ist eben einfach perfekt.
00:04:43: Aber ist sie das denn?
00:04:45: Wenn wir dann zum Mensch überwechseln.
00:04:49: Ich sage immer, wir in der Bedrucksprävention haben einen sechsten Sinn und keine KI der Welt kann diesen Sechsten-Sinn ersetzen!
00:05:00: Und dieser Sechste-Sin sagt mir Sachen wie... Irgendwas stimmt hier nicht.
00:05:06: Ich weiß nicht was es ist aber irgendwas is da faul und dann gehe ich graben, wie ich das sag'.
00:05:13: Und sie kann keinen Kontext verstehen.
00:05:16: Und was ich damit meine, ist der psychologische Kontext.
00:05:19: Diese Nuancen die wir haben wenn wir miteinander reden, meine Gesichtsausdrücke, meine Körperhaltung... Ich gebe euch ein Beispiel!
00:05:27: Ich benutze Claude.
00:05:29: Wenn er mal wieder Müll gebaut hat, ist er Klaus und Klaus hat in diesem Fall tatsächlich auch Müll gebaute.
00:05:35: Warum?
00:05:36: Ich habe ihn gefragt, ob er mir ein paar eventuell Tipps geben kann für einen Gespräch mit einem Seelspartner und aus welchen Gründen auch immer meinte Klaus das ist also der Böse.
00:05:51: Und ich musste lachen, hab gesagt wie der Böser, wie kommt's denn jetzt darauf?
00:05:55: Und seine Antwort war Korrektur!
00:05:59: Er nicht der Börse eher Freund.
00:06:03: Und ich wusste in dem Moment klar, er sieht ja nur genau das was sich eingebe.
00:06:11: Was ich eingebe, trash-in, trash out macht meine KI gut oder schlecht.
00:06:19: und wir Menschen haben eben dieses Feindfühlvermögen diese Nuancen die die KI noch nicht so ganz kapiert wie auch gerade der Den Namen schon wieder vergessen von Microsoft gesagt hat.
00:06:36: Michael, genau!
00:06:37: Wir können das einfach noch nicht so mit der KI machen weil wenn ich ihm ohne Kontext einfach nur fütterere ist die Chance dass ich was Falsches zurück bekomme immer noch sehr hoch.
00:06:51: Ich muss also in der Lage sein oder das Wissen haben meine KI zu korrigieren Weil ich ihr sagen muss Oder Klaus sagen muss hey Du liegst hier falsch.
00:07:02: Hey, das stimmt so nicht!
00:07:04: Oder wie kommst du auf diese Idee?
00:07:06: Wo hast denn das jetzt
00:07:07: her?".
00:07:08: Und dafür brauchen wir immer noch den Mensch.
00:07:12: und ich sage dann immer ja, zwanzig Jahre in der Betrugserfahrung ist kein Datensatz, den ich einspeichern kann.
00:07:21: Das ist einfach eine Intuition aber natürlich sind langsam und teuer und inconsistent Aber deswegen brauchen wir beide.
00:07:33: Und da kommt die Guardrail!
00:07:35: Ich hasse immer diesen Vergleich AI gegen Mensch, Mensch gegen KI... ich sage nein eigentlich ist es weder.
00:07:44: Es is Mensch mit Modell und das Beispiel dass ich gebe ist.. ich war am Anfang auch einer der Leute die Angst vor KI hatten weil ich soll mich ersetzen bis ich dann angefangen habe auch mit Claude large language model zu arbeiten.
00:08:01: Was ich rausgefunden habe, war absolut erstaunlich und lebensretterig für mich.
00:08:08: Weil... Ich hab so die Gabe das mein Gehirn so fünfhundert Meilen pro Stunde rennt.
00:08:16: Das macht das erzählen mit Menschen manchmal schwierig weil die mir nicht immer folgen können, weil Hölzchen zu stöckchen oder wie es heißt.
00:08:25: Und ich sag dann zu Klaus?
00:08:28: Klaus!
00:08:29: Brain Dump Let's go.
00:08:32: Und dann schreibe ich alles, was ich an Wissen habe und alles, das mir zu dem Thema einfällt.
00:08:38: Schreib' ich da rein!
00:08:40: Das kann es seites sein – ich schreiber lustig drauf los.
00:08:43: Dann kommt die KI.
00:08:45: Die KI skaliert es.
00:08:49: Er sortet die Information.
00:08:52: ist das wichtig?
00:08:53: können wir da jetzt Dinge rausnehmen?
00:08:55: hast du dazu viel gesagt?
00:08:57: Macht's einfach perfekt für mich.
00:09:00: Das gibt mir auch die Möglichkeit, mehr an Arbeit eventuell rauszuhauen.
00:09:07: Weil drüber lesen muss ich eh weil wie gesagt er haluziniert ab und zu.
00:09:13: aber im großen Ganzen gibt es immer noch die Möglichkeit Sachen zu tun in einer Schnelligkeit, die ich vorher nicht konnte.
00:09:22: Und da fällt mir dann natürlich ein dass gerade in der Betrugsprävention brauchen wir ab und zu jemanden, der uns hilft unsere Ideen- und Gedankengänge mehr oder minder auszuarbeiten.
00:09:41: Und das Beispiel, dass ich euch dazu gebe wieder in der Betrugsprävention falls da hier Leute sind die darin arbeiten.
00:09:49: es gibt so Sachen wie sogenannte First Party Fraud or Friendly Fraud, Retourenbetrug.
00:09:56: Wie will Ich eine KI darauf trainieren festzustellen, wenn es doch tatsächlich mein Kunde ist.
00:10:04: Es IST mein Künde der behauptet er hat die Sendung nicht erhalten!
00:10:08: Er war es nicht.
00:10:09: Geld hat er nicht ausgegeben.
00:10:11: Wie will ich das mit einer KI trainieren?
00:10:14: Weil es doch das Verhalten isst wo ich in ein Konto zum Beispiel reingehe und sehe guck mal Kamen hat fünf Sachen bestellt in den letzten sechs Monaten Vier davon hat sie zurückgeschickt und wir haben dann auch das Rückgabengeld erhalten, aber da war nix.
00:10:34: Da kamen nichts rein!
00:10:36: Wie will ich sehen?
00:10:40: Wie kann ich die vorher erkennen?
00:10:42: Weil ich möchte ja keine guten Kunden ablappen.
00:10:45: Aber die KI, der kann ich zum Beispiel sagen hey hier sind die Sachen, die ich gefunden habe bei Leuten, die schummeln, die abusive sind... Kann das eingeben sein?
00:10:56: Wenn du solche und solche Verhalten siehst, das kann ich in mein Model mit einbauen.
00:11:01: Ich send mir Flagg!
00:11:03: Und das kommt eben darauf zurück dass wir eben zusammenarbeiten.
00:11:09: für mich ist KI mittlerweile der beste Assistent der Welt weil er wird halt nicht müde und er kann halt mit ihr mithalten auch wenn die Sachen für normalen Menschen keinen Senner geben.
00:11:24: so und damit komme ich schon zum Schluss, weil ich wollte mich unbedingt an die zwanzig Minuten halten.
00:11:32: Betrugsprävention ist Themenarbeit das war es schon immer der Mensch dann schon immer im Mittelpunkt.
00:11:39: wir haben meiner Meinung nach bin vielleicht ein bisschen voreingenommen spezielle Menschen die in der betrugs prävention arbeiten den was daran liegt die welt eventuell besser zu machen denn es daran liegt dass sie Betrügern und bösen Menschen das Handwerk legen, da die sind persönlich damit dabei.
00:12:01: Das sind ich Leute, die vom Computer hocken und sagen Ha!
00:12:05: Heute wieder mein Tag Ich bin da meine Benefits und meinen Lohn zu passieren.
00:12:09: Nein wir haben einen persönlichen Grund.
00:12:12: man kann sich da wirklich in der Psychologie wahnsinnig Wiedersehen.
00:12:18: also ich finde mich immer wieder mit Leuten Die in dieser Branche arbeiten auch wie bei uns bei riskident.
00:12:25: Ich arbeite eben großteil, neun und neunzig Prozent mit einfach speziellen Menschen zusammen.
00:12:34: Und ohne die KI könnten wir glaube ich nicht so gut sein wie wir sind.
00:12:39: aber die KI kann ohne uns auch noch nicht.
00:12:43: deswegen sage ich es nochmal der Mensch steht immer im Mittelpunkt.
00:12:48: Vielen Dank für Sie bekamen.
00:12:51: Da du dich ja so außergewöhnlich gut an die Zeit gehalten hast, haben wir tatsächlich auch noch ein, zwei mögliche Fragen.
00:12:58: Wenn denn da welche sind?
00:13:00: Gibt es welche vielleicht?
00:13:02: also muss jetzt auch nicht direkt mit dem Faktor Mensch unbedingt zu tun haben.
00:13:05: wie gesagt Du bist Beraterin und berätst natürlich auch Filmen Firmen Wie sie entsprechend Betrug verhindern können wie Sie entsprechende Betrüger auf die Schläche kommen gibt's.
00:13:18: Also wenn jetzt keine Fragen kommen gibt, kannst du da vielleicht noch ein bisschen ausholen?
00:13:21: Was beobachtet dich gerade im Moment was das Thema angeht.
00:13:25: Wenn ich Betrugsprävention ansehe dann wird es immer von der Technik her gesehen.
00:13:31: Wir haben super ML-Models!
00:13:33: Die haben wir seit über zehn Jahren.
00:13:35: so what oder ist alles Technik bla bla?
00:13:38: aber das ist nicht.
00:13:40: die Technik wäre ohne die Leute die sie bauen, die sie erweitern.
00:13:45: Vor allem mit Kreativität auch, wo ich zum Beispiel wie ich genannt habe bei FriendlyFraud oder so auf was guck und sag das hat auch keiner technisch lösen können.
00:13:55: aber wie kann ich das denn lösen?
00:13:58: Und Firmen vor allem sehr große Firmen meinen immer noch Sie bräuchten keine Leute und könnten alles mit Technik machen und automatisieren.
00:14:10: Da komme ich halt und sage, hey nicht so schnell!
00:14:12: Du brauchst vielleicht keine dreißig Leute.
00:14:15: Aber du brauchst schon Leute die ein gewisses Wissen und auch eine gewisse Art von Kreativität und Problemlösung
00:14:23: haben.".
00:14:24: Das haben wir ja auch über den Tag in vielen Panels gehört, im Sinne von bilden die Menschen in ihrer Kompetenz aus.
00:14:31: Nutze die entsprechenden Erfahrungen und dann kannst du auch gute Use-Cases kreieren ist natürlich blöd wenn du auf der anderen Seite die Frost hast, die möglicherweise auch so eine Expertise haben und das ein bisschen als Entschleuniger nehmen um noch besser zu werden.
00:14:45: Das heißt es gibt ja dann möglicherweise doch immer diesen Wettlauf den man eben sowohl mit Mensch als auch Maschine geht weil einen betrug macht dann immer noch der mensch.
00:14:56: das ist
00:14:58: die modelle die von betrügern genutzt werden surprise die wert natürlich auch von menschen kreiert.
00:15:04: die werden nach den kriterien kreieren nur sind denen ihre kriterie.
00:15:09: wie komme ich um die technik der firmen und der guten leute rum.
00:15:16: wie beschummele ich die?
00:15:18: oder wenn es nicht im firmenbereich sie Wie skäme ich eine alte Frau oder irgendjemanden und fische denen ihre Infos, indem nicht ne Bauchreaktion hervorrufe die auf meinen Link klicken?
00:15:33: Und jetzt ohne es zu wissen ein Key-Lager installiert haben der alle ihre Daten abruft.
00:15:39: Also da kommt dann immer wir sagen immer think like a fraudster.
00:15:45: kann ich nicht so in dem Sinn, dass sich die alle blöd finden.
00:15:49: Aber was sie tun und warum sie es tun?
00:15:52: Das kann ich nachvollziehen und mich dann auf die andere Seite mit meiner KI stellen und sagen, Boxing gloves an!
00:16:00: Komm, ich hau dir aufs Maul.
00:16:02: Kannst du so ein... also du musst jetzt keine konkrete Zahl sagen auch aber so'n bisschen vielleicht so eine Orientierung geben.
00:16:10: In wiefern sich diese Betrugs Erkennung auf der einen Seite verbessert hat durch KI, aber auf der anderen Seite natürlich auch der Betrug prozentual größer geworden ist.
00:16:21: Also ich kann eindeutig sagen... Ich habe jetzt ein paar Nummern von der MRC und WISA gesehen.
00:16:31: Wie überraschend das Bedruck weltweit!
00:16:35: runtergegangen ist.
00:16:36: Warum?
00:16:37: Wir haben ML-Modelle, die Link-Analysis machen.
00:16:41: Die können blitzend erkennen auch, die gehören zusammen.
00:16:44: Ich kann Device vor allem benutzen, die mir sagt hey das ist die selbe Person mit dem selten Device und so weiter.
00:16:51: aber was ist angestiegen?
00:16:53: Retourin und Rückgabe frauden, unfriendly frauden!
00:16:58: Das sind im Moment die Führer.
00:17:00: Und warum?
00:17:01: Weil ich die mit reiner Technik nicht identifizieren kann.
00:17:06: Und die sind im Moment in Milliardenhöhe, werden Leute abgezockt also Firmen abgezogen.
00:17:12: Aber ihr erkennt aber wahrscheinlich schon so Patterns auch?
00:17:14: Klar und das ich kann zum Beispiel zu unserem Data Science.
00:17:17: Mensch gehen Mal nach Sachen, wie gucken wir ob wir Daten bekommen können?
00:17:25: Wie oft eine Person ins Konto einlaght.
00:17:28: Wie schnell das Konto erstellt wurde.
00:17:31: Wie lange Browsing-Sessions waren und alle möglichen Sachen.
00:17:35: Und kann dann zum Beispiel sagen hey it's a bot.
00:17:38: oder ich kann sagen die Person existiert.
00:17:41: Die ist ein Bestandskunde und die ist kaufsüchtig.
00:17:46: im Ernst!
00:17:46: Die Psychologie ist da.
00:17:48: Ich kann das erkennen weil sie sich... Eigentlich im Grund genommen ist das Geheimnis einfach.
00:17:55: Ich nehme meine Bestandskunden, meine sogenannten Whales die richtig Kohle ausgeben und die profilig und guckt wie sie sich verhalten?
00:18:06: Wie viel geben dem Durchschnitt aus?
00:18:07: Wie oft sind auf meiner Webseite all diese Sachen?
00:18:10: Und das mache ich derzeit lang mit riesigen Datenbanken.
00:18:15: da kann ich KI wieder nutzen Look for the anomalies, die mal hin und sehe was du da findest.
00:18:23: Und dann kann ich meine Datensätze mit der KI bauen und sagen hier sind die verschiedenen Dinge auf die du achten solltest.
00:18:33: Wenn sie kommen, senden sie einen Push oder irgendetwas.
00:18:38: Hey Review!
00:18:39: Oder nee wird sofort
00:18:40: abgelehnt.".
00:18:45: sitzt mir schon im Nacken mehr oder weniger, hat mir großen Spaß gemacht.
00:18:48: Großen Applaus nochmal an Rann Hoacker von Wrist IDEM.