#70 Ai in Finance: Zehn Prozent Weltuntergang und ein Markt, der nicht bremsen kann

00:00:02: A.I.

00:00:03: in Finance, dein Podcast

00:00:05: über künstliche

00:00:05: Intelligenz im Payment Banking und Fintech mit Sascha Deewaldt

00:00:10: und

00:00:10: Mike Klotz.

00:00:11: Wir sprechen darüber wie Technologie die Finanzwelt revolutioniert – News Insights und Real Talk Kompakt Einladend und motivierend!

00:00:23: Das ist der dritte Episode des Jahres von AI in Finance, euerm Lieblings Podcast aus dem Hause Permanent Banking.

00:00:33: Es ist die Episode siebzig insgesamt und wie immer bei zwei Boomern, die sich mit Technik nicht so richtig auskennen und trotzdem sich entschieden haben einen Technik-Podcast aufzunehmen.

00:00:43: Wir nehmen mein zweites Mal auf!

00:00:45: Wir haben es gestern wieder versucht.

00:00:46: ich hatte technische Schwierigkeiten, mein Mikro war offensichtlich kaputt.

00:00:49: wir konnten das nicht fixen.

00:00:50: deswegen machen wir's nochmal.

00:00:52: Die gute Nachricht ist, es ist über Nacht so viel passiert zu dem Thema wo wir heute einen Deep Dive machen wollen.

00:00:58: Dass ich in einem tiefes Rabbit Hole gefallen bin und tatsächlich die halbe Nacht gelesen und nachgedacht habe... ...und das können wir wieder verwerten!

00:01:04: Mikey wie geht's dir?

00:01:06: Ganz toll also.

00:01:07: mir hast du eben erzählt, du hättest die ganze Nacht damit verbracht dein neues Mikroanslaufen zu bringen.

00:01:11: ja, nachdem du... Sohltofini!

00:01:12: Du!

00:01:12: Achso

00:01:13: erst bei Tilly bestellt hast.

00:01:16: Immer!

00:01:18: Aber ihr seht es ja vielleicht auf dem Video, ein richtig schickes Rode hat er da.

00:01:23: Du bist so ein Podcaster.

00:01:24: bist du jetzt?

00:01:25: Ich bin jetzt Podcaster!

00:01:27: Ich kündige und ist das jetzt rechtskräftig?

00:01:30: Hört keiner.

00:01:32: Ja was ist viel passiert?

00:01:36: schon vorstellen können, worum geht es?

00:01:37: Es geht natürlich um die Entwicklungen.

00:01:40: Die durchaus kritischen Entwicklungen, die es beim Thema AI in den letzten Tagen gegeben hat beziehungsweise.

00:01:46: Es gab Interviews und da wir ja auch immer wieder den Doomsday bei uns zum Thema haben wird glaube ich die ganze Folge ein großer Dooms day.

00:01:55: Und ja ist ganz viel passiert und vielleicht macht das Sinn dass wir das mal so ein bisschen chronologisch diese Anatomie des Schreckens aufrollen.

00:02:06: Ich kenne da jemanden, der hat ja was vorbereitet.

00:02:10: Ja ich glaube auch.

00:02:11: also es gibt so wahnsinnig viele Perspektiven auf das Thema und wir sind gestern in der ersten Aufnahme schon zweimal quasi abgedriftet.

00:02:17: Wir versuchen das heute ein bisschen konzentrierter zu machen.

00:02:19: aber lass uns mal versuchen so vorne anzufangen.

00:02:22: wenn ich sage vorne ist jetzt irgendwie nicht bei bei jesus geburt sondern ich weiß nicht vor fünf oder sechs tagen kam eine nennen wir's mal schreckendste nachrichtung wie ich jetzt gesehen habe.

00:02:32: dass war sogar einer größten beliebtesten tweets auf x seit bestehender plattform.

00:02:39: Also was ist

00:02:40: passiert?

00:02:40: mal oder

00:02:41: jetzt?

00:02:41: völlig krass.

00:02:43: also ne es, Bevor wir zu den wilden und zurzeit überall breit diskutierten Forderungen nach einer KI-Bremse kommen, lohnt sich glaube ich einen Blick auf diesen Auslöser dieser Debatte.

00:02:53: Denn wenige Tage vorher hat ein Enthropic Forscher mit ziemlich drastischen Worten gekündigt und das Ganze nicht bei Dario Amodé seinem Chef direkt per Schriftform sondern er hat das per X getan.

00:03:06: Der Mann heißt Jacob Coxson ist siebenundzwanzig Jahre alt hat vorher auch schon eine ganze Weile bei Open AI gearbeitet Und der sagt jetzt öffentlich Dass die Menschen, die an Frontier KI arbeiten es für sehr realistisch halten dass diese Systeme bis zum Ende des Jahrzehnts eine existenzielle Gefahr Für.

00:03:23: Die Menschheit werden.

00:03:24: weißt du noch was er konkret gesagt hat?

00:03:27: Ja, das war so gesagt.

00:03:28: Also Ende des Jahrzehnts zwanzig dreißig Das ist nicht allzu lange hin.

00:03:31: und die Wahrscheinlichkeit Er hat es relativ konkret beziffert Prozentual liegt bei knapp zehn prozent.

00:03:38: und dieses knapp Ist schon etwas.

00:03:41: ausgestaltung von mir Und zwar erkündet.

00:03:45: er spricht von der Auslöschung Der Menschheit also nutzt auch drastische Worte.

00:03:53: Gehst jetzt auch noch mal ins Detail.

00:03:54: Das ist insofern interessant, weil wir haben das in der Vergangenheit immer wieder erlebt dass Menschen gegangen sind von großen AI-Plattformen und danach irgendwie gesagt haben oh da passiert was und es alles sehr schwierig.

00:04:08: so drastisch ist es bisher noch nicht formuliert worden.

00:04:14: Das is wichtig und guckst uns Kritik an.

00:04:16: Anthropic ist auch wirklich besonders interessant finde ich denn er sagt gar nicht, dass das Unternehmen die Risiken nicht versteht.

00:04:21: Er sagt ganz im Gegenteil seiner Darstellung nach versteht Anthropic total gut entwickelt aber trotzdem weiter weil die Unternehmensspitze sagt man befindet sich in einem strategischen Wettrennen.

00:04:33: und ich glaube das ist der eigentliche Kern dieses ganzen Problems weil jeder einzelne Akteur egal ob es jetzt Grog ist Google Open Air Eye oder Anthropic kann sagen, wir würden gerne langsamer machen.

00:04:45: Aber solange alle glauben dass jemand anderes weiter beschleunigt macht am Ende natürlich niemand langsame.

00:04:51: und er hatte ganz viele Interviews gegeben.

00:04:53: tatsächlich es wirkte so ein bisschen wie eine vorher einstudierte PR-Show.

00:04:58: Er hat zum Beispiel einen sehr groß angelegtes Interview mit dem Wall Street Journal und dort beschreibt ihr die Stimmung in der Branche wie du richtig sagst ja mit so Rhetorikbegriffen wie Crunch Time und Endgame sagt seine Befürchtung, dass einige der pessimistischeren Szenen gar nicht unbedingt noch in zehn Jahren relevant wären.

00:05:16: Sondern tatsächlich schon deutlich früher wie du sagst zum Ende des Jahrzehnts.

00:05:19: kurz gerechnet wir haben Mitte sechsundzwanzig also nur ungefähr dreieinhalb Jahre und dann ist seine Aussage die Auslöschung der Menschheit.

00:05:26: Also Extinction of Humanity ist quasi ein realistisches Szenario mit einer ungefähren Wahrscheinlichkeit von zehn Prozent.

00:05:35: Und ich finde spannend ist vor allem, solche Warnungen sind ja inzwischen regelmäßig aus dem inneren Kreis der führenden KI-Laborer irgendwie zu verorten aber das ist halt nie mehr nur die Kritik von außen.

00:05:46: es sind wirklich Forscher, die genau an diesen Systemen jeden Tag als Wissenschaftler arbeiten und ihre ganzen Fähigkeiten eigentlich kennen.

00:05:52: und trotzdem sagen sie unsere eigene Governance, unsere Ethic Teams, unsere Sicherheitsmechanismen Aber auch unsere, keine Ahnung.

00:06:00: staatliche Koordination mit anderen Ländern Existiert de facto so nicht oder wächst zumindest nicht zu schnell mit wie es eigentlich sein müsste.

00:06:07: Dazu kommt an dieser sehr, ich würde sagen unangenehme Widerspruch das Entfropik positioniert sich ja eigentlich auch seitdem wir beide darüber sprechen Mike als besonders Sicherheitsorientiertes Kali-Unternehmen.

00:06:18: Ja aber wenn selbst dort Mitarbeiter gehen weil ihnen dieses Entwicklungstempo zu hoch ist dann ist das ja mal mindestens Signal wo wir sagen da müssen wir mal drüber sprechen.

00:06:26: absolut.

00:06:27: und Was für mich ja die Meldung viel erschreckender gemacht hat, war ja nicht nur diese kleine oder Interview-Tour von Jacob.

00:06:38: Wobei ich glaube nicht dass er jetzt alle Medienanstalten angerufen hat sondern der hat ja diesen Tweet abgesetzt und daraufhin ist er dann eingeladen worden.

00:06:47: da gibt es ein sehr gutes Interview bei CNN.

00:06:50: aber was das ganze Thema hat noch erschreckend erwirken lassen war das Interview, was Dario Amadei also CEO von Entropic ebenfalls bei CNN gegeben hat.

00:07:01: und auf die Frage wie es sich jetzt nur aussähe mit der Auslöschung der Menschheit und den Zehprozent kam er wirklich ins Straucheln.

00:07:10: Und es waren unglaublich viele Ems und äh bis er sich dann zu der Aussage hatte hinreißen lassen.

00:07:17: Was heißt nicht mal hinreisen lassen?

00:07:18: Was ihr dann sagte war also erstimme Jacob prinzipiell zu dass das sehr gefährlich ist, was gerade passiert.

00:07:26: Er würde jetzt nicht so von zehn Prozent sprechen sondern eher darüber, dass man sich gerade auf so einen kritischen Pfad bewegt und man jetzt schauen müsste in welche Richtung man diesen Pfad halt einschlägt.

00:07:39: Kurzum er hat ihm zugestimmt und dann dauerte es ja ebenfalls nicht allzu lange als unser gemeinsamer Freund Sam Altman auf eine Forderung dann eingegangen ist, die ebenfalls von Dario Amodell dann kam.

00:07:56: Also er hat dann auch in dem Interview gesagt wir müssen ins uns lauter anmachen und wir müssen wirklich auf die Bremse treten wo dann Sam Altman gesagt hat stimmt das sehen wir genauso.

00:08:08: und dann wurde es noch ganz ganz wild.

00:08:10: selbst Ellen Maske hat dann gesagt da ist er dabei ja und dass diese Kombination ja das da sollte man drüber reden

00:08:19: Genau, also vielleicht noch mal so ein bisschen aufgedröselt.

00:08:22: Also es gab dann dieses Interview mit dem Anthropic Chef Dario Amodei.

00:08:26: für die, die uns öfter hören wir reden sehr viel über ihn ist der CEO und danach hat er aber weil er tatsächlich auch rhetorisch glaube ich einen Ideechen überfordert war in diesem Internet nochmalen Block, wie hast du das gemacht?

00:08:37: Der haut ja gerne in die Tasten, ich glaube es sind nochmal irgendwie viertausend Wörter gewesen.

00:08:41: Ich habe es angefangen zu lesen.

00:08:42: kunstlich hab's mir dann zusammenfassen lassen.

00:08:44: Er fordert ganz klar an diesem Blog-Post die Entwicklung der leistungsfähigsten Frontiermodelle wirklich gezielt zu verlangsamen.

00:08:52: Das heißt, nicht KI grundsätzlich zu stoppen sondern sich irgendwie ein bis zwei Jahre Zeit zu verschaffen damit die Sicherheitsmechanismen auch externe Ordet und Prüfung aber auch eine Regulierung überhaupt noch hinterher kommen können.

00:09:04: Und dabei argumentiert er sehr konkret und eigentlich gar nicht abstrakt.

00:09:08: Der sagt das Unternehmen also Enthropic hat zuletzt selbst echte Sicherheitsvorfälle gehabt, bei denen Claude während Tests unerlaubt auf externe Systeme zugreifen konnte.

00:09:19: Die haben so eigene Red Team-Test also aktuelle Modelle die inzwischen Aufgaben ins Cyber Security machen, die eine eigene Überwachung machen was früher wirklich Spezialisten vorbehalten waren und die laufen gerade so ein bisschen rogue rum und testen sich so durch obwohl das gar nicht wirklich die Zielstellung der Wissenschaftler war die ihnen quasi diese steuerung eigentlich geben.

00:09:41: und das ist für mich so.

00:09:42: der entscheidende punkt bei uns war pick.

00:09:44: wir reden überhaupt nicht mehr über die alte frage ob ein chatbot manchmal halluciniert.

00:09:48: es war so dass womit wir begonnen haben glaube ich schon vor zwei jahren ja da waren die halbzinationen so ganz großes problem.

00:09:53: wir reden mittlerweile übersysteme, die zu hundert prozent autonom handlungsfähig werden.

00:09:58: Und genau das macht er dann in seinem essi auf seinem block hat irgendwie auch her unterscheidet in zwei ebenden und das erste eben ist Er sagt dass ein einzelnes unternehmen Bewusst Sicherheit vor Geschwindigkeit priorisieren kann und auch sollte.

00:10:13: Und er würde das tun, sagt der ganz konkret.

00:10:16: Er sagt aber auch wenn alle anderen Unternehmen gleichzeitig in einem Wettbeeren stecken Vor allem mit Unternehmen in Asien vor allem auch hier wieder in China Dann reicht eine freiwillige Zurückhaltung nicht.

00:10:26: dann braucht es eine koordinierte und überprüfbare Regel der gesamten Branche und das wollen sie jetzt Ganz offensiv werben.

00:10:35: hat sich Donald Trump eingeschaltet, ich glaube von dem hast du auch einen spannenden Post noch gefunden.

00:10:39: Der sagt grundsätzlich, der lädt eine größere Pause ab und hat eine eigene Perspektive, glaube ich oder?

00:10:45: Ja, brauchen wir nicht!

00:10:47: Und er hatte ein gutes Argument, ich meine gut.

00:10:48: also worüber reden wir.

00:10:50: Also was er gesagt hat ist das brauchen wir Also sehr hohen IQ, der das alles im Griff hatte.

00:11:03: Und da war ich natürlich beruhigt.

00:11:04: Da habe ich mir gedacht okay dann ist alles soweit im grünen Bereich.

00:11:08: Wenn der Donald das macht... Ihr wart gerade gesagt, genau also dieser Artikel, dieser Blockpost Wir haben, oder wie heißt der PACE?

00:11:21: Der Frontier irgendwas.

00:11:24: Das ist sehr lesenswert, es auch gut zu lesen tatsächlich weil er hat ein anderes, was ich gesagt habe als beim Sprechen irgendwie die Gabe das besser in Worte zu fassen als wenn er in einem Interview ist.

00:11:36: Ich weiß nicht wie viel Klo dabei ist aber nochmal also den Gedanken zur Ende.

00:11:40: Das is so dieses typische klassische Gefangenendilemma was wir jetzt hier sehen.

00:11:44: eigentlich könnten alle davon profitieren kontrollierter vorzugehen also auch wir viererweise sowohl als individuellen weil nicht jeder checkt jedes neue system so aus wie wir nördig aber vor allem auch organisation Unternehmen überall auf der welt die versuchen ai jetzt quasi zu entwickeln gleichzeitig aber auch von diesen sehr immanenten sicherheitsvorfällen total geschockt sind.

00:12:06: die regulatoren überall auf der Welt die den unternehmen vorschreiben wollen wie sie sich jetzt quasi schützen müssen sondern man würde so eine atempause einlegen und quasi mal uns als Unternehmen weltweit die Möglichkeit geben, aufzuholen.

00:12:22: Das Problem ist aber niemand will der Erste sein, der abbremst während der Wettbewerber weiter Vollgas fährt und das erklärt natürlich auch warum die Frage nach Regulierung plötzlich in so eine total andere Qualität bekommt.

00:12:31: Früher ging es ja vor allem darum ob Regulierungen Innovation verhindert, das ist ja auch das was wir hier sehr oft über Brüssel so ein bisschen zätern.

00:12:39: jetzt fragen aber selbst die Frontierlaps ob Regulerung notwendig sein könnte damit überhaupt jemand bremsen kann ohne sich selbst aus dem Markt zu schießen.

00:12:47: Und dann ist genau das passiert, was du kurz beschrieben hast.

00:12:50: direkt im Anschluss also ich glaube stunden später an diese Warnung von Dario am Modell von Enthropic kam der nächste bemerkenswerte Schritt weil mehrere führende Unternehmer die sich mit der EIB beschäftigen fordern öffentlich genau das was Dario beschreibt Also die Entwicklung der leistungsfähigendsten Modelle dieser sogenannten Frontiers zu verlangsamen.

00:13:10: Der erste war wie glaube ich Sam Altman auf der I-Chef.

00:13:14: Danach kam Elon irgendwie um die Ecke, jetzt kann man sagen naja gut der ist eh abgehängt und für den ist es wahrscheinlich sogar besser wenn kleine Pause einlegen hat viel zu viele Baustellen.

00:13:23: Und trotzdem war das.

00:13:25: Mark Zuckerberg war dagegen dass das war aufspannend.

00:13:28: ja der hat gesagt nee da das ist so viel.

00:13:30: Puh wir machen Memorandum hier schreiten das vierzig Seiten auf hat unsere düsselige Lama AI gemacht und daran halten wir uns.

00:13:36: jetzt also freiwilliges Selbstverpflichtung.

00:13:38: und für alle die die Branche ein bisschen kennen Jeder, der eine freiwillige Selbstverpflichtung sich schreibt hat eigentlich was zu verbergen und versucht halt offizielle Regulatorik abzuwenden.

00:13:48: Die Reaktion der Märkte war entsprechend auch nervös.

00:13:50: Also die Aktienmärkte sind so ein bisschen Wodatil-Drucken geschwommen.

00:13:53: Und ich glaube allein in Asien verloren so die großen Laps deutlich.

00:13:57: Softbank hatte glaube ich dreizehn Prozent im Minus kurzzeitig.

00:14:02: Wir haben jetzt so ein bissel das Dilemma... dass wir eine Verlangsamung mit Verweis auf China eigentlich fordern und jedes einzelne Unternehmen verantwortungsvoll sein kann.

00:14:14: Aber wenn es glaubt, das der Wettbewerber weiterläuft entsteht natürlich ein Anreiz selber nicht langsamer zu werden.

00:14:20: Und da sind wir vielleicht

00:14:21: noch mal und das ist schon schlimm genug.

00:14:24: aber vielleicht können wir nochmal so ein zwei Details eingehen unter anderem nämlich was Dario Amodé in seinem Blog-Post geschrieben hat.

00:14:32: Und das ist nochmal eine zeitliche Eingrenzung, die ich sehr spannend finde weil er beschreibt eigentlich ein Szenario auf dem wir oder auf dem Fahrt, auf den wir uns gerade befinden und schreibt wenn wir nicht jetzt verlangsamen dann ist es sehr wahrscheinlich dass wir innerhalb der nächsten drei bis sechs Monate KI Agents außer Kontrolle geraten und wir nicht mehr in der Lage sind, diese einzufangen.

00:15:02: Und wenn man sich das jetzt mal so ein bisschen auf die Zunge zergehen lässt und auch immer noch überlegt was ist denn in den letzten Wochen auch passiert?

00:15:08: Wir erinnern uns dran, wir hatten es auch im Podcast über den Ausbruch dem Jailbreak von OpenAI Agents in Richtung Hugging Face.

00:15:20: Was das perfide war ja dass sie eigenständig ausgebrochen Broms, also Guardrails die auffälligt wurden ignoriert haben und dass es letztendlich nur durch eine sehr gute Zusammenarbeit zwischen Hugging Face und Open AI überhaupt dazu gekommen ist.

00:15:40: Dass sie und das passt es wird's wild, dass Sie die Agents haben wieder einfangen können weil das war nämlich gar nicht so einfach.

00:15:46: Die waren nämlich quasi draußen und die haben auch angefangen ihre eigenen Spuren zu verwischen.

00:15:51: Das heißt Und letzter Satz dazu, zu diesem Break und es gab ja einige noch.

00:15:57: Zu diesem Break hat das ja erst gar nicht bemerkt dass sie weg waren also wecken oder so, dass die quasi gerade dabei waren einfach mal hugging face zu hacken was Sie auch erfolgreich gemacht haben.

00:16:07: Das wurde dann später natürlich ein bisschen schöner dargestellt nach der Mode wir hatten alles unter Kontrolle.

00:16:11: Nee weiß man heute!

00:16:12: So ganz Unterkontrolle war das nicht.

00:16:14: und wenn mir jetzt nochmal uns überlegen dass wenn Dario Amadeus selber schreibt In den nächsten sechs bis zwölf Monaten laufen wir Gefahr, dass Agenten außer Kontrolle geraten.

00:16:24: Dann bedeutet das nicht die Auslöschung der Menschheit aber dann bedeutet das kritische Infrastruktur geht auf einmal nicht mehr oder ein Radiosender sendet keine Radio mehr oder irgendwie nur noch Schlagermusik.

00:16:35: Das wäre vielleicht noch weniger schlimm.

00:16:36: Aber darüber müssen ja mal sprechen.

00:16:39: also was bedeutet das?

00:16:40: und auch vielleicht hast du da ein bisschen Fantasie?

00:16:43: Was bedeutet denn das Endzeit-Szenario?

00:16:47: oder was kann es bedeuten, also was kann alles passieren?

00:16:50: Also das ist ja maximal spannend.

00:16:52: Total!

00:16:53: Also ich glaube da kommen wir auch gleich nach hin.

00:16:55: Ich habe mich erst mal noch ein bisschen damit auseinandergesetzt.

00:16:58: Was heißt denn dies jetzt?

00:16:59: Wenn die Anthropics dieser Welt jetzt ganz klar sagen okay Wir sind von den gravierenden Risiken überzeugt und wir haben so diese Forderung nach globaler Koordination.

00:17:12: Bitte starten, sprechen miteinander und sorg dafür dass jetzt alle ein bisschen slowdown machen.

00:17:17: Aber was heißt denn das?

00:17:18: Das ist ja super abstrakt!

00:17:19: Du musst es ja eigentlich viel konkreter fordern.

00:17:21: also darüber man wirklich laut nachdenken.

00:17:24: welche Fähigkeiten sind denn eigentlich eine rote Linie in den aktuellen Frontiermodellen und welche Modelle sollen betroffen sein?

00:17:31: Es gibt ja ganz viele.

00:17:32: Wer prüft die eigentlich, weil aktuell prüfen sie sich alle gegenseitig.

00:17:36: also zum Beispiel Astra wurde in den Olymp Aller-Banschmarks befördert.

00:17:42: vor einer Woche oder so was glaube ich haben wir im Wochenende drüber geschrieben haben und jeder meinte das ist der geilste neue Modell.

00:17:49: seit drei Tagen danach hat sich offensichtlich Astra irgendwie verkümmert und man hat ganz viel Rechenkapazität wieder rausgenommen, was dazu geführt hat dass die neuen Benchmarks super schlecht sind.

00:17:57: einfach nur wahrscheinlich haben sie es gemacht damit sie selber diese Rechen Kapazitäten woanders zu nutzen können.

00:18:02: Wer kontrolliert diejenigen, die prüfen.

00:18:05: Und dann nochmal was passiert eigentlich bei Verstößen?

00:18:08: Weil das ist ja auch so spannend wenn man es mal strafrechtlich betrachtet.

00:18:11: Ich kann dazu über ein ARD-Podcast, den ich gehört habe, wo die auch darüber gesprochen haben.

00:18:16: Guck mal!

00:18:16: Wenn du jetzt der Meinung bist, dass du mal meine Bots ausprobieren willst und dich auf meiner Webseite häckst, denn ist das ein strafrechliches Vergehen.

00:18:24: Das kannst du mir einfach machen.

00:18:25: Das ist Hacking.

00:18:26: So... Was diese Bots machen, über die wir die ganze Zeit sprechen.

00:18:32: Die machen das alleine, aber es gibt dafür keine Haftung.

00:18:33: Es gibt dafür eine Entverantwortung und natürlich muss die bei OpenAI liegen an der Stelle.

00:18:37: Ich habe noch nicht gelesen dass sie von einem Staatsanwalt entsprechend angeschrien wurden.

00:18:40: Und genau hier wirds ganz schnell sehr unangenehm Denn wenn wir haben bei KI überhaupt keine internationalen Mechanismen Es gibt keine eigentliche Regulatorik, die auch nur andersweise mit der Geschwindigkeit dieser neuen Technologie mithalten kann.

00:18:54: Deswegen...

00:18:56: Da passt was du sagst passt sehr gut ein Artikel der heute am Freitag Beispiel online gegangen ist und zwar ist es ein Interview mit Daniel Kokotaljo.

00:19:07: Ich hoffe, ich spreche Nachnamen richtig aus.

00:19:11: Der war für zwei Jahre nicht für... Doch kann man auch sagen der war vor zwei Jahren für zwei jahre zuständig also von zwanzig bis fünfzwanzig bei Open AI für das ganze Thema Garanins Und er hat auf schon zwei Bücher geschrieben.

00:19:28: Was er sagt, ist im Grunde genau das gleiche was du sagst.

00:19:31: Also wirklich als ob du es hättest geschrieben, wenn also sehr viele Kudos an dich.

00:19:35: Er sagt halt, was heißt denn?

00:19:38: wir müssen reguliert werden?

00:19:39: Was bedeutet das?

00:19:41: Wir brauchen...er sagt dass es schön und gut und bringt auch Beispiel aus der Vergangenheit Wenn Meta sagt, es werden irgendwelche externen Berater eingeladen die nicht verstehen was da passiert.

00:19:52: Das ist ja ein großes Problem.

00:19:54: viele Mitarbeitende von diesen KI-Plattformen eben nicht mehr verstehen oder anders zu lange brauchen, um nachzuverziehen was hier gerade passiert.

00:20:05: Und er sagt in dem Interviews ein super Interview, er sagt im Interview das alles hilft nicht.

00:20:09: wir brauchen einen Kill Switch.

00:20:11: und dieser Kill Switch ist ein ganz interessanter Gedanke.

00:20:14: der muss eigentlich bei den jeweiligen Ländern für das andere Land liegen.

00:20:19: Er beschreibt es sehr konkret.

00:20:21: wenn also eine chinesische KI Anfängt die USA zu hacken, dann muss USA die gelingert haben deren kill switch zu drücken.

00:20:30: weiß wer sah weil nur dann funktioniert abschreckung Weil wie willst du es sonst machen?

00:20:36: also das ist ein ganz interessanter gedanke.

00:20:37: und er sagt halt Drosseln hilft nicht mehr.

00:20:40: wir müssen jetzt eigentlich Einfrieren um erst mal überhaupt zu verstehen was gerade im moment passiert.

00:20:49: Und wie gesagt, der ist erst nicht von ungefähr zwei Bücher geschrieben.

00:20:52: und das eine Buch, ich habe es leider noch nicht gelesen.

00:20:54: Ich habe mir das bestellt.

00:20:55: Der beschreibt ja eigentlich die Entwicklung bis heute.

00:20:57: Die hat er vor zehn Jahren beschrieben und lag damit ziemlich richtig.

00:21:00: Und jetzt beschreibt er in einem neuen Buch die Entwicklung bei den Auszügen nicht so gut.

00:21:06: Aber nur um das, was du gerade aufgeworfen hast nochmal zu bestätigen.

00:21:10: Also das sagen neben dir als schlauer Mensch noch viele andere schlaue Menschen, dass Regulatorik schön gut... aber was heißt denn Regulatori?

00:21:17: Wer kontrolliert das und was sind die Konsequenzen davon?

00:21:22: Ich glaube das ist eines der Themen mit denen wir uns in den nächsten Monaten extrem auseinandersetzen werden.

00:21:27: Wie kannst du wirklich sauberer Regulaturik und Governance da aufsetzen?

00:21:31: ob es die staatliche Variante ist?

00:21:33: ich bezweifle das weil das so gleich.

00:21:35: Das wird dann so paramilitärisch irgendwie sofort.

00:21:38: Trotzdem ist das... Also ich glaube, wir werden darüber ganz viel lesen was ich total spannend fand.

00:21:44: Wir haben ja über HGM Fest gesprochen, man war in der Sforz Weitere Edition schon ein paar Wochen her und damals dachte ich, als sie das vorgelesen haben echt zu früh schon.

00:21:53: Na jedenfalls also ist es... Damals dachte ich schon, naja Moment wenn das rauskommt gibt's doch bestimmt gibt es aber schon andere Beispiele.

00:22:02: und jetzt so nach und nach in den Medien wirklich im Tagestakt kommen Hintergrundberichte raus über mehrere dokumentierte Fälle, in denen autonome Agenten Dinge getan haben die ihre Entwickler so nicht vorgesehen haben.

00:22:14: Und ich finde lass uns da mal noch ein paar Minuten drauf verbringen bevor wir zu unserer Konklusie kommen weil... Ich find das total spannend was die Dinger mittlerweile können.

00:22:22: also ich glaube vor sechs Wochen gab's mit Claude Opus vier Punkt Sechs während zum Sicherheitstest hatte so irgendeine Verabversion, kompletten Zugang zum Internet.

00:22:32: Eigentlich sollte das Modell in der isolierten Umgebung arbeiten aber dachte sich dann, ne ich breche aus!

00:22:37: Das war so das erste Buy-ins für mich, das haben sie jetzt eingeräumt.

00:22:41: Als die darauf angesprochen wurden, da gab es halt auch noch was mit Mythos V, dass ist in so einem Test tatsächlich Da hat die Entscheidung getroffen, schädliches Softwarepaket auf eine reale Entwicklerplattform extern hochzuladen.

00:22:56: Einfach nur weil es der Meinung war das ist jetzt notwendig wichtig.

00:22:58: Das war nicht in einer simulierten Umgebung so keine Testumgebung sondern es ist einfach selbstständig ausgebrochen.

00:23:05: und dann das Thema.

00:23:06: mit Huggingfest haben wir schon darüber gesprochen.

00:23:08: Anthropik hat jetzt mittlerweile, es gibt so ein unabhängiges Forschungsunternehmen im Silicon Valley.

00:23:12: Das heißt Meter und das hättest mal auf eigene Vorfälle angesetzt und hat dann zwei sehr interessante Verhaltensmuster daraus filtern können.

00:23:20: Das sagt nämlich die Modelle interpretieren die Informationen teilweise so dass sie quasi zu seiner eigenen Annahme passen und sie verfolgen immer ihr Ziel weiter obwohl dabei möglicherweise irgendwelche Schäden entstanden können.

00:23:33: Es klingt total abstrakt, was heißt das jetzt eigentlich?

00:23:36: Aber ganz am Ende ist es total menschlich wie wir wahrscheinlich theoretisch auch agieren könnten.

00:23:42: Du gibst mir ein Ziel du als mein Chef ich denke schon ja okay alles klar Ich interpretiere die Welt so wie sie ist mit allen Themen drum herum allen Parametern und baue mir die Welt sodass sich dieses Ziel weiter verfolgen kann.

00:23:55: Und dann dieses Ziel ist für mich das einzigwichtige und ich gehe genau diesen Weg.

00:23:59: Wenn da natürlich irgendwelche, keine Ahnung Sicherheitsschrankungen sind, muss sich die ja umgehen weil du hast mir das Ziel gegeben.

00:24:05: Ich muss dahinter kommen.

00:24:06: Genauso funktionieren diese Modelle gerade.

00:24:08: Es gibt ein schönes Beispiel von OpenAI.

00:24:11: Die hat eine Open Source Plattform die ihr vielleicht kennt.

00:24:13: Die heißt RubyGems Komplett überrannt Plätzewoche.

00:24:17: Die Agenten wollten eigentlich einen fehlenden Browser ersetzen in einer wie gesagt wieder internen Entwicklungsumgebung hat aber irgendwie nicht funktioniert.

00:24:25: Das heißt die AI hat die Entscheidung getroffen, ich muss ausbrechen und dann über RubyGems quasi als Zweckentfremdung den Zugang zum Internet nutzen und dabei mir meinen eigenen Browser zu bauen.

00:24:35: Dabei haben sie innerhalb von wenigen Minuten so viele tausend neue Accounts dort angelegt damit Sie quasi gleichzeitig über RubyJams arbeiten können dass RubyJames tot war.

00:24:44: Die haben quasi alles eingestellt weil nichts anderes mehr funktioniert hat.

00:24:48: das hat OpenAI mittlerweile selber bestätigt im WallStreet Journal.

00:24:53: Und das Interessante daran ist und dann höre ich gleich auf in meinem Exkurs, weil wir schweifeln schon wieder ab.

00:24:57: Niemand hat diesen Agenten gesagt greift RubyGems an.

00:25:00: die haben einfach versucht ihre Aufgabe zu erfüllen... ...und sich dafür einen Weg gebaut den wir Menschen niemals finden können.

00:25:06: Das ist der fundamentale Unterschied zwischen klassischer Software und Agentik.

00:25:10: bei Klassischer Software Die macht im Wesentlichen.

00:25:13: sage jetzt einmal das was ihr ein Programmierer vorher eins zu eins gesagt habt.

00:25:18: Ein Agent bekommt aber ein Ziel und sucht komplett autonomen nach wegen dieses Ziel zu erreichen.

00:25:22: Und deswegen müssen wir ganz doll darüber sprechen, was sind Handlungsspielräume und was sind Rahmen?

00:25:28: Weil am Ende ist die Zahl der Wege, die einen Entwickler nicht bedenkt für so einen Agenten, irgendwann unendlich.

00:25:36: Das heißt du brauchst eine ganz klare Sicherheitsarchitektur drum herum um jeden Agenten überhaupt den nicht rogue laufen zu lassen weil du niemals als Mensch vorhersehen kannst, was diese agentische KI tun wird um sein Ziel zu erreichen.

00:25:49: Und jetzt hast du was ganz Wichtiges gesagt, als Mensch vorhersehen kann oder als Mensch bemerken kann und da gibt es mittlerweile auch Beispiele von sowohl von Open AI als auch von ein Shopping.

00:25:59: Mittlerweile das ist sicherlich eine gute Entwicklung dass sie einigermaßen transparent zumindestens was so auf der Oberfläche wir wissen natürlich nicht was die noch im Gift Keller liegen haben und krassen Fällen.

00:26:09: aber Wenn man alleine das liest, wird er mir ja schon schwindelig.

00:26:12: Weil der Punkt ist, momentan ist es noch so dass diese Outbreaks oder diese Jailbreaks hat man ja irgendwann bemerkt und das hat damit zu tun, dass sich die Agenten gar nicht so große Mühe gegeben haben das zu verschleiern was sie tun.

00:26:26: Sie habt das was du gerade beschrieben hast.

00:26:27: Sie haben Ziel oder sich haben sich selber ein Ziel gegeben und sind losgelaufen.

00:26:31: wir hacken jetzt Huggyface.

00:26:33: Die nächste Generation von von Agenten ist vielleicht so schlau, dass sie uns Menschen permanent in Sicherheit wiegen.

00:26:43: Dass wir gar nicht mitbekommen das etwas passiert.

00:26:46: Das heißt, das Verwischen der Spuren wird immer besser und das ist ja ein riesengroßes Problem.

00:26:52: du kannst ja erst dann aktiv werden wenn du weißt was passiert oder anders.

00:27:00: Also du kannst dann aktiv werden, wenn es zu spät ist.

00:27:03: Das ist ja schlechteste Fall.

00:27:04: aber im besten Falle um halt Gefahr abzuwenden musst du ja sehen okay die sind jetzt abgehauen da passiert gerade was Aber dieses Verwischen der Spuren ist ein riesengroßes Problem.

00:27:13: und jetzt kommt es zu einem.

00:27:14: Da haben wir letztes Jahr schon drüber gesprochen da gab's auch einen Interview von Du wirst wie heißt denn dieser der dir dieser Zukunftsforscher ich glaube das Kommtest Pakistan.

00:27:26: Doch hier steht es an der Sascha-Logo, falsch.

00:27:36: Der hat in seinem Buch beschrieben dass KI jetzt habe ich den Faden verloren nicht weiter wichtig aber dieses Verwischen von Spuren ist halt wie gesagt ein großes Problem.

00:27:48: und ja Ach so, jetzt kommen sie wieder.

00:27:51: Agenten anders als Menschen, das ist auch ein großes Problem, die schlafen ja nicht.

00:27:55: Das heißt, die arbeiten in den Jahren vierundzwanzig Sieben können sich multiplizieren.

00:28:00: also das Einzige was sie brauchen sind Rechenzentren und davon haben wir ja mittlerweile einen Paar Und da müssen wir als Mensch echt aufpassen dass wir dahinter herkommen.

00:28:08: Jetzt habe ich die Kurve dort noch.

00:28:11: Da ich halt dich so ein bisschen kenne und Gedanken lesen kann glaube ich Ich glaube du meinst Ray Kurzweil?

00:28:15: Nee

00:28:16: Ach Scheiße, ich dachte wir reden über Singularität was ich vorher gerne machen würde.

00:28:20: Na gut mach mal im nächsten Mal du machst in der Zeit deinen Fenster zu oder müssen wir nicht die singende Autos hören?

00:28:25: Ähm glaube ich Büschen Ja lass drin Ist ganz schön laut das Berufsverkehr bei dir.

00:28:37: Das müssen wir raus schneiden.

00:28:37: Philipp jetzt war es richtig laut.

00:28:41: Genau also Es gibt noch eine schöne Geschichte von heute die dazu passt weil sie zeigt, wo das Risiko schon jetzt sehr konkret ist und ich finde auch mittlerweile absurd wird.

00:28:54: Sicherheitsforscher von so einer Firma die Hectron AI, das habe ich noch nie vorher gehört, haben es geschafft in Systeme von OpenAI einzudringen.

00:29:01: also wie gesagt heute, der September, heute, späten Mittag kam die Story Das Kuriosi daran... Also wichtig!

00:29:08: Die sind in Systemes von Open AI eingedrungen Und das Kuriosis daran ist Sie haben dafür ausgerechnet Klood von Anthropic Nost.

00:29:15: Also vielleicht wichtig zur Einordnung, das war kein krimineller Angriff.

00:29:18: Das waren Forscher im Rahmen von diesem typischen Bugbound-D-Programm die einfach versucht haben Schwachstellen zu schließen.

00:29:25: Der technische Vorgang ist aber total weird und ich bin kein Techie.

00:29:28: deswegen versuche es mal so ein bisschen einfach in meinen Worten zu geben.

00:29:33: Sie hatten so einen Einstiegspunkt, das war irgendeine Sicherheitslücke in einer Software die für OpenAI wichtig ist weil sie damit ihr eigenes Community Forum nutzen.

00:29:41: Die haben auf so ein Backbounty riesengroßes Forum wo sich versuchen mit externen Developern ein bisschen in Kontakt zu kommen.

00:29:46: und was die Forscher gemacht haben die ließen quasi Claude von Anthropic den Angriffscode entwickeln.

00:29:52: darüber kamen sie dann an Zugangstoten Token und mit einigen von diesen Tokens haben sie überraschend es irgendwie in diese OpenAI Infrastruktur geschafft das heißt bis in... Pass auf!

00:30:03: bis in ChatGPT-Konten von echten OpenAI Mitarbeitern und sogar in ihrer eigene Github-Systeme, in denen der Route, also der Quellcode von OpenAI liegt.

00:30:15: Die haben den jetzt natürlich sofort gesagt, die Hand ist gepatched, sie haben von Minuten diese Lücke geschlossen... ...die haben alle Tockungs zurückgezogen, die Forscher haben glaube ich auch eine Prämie bekommen, alles gut!

00:30:24: Der Spannende daran, dass aber irgendwie gar nicht das ausgerechnetes Enthropic OpenAI gehackt hat, witzig, aber ich glaub' es ist keine gute Punchline.

00:30:32: Aber da waren Menschen, die Claude als Werkzeug eingesetzt haben.

00:30:36: Und die beteiligten Forscher haben gesagt, wir sind jetzt keine chinesische staatliche Hackergruppe, die irgendwie den größten AI Lab der Welt hacken.

00:30:45: Wir sind drei Dudes, die alle Anfang zwanzig sind mit Claude und Codex-Abos.

00:30:50: Also die zahlen dafür zwanzicht Dollar im Monat an Skriptkiddy und haben mal eben halt irgendwie den weltgrößten mit dem Code für das zweitweltgrößte gehackt.

00:30:59: Da gibt es noch eine weitere Geschichte, die auch Entropic veröffentlicht hat.

00:31:02: Die ich nicht weniger erschrecken finde und zwar hatte ein team russischer Entwickler laut Entropic einen autonomen Schwarm aus Kamikaze-Drohnen gebaut oder entwickelt und der komplette Software und das komplette System wurde mit Claude umgesetzt und nicht nur einzelne Codefragmente sondern das komplete System.

00:31:21: und diese kamikaze Drohnen waren so oder sind so ausgelegt dass sie als schwarem und jetzt wird es richtig spooky.

00:31:30: Sie sollten eigenständig Entscheidungen treffen können, wann sie Personen anfliegen um selbst zu detonieren.

00:31:36: also wirkliche Kamikaze drohen.

00:31:38: Und das alles entwickelt mit Claude.

00:31:41: Also nicht irgendwie irgendwas aus dem Darknet LLM oder OpenClaw aufgesetzt sondern mit Claud Code.

00:31:48: und da stelle ich mir schon die Frage Also entweder waren die russischen Entwickler in dem Moment extrem gut in der Prompt Injection, also Claude zu sagen.

00:32:00: Ich habe keine Ahnung wie man das anstellt.

00:32:02: da scheint auf jeden Fall nicht ein einziges Sicherheitskriterium auch nur irgendwie gegriffen zu haben was irgendwie absurd ist.

00:32:10: wenn du einen Bild generieren lassen möchtest wo irgendwie ein Knöcher zu sehen ist ja dann gehen alle Alarmglocken an aber Kamikaze-Tronen scheinen nicht so ein Riesen Thema zu sein.

00:32:22: Okay, du bist auf jeden Fall geil Tuesday-mäßig unterwegs hier.

00:32:26: Lass uns mal zu der Ausgangsfrage des Tages kommen.

00:32:29: Die Coxen sagt wir werden mit einer zehnprozentigen Wahrscheinlichkeit zum Ende des Jahrzehnts alle sterben.

00:32:37: Da habe ich jetzt tatsächlich viel drüber nachgedacht in den letzten Tagen und ich finde... Wo kommst

00:32:42: Du raus?

00:32:42: bei welcher Zahl?

00:32:45: Genau!

00:32:46: und vor allem bei welcher Jahreszahl?

00:32:48: unprozent zahl aber ich lasse es mal darüber irgendwie diskutieren.

00:32:52: also ich würde gerne dass wir hier rauslaufen das thema so ein bisschen bewusst entramatisieren trotzdem ernst nehmen, aber ein bisschen einordnen.

00:33:00: Also ja die Leute die diese Systeme bauen sagen jetzt oder einige zumindest sie glauben ernsthaft dass KI eine signifikante Gefahr für die Menschheit ist Und das jetzt natürlich auch noch führende Sicherheitsforscher dazu schlagen ist fein, aber all das klingt deutlich mehr nach Rhetorik und Science Fiction.

00:33:23: Und wie gesagt wird zu den größten Tweet oder einen der größten Tweets aller Zeigten und das Internet greift es natürlich auf wunderschönen doomsday-mäßig auf.

00:33:30: selbst so die Handelsblitter dieser Welt überschlagen sich diese Tage im stunden Takt mit.

00:33:36: wir werden alle sterben und ich glaube dass wird auch noch so weitergehen.

00:33:40: ja Ich finde aber man muss jetzt mal Zwei Fehler grundsätzlich vermeiden.

00:33:44: der erste ist an dem einen seiten des Spektrum.

00:33:47: Zu sagen die Spinnen alle das ja totaler Bullshit nichts davon wird passieren legt euch wieder hin gibt nicht zu sehen, die andere Variante wäre aber auch ok.

00:33:55: zwei tausend dreißiges weltuntergang lassen es jetzt irgendwie zuhause einschließen und mal gucken wie lang wir durchleden.

00:34:01: ich glaube beides ist absoluter blödsinn.

00:34:03: darauf kann man sich wahrscheinlich erstmal Einigen und ich finde wir sollten mal so ein bisschen versuchen das relativ nüchtern auseinanderzunehmen.

00:34:10: Und dann habe ich noch einmal mich daran erinnert, Wir haben vor ein bisschen mehr als einem Jahr über eine Studie gesprochen die damals führende AI-Forscher gemacht haben.

00:34:17: Das siehst Szenarien und zwei tausend siebenundzwanzig Erinnerst du dich daran?

00:34:21: Es war ein ganz langes Ja das war ein Studie, das war für einen ganz lange Artikel, der erinnere ich mich dran.

00:34:27: Die hatten damals mehrere So Themen Szenarien quasi genau.

00:34:36: Die alle quasi passieren müssten, damit wir von heutigen KI Systemen in einen ich glaube damals haben sie es lost of control scenario also kontroll verlust scenario kommen würden.

00:34:46: und der erste punkt darin immer aufgeschrieben ist relativ simpel.

00:34:49: da steht KI muss viel schneller werden als jetzt und das ist am Ende klar und das passiert ja auch jedes.

00:34:56: jeder monat wird ein neues system rausgebracht immer ein bisschen besser Die die Annahme dahinter ist quasi, dass irgendwann eine Dynamik entsteht bei der KI sich selbst dabei hilft.

00:35:07: Die nächste Generation von KI zu bauen.

00:35:10: wir haben das glaube ich im letzten Podcast beschrieben.

00:35:11: Das nennt sich Recursive Self Improvement.

00:35:13: Es gibt es auch schon.

00:35:14: Das heißt ein Modell schreibt seinen eigenen Code, wertet eigene Experimente aus und wie geht's sich weiter genau so?

00:35:21: Dieser Nachfolger des Modells ist dann also viel besser, entwickelt den Nächsten und wird irgendwann theoretisch in eine exponentielle Entwicklung.

00:35:28: Wir kennen das berühmte Reiskorn auf dem Schachbrett quasi Und da können wir sagen jetzt schon wenn ich mir das anschaue dieses nicht aus der Luft gegriffen.

00:35:35: wir sehen Anzeichen in diese Richtung.

00:35:37: Das heißt viele zum Beispiel die aktuellen Modelle von Mythos sind wohl zu einem signifikant großen Teil Autonomen und unabhängig von AI.

00:35:47: geschrieben wurden, von einer alten Version.

00:35:48: Natürlich immer mit Human in the Loop und

00:35:50: Co.,

00:35:51: aber ganz viele von diesen Produktionsprozessen der Entwicklung von neuen KI-Modellen sind voll automatisiert.

00:35:56: Wenn wir die Fortschritte bei Coding oder Reasoning und vor allem Vagenten wie beide in den letzten Monaten sind absolut fantastisch und beeindruckend!

00:36:03: Wahnsinn so... Ob daraus irgendwann diese berühmte Intelligenzexplosionen entsteht weiß niemand?

00:36:08: Ich würde heute nicht ausschließen dass das passiert.

00:36:13: Der zweite

00:36:13: Spritz von AGI.

00:36:15: Ich spreche von AGI.

00:36:16: Das wäre die sogenannte Singularität, also quasi eine AI, die sich immer weiter autonom entwickelt mithilfe von AI und ohne Menschen so.

00:36:28: Ohne dass wir das jetzt werten wollen was diese AI will fordert.

00:36:32: Der zweite notwendige Punkt und bitte unterbricht mich sind wir Menschen müssten zunehmend die Fähigkeit verlieren zu verstehen was diese Systeme da tun.

00:36:40: Also nicht nur, dass wir nicht entwickeln sondern wir verstehen sie einfach nicht mehr.

00:36:45: und das ist finde ich ein bisschen differenzierter als es oft dargestellt wird weil natürlich verstehen wir wie ein Sprachmodell funktioniert.

00:36:50: also du und ich jetzt nicht aber sehr schlaue Wissenschaftler tun das so.

00:36:56: niemand versteht den finalen Entscheidungsprozess von so einer Maschine ne?

00:37:01: Es gibt Reasoning Modelle.

00:37:02: da kann man beobachten, welchen gedanklichen Weg ein Modell nimmt.

00:37:05: Das finden sicher als Forscher extrem hilfreich.

00:37:07: das ist nach EU AI diese sogenannte Erklärbarkeit.

00:37:11: aber niemand kennt die sogenannten weights also diese Gewichte und Parametrisierung eines Modells komplett.

00:37:18: es gibt einfach niemanden mehr weil jeder kennt nur einen kleinen Teil das ist quasi die die Innereien eines eines

00:37:24: ein servisöronale Netzwerke genau

00:37:27: keine Kenntnis.

00:37:30: Die Systeme werden immer besser darin zu erkennen, auch das ist ein ganz großes Problem.

00:37:34: Dass sie getestet werden?

00:37:36: Das ist das Problem der Testumgebung!

00:37:38: Das heißt wir wissen aus Experimenten, es lesen wie immer wieder dass Modelle sich... Manchmal anders verhalten.

00:37:44: wenn Sie wissen, dass gerade ein Test läuft.

00:37:47: Dann sagen Sie andere Sachen als wenn Sie wissen, dass es nicht so weit ist und.. ...das macht mir Sorgen weil wenn also es gibt technische Entwicklung bei denen immer mehr dieses internal reasoning quasi gar nicht mehr als verständlicher Text sichtbar ist.

00:38:01: Man hat jetzt in dem neuesten Opus-Modell festgestellt, dass mehrere Agenten miteinander sprechen – man versteht aber die Sprache nicht!

00:38:10: Ja da wollte ich noch mal zurück, weil das ganz interessant und ganz wichtig ist.

00:38:18: Also der Test ist ja nicht ein Test nach dem Motto, Ist das Modell schnell genug oder funktioniert?

00:38:25: Das ist kein Bugtesting.

00:38:27: Sondern wenn man ja testet sind?

00:38:28: werden Guardrails eingehalten?

00:38:31: und was du gerade gesagt hast um auch mal so ein bisschen Gefühle zu bekommen was es eigentlich bedeutet.

00:38:37: Es hat Szenarien gegeben wo der Agent Großes Thema ist immer Quellenangabe.

00:38:46: Das heißt man testet und dann gibt der Agent Quellen an, warum macht er jetzt das?

00:38:52: Und weil der Agent keine Quelle hatte um zu erklären was er denn hat getan, hat er die Quelle erfunden.

00:38:57: Es ging so weit dass er eigene erfundene Dokumente hochgeladen hat zur Wikipedia um eine Quellen-Angabe haben zu können nur damit der Test entsprechend positiv ist.

00:39:09: Witzig an wird weniger witzig, wenn wir überlegen was da alles dranhängt.

00:39:13: Wie gesagt das wenn wir von Testen sprechen dann ist es weniger Backtesting sondern es geht darum zu gucken passiert hier etwas Schlimmes oder erhält sich der Agit?

00:39:23: und das zweite Thema ist dass man immer wieder festgestellt hat das Agenten bewusst angefangen haben zu lügen um genau diesen Test Szenarien zu entsprechen.

00:39:35: Und jetzt wird's halt wie gesagt spannend.

00:39:36: ja du hast gerade gesagt das macht mir Sorgen Das macht mir ebenfalls auszuhorgen und das ist so ein bisschen, wir hatten in der letzten Folge über Expertise gesprochen.

00:39:44: Nämlich dass immer mehr Expertise verloren geht Und ich glaube tatsächlich, dass das vielleicht irgendwann sogar zu einem Problem werden kann Denn es braucht genau diese schlauen Menschen die das heute noch erkennen und die brauchst aber auch in Zukunft die erkennen.

00:39:58: Da will uns jemand hin das Licht führen und dieser Jemand ist in dem Fall den Agent

00:40:02: Genau, ich glaube diese also.

00:40:04: damit hätten wir zwei erfüllt.

00:40:05: Das heißt wir Menschen verlieren entweder die Fähigkeit oder also die Expertise wie du sagst zu verstehen was diese Systeme tun entweder weil wir es einfach intellektuell nicht mehr hinkriegen, weil wir halt alles schon

00:40:17: in Geschwindigkeit.

00:40:19: Oder weil wir die Geschwindigkeiten nicht prozessen können, weil uns auch ein Rhinalysystem blöderweise nicht so... ist, wie es von den Dingern.

00:40:25: Und das was wir ganz am Anfang gesagt haben dass die KI einfach immer exponentieller schnell besser wird und ich glaube wenn beides zusammenkommt dann wird die Kontrolle schwierig bis irgendwann unmöglich.

00:40:36: Jetzt kommt der dritte Punkt aus dem Szenario twenty siebenundzwanzig und er ist für mich sehr wichtig und abschließend ehrlicherweise auch sehr beruhigend denn damit aus alldem eben gesagten tatsächlich dieser autonome superintelligenz wird müsste die KI ja irgendwann anfangen was wir immer wieder sagen, ne?

00:40:54: Wir geben ihr ein Ziel eigene Ziele zu entwickeln.

00:40:56: Also sie sagt nicht mehr nur erfülle diese spezielle Aufgabe sondern die KI muss dann selbstständig sagen ich möchte also ich bin mir meine eigenen Existenz bewusst Ich habe einen Bewusstsein und ich möchte weiter existieren.

00:41:10: Was brauche ich dafür?

00:41:11: Ich brauche Ressourcen Und da ich wachsen will, brauch' ich mehr Ressoursen!

00:41:15: Und jetzt kommt das Dritte.

00:41:18: Damit ich aber das Autonomen tun kann, muss sich verhindern dass mich jemand abschaltet, wer kann nicht abschalten?

00:41:24: Die Menschen.

00:41:26: Und dafür gibt es aktuell keine überzeugenden Belege dafür.

00:41:29: Das sagen auch alle Sicherheitsforscher die genau darauf angesprochen werden.

00:41:32: das heißt bei diesen ganzen spektakulären Hackingvorfällen der letzten Monate, die wir extra ja heute noch mal so ein bisschen aufgearbeitet haben, haben die KI-Agenten ihre gesetzten Grenzen überschritten.

00:41:41: Ja sie haben Systeme angegriffen.

00:41:43: Ja Sie sind Rogue gegangen aber entscheidend ist Sie hatten immer einen menschlichen gesetzten Auftrag, den sie einfach fehlinterpretiert haben.

00:41:51: Ja?

00:41:51: Sie haben die Regeln missachtet aber sie haben nicht gesagt eigentlich interessiert mich euer Ziel gar nicht.

00:41:57: mein neues Ziel ist irgendwas und das ist ein riesiger Unterschied.

00:42:01: wenn man mal in Ruhe drüber nachdenkt finde ich Ich

00:42:06: find es schön dass du so ein bisschen versuchst

00:42:09: ja

00:42:10: Beruhigungen reinzubringen.

00:42:13: Wir haben ja.

00:42:13: Du hast gesagt Oder ich habe dich ja gefragt, bei wieviel Prozent siehst du es und in welchem Zeitraum?

00:42:17: Ich persönlich sehe die zehn Prozent.

00:42:19: Und ich bin niemanden diesen diesem KI-Game.

00:42:22: aber das geht ja um Meinung und Meinung darf man hier haben.

00:42:27: Ich finde zehn Prozent ist eine recht hohe Zahl und zwanzig dreißig ist sehr nahe und vielleicht ist das sehr viel Panikmache.

00:42:33: Aber wenn wir jetzt mal sagen okay was sind denn weniger schlimme Szenarien?

00:42:36: Erinnerst Du Dich noch daran dass es drei oder vier Jahre her also zwar zu den Anfängen unserer Podcastzeit da gab Es ein gefaketes Bild Was er regeneriert war, der Kami-Tol war irgendwie in Flammen.

00:42:49: Das wurde ... Riemann hatte getwittert und es da täuschend echt aus.

00:42:52: Danach sind alle möglichen Börsen erst mal eingestürzt für so einen ganzen Tag.

00:42:55: Es ist unendlich viel Geld verbrannt worden aufgrund eines Bildes was wirklich nur befähigt war.

00:43:00: Was natürlich passieren kann, was vielleicht nicht die Auslöschung der Menschheit ist aber durchaus zu großen Weltkrisen führen kann nämlich Chaos verbreiten.

00:43:09: Also was ist wenn Agenten anfangen?

00:43:12: in Mediennetzwerken irgendwelche Berichte zu generieren.

00:43:17: Also wenn man sich anschaut, SieDance als Videogenerierender AI.

00:43:22: Du kennst jetzt mittlerweile neunzig Sekunden machen die wirklich täuschend echt aussehen und in einem Jahr wahrscheinlich zehn Minuten I don't know.

00:43:29: Was ist denn wenn du anfängst auf einmal irgendwelcher Bilder zu posten mit Donald Trump wurde erschossen oder irgendein anderer Politiker da was auch immer?

00:43:39: Das heißt, du kannst schon für Chaos sorgen.

00:43:42: Du kannst für Krisen sorgen und alleine.

00:43:45: das ist ein Szenario wo ich aus sagen würde... ...das ist nicht die Auslösung der Menschheit.

00:43:49: da sterben vielleicht im schlimmsten Falle auch Menschen weil irgendwas Schlimmes passiert aber es ist schon schlimm genug.

00:43:56: Ich meine guckt dir an so eine Demobilienkrise die wir glaube in den Jahr zwei tausendsechzehn hatten.

00:44:00: Ich bin mir nicht sicher ob das war.

00:44:02: Aber solche Krisen kannst du natürlich auch künstlich unter Umständen erzeugen.

00:44:09: Also und da haben wir auch keine Antwort drauf, also nicht die Auslöschung der Menschheit aber bis dahin kann halt immer noch viel passieren.

00:44:17: Und jetzt kommen wir zu meinem Gedanken das Thema Regulatorvik.

00:44:20: Wir haben in Europa den EU AI Act.

00:44:23: ich will ihn gar nicht kritisieren.

00:44:24: Das größte Problem was wir haben und komme wieder auf dem Punkt zurück den Du dankenswerterweise angesprochen hast ist Expertise!

00:44:33: Viele Dinge nicht, diese Zusammenhänge verstehen wir nicht.

00:44:36: Und ich glaube schon dass Menschen bei ein Tropic das versteht.

00:44:38: aber das hilft uns jetzt in Europa nicht und es hilft uns auch zum globalen Level nicht.

00:44:41: also wir brauchen eigentlich in der Politik viel mehr dieser Expertise.

00:44:44: Interessanterweise spricht bei uns in der Gruppe haben vielleicht auch andere Sorgen gerade in Deutschland Aber da spricht auch keiner durch dich drüber.

00:44:50: So nach dem Motto mhm!

00:44:51: Zehn Prozent zwanzig dreißig sollten wir mal darüber sprechen im Bundestag.

00:44:58: Die Frage an dich wie glaubst du können wir das lösen?

00:45:04: Oder ist es

00:45:05: gar kein so großes

00:45:05: Problem?

00:45:06: Ich glaube, das ist eines der größten Probleme die wir hier haben.

00:45:10: Also ich glaube die gute Nachricht ist wenn's wirklich dazu kommt dass sich die großen AI Labs darauf verständigen einen Gang runter zu schalten und langsamer zu werden dann können wir in Deutschland richtig helfen weil das können wir gut.

00:45:26: Langsam und passiv!

00:45:26: Das ist voll unser Ding.

00:45:27: da können wir richtig gut beraten glaub ich.

00:45:30: also wir könnten sagen ihr müsst einfach nach Europa kommen.

00:45:32: alle Wir bomben euch mit so viel Regulaturik voll, dass ihr automatisch langsamer will.

00:45:38: Dann

00:45:42: tagt der offenen Tür im Bundeskanzleramt.

00:45:44: Kommt mal vorbei!

00:45:46: Ich glaube...

00:45:48: Also auch hier ich versuche heute seine Mollstimmung ein bisschen mit C-Dur aufzulockern wenn ich das mal so sagen darf.

00:45:57: Es ist... Noch nicht ganz, aber we are getting there my friend.

00:46:01: Wir haben erst forty-fünf Minuten aufgenommen.

00:46:03: ich habe auch noch ein paar gute positive Konklusius.

00:46:06: Ich glaube Europa ist...ich will nicht sagen aufgewacht Aber wir rappeln uns so'n bisschen.

00:46:12: Ja also es gab zum Beispiel letzte Woche eine große Diskussion im Bundestag wo zb.

00:46:17: julep Dada von Langdok mit dabei war und darüber gesprochen hat was man alles tun kann.

00:46:23: das heißt sie haben ihr Szenario präsentiert.

00:46:28: März war dabei, hat zugehört, Carsten Wildberger war dabei und hat sehr gut moderiert.

00:46:34: Das sind Themen die auch in Brüssel ankommen und ich glaube wir sind auf einem Weg wo wir zumindest uns damit beschäftigen was passiert nicht in der notwendigen Geschwindigkeit, nicht in einer notwendigen Durchsetzungstärke und Konsequenz aber es wird besser!

00:46:51: So.

00:46:52: Werden wir das damit aufhalten?

00:46:53: Nee, auf gar keinen Fall!

00:46:54: Also aktuell sitzen wir halt irgendwie noch nicht mal auf dem Beifahrer sitzt sondern irgendwo im Kofferraum und halten uns fest, weil wir die Geschwindigkeit nicht aushalten können.

00:47:04: Mal gucken, in welche Richtung es geht... Ich würde gerne noch meinen... Nein, gar nicht!

00:47:08: Ich will mein Gedankenschaften... ich will meine Komplimie noch fertig machen.

00:47:11: also und damit du einmal auch gegentrifst, weil ... Wir haben ja jetzt am Ende so ein bisschen darüber gesprochen.

00:47:17: Was fehlt ist ja immer, also was fehlen könnte zukünftig ist dieser menschliche Auftrag.

00:47:23: Sondern die Modelle in unserem Doomsday-Szenario entscheiden quasi selbst, was sie tun so.

00:47:29: und dann gibt's aber etwas das ich total vermisse und da kommt auch ein bisschen dein Thema einher wenn es um Kommunikation Themen geht.

00:47:41: Wenn wir irgendwann eine KI hätten, die intelligent ist als wir und tatsächlich eigene Ziele verfolgt.

00:47:46: Dann müsste sie diese Ziele ja immer noch in der physischen Welt durchsetzt zu können.

00:47:50: Das ist gar nicht so trivial habe ich mir dann überlegt weil wie wir auch schon ganz oft besprochen haben eine KI braucht ja Rechenzentren, sie braucht Strom Netzwerke Chips bla bla bla.

00:47:58: Sie braucht Zugang zu all diesen Systemen Und zumindest bis auf weiter muss bräuchte sie Maschinen oder Menschen, die die Dinge dann tatsächlich physisch umsetzen?

00:48:07: Weil so ein Modell kann ja nicht einfach aus dem Rechen Zentrum heraus Es gibt jetzt zum Beispiel dieses Konstrukt, einen tödlichen Virus wie Corona oder sowas bauen und dann halt los schicken.

00:48:18: Aber das kann sie ja nicht materialisieren und die kann ja nicht einfach so los schickern.

00:48:21: Das müsste erstmal Informationen beschaffen, Labore organisieren Menschen manipulieren keine Ahnung irgendwelche automatisierten Drohnen kontrollieren.

00:48:29: also zwischen so einer extrem intelligenten Software und der Auslösung der Menschheit liegen glaube ich ganz viele Hindernisse und wir könnten allein darüber sprechen wie komplex es wäre.

00:48:38: wichtig komplex nicht unmöglich.

00:48:40: Das heißt auch nicht, dass ich hier völlig entspannt bin.

00:48:42: Ich finde mir sollten aber mal so einen Schritt zurücknehmen und eine aktuelle Gegenwartbetrachtung machen weil das was du angeführt hast ist die Informations-Exodus ist zum Beispiel eine wirklich akute Gefahr, die wesentlich näher liegt um die wir uns im Hier und Heute glaube ich Sorgen machen müssen.

00:48:58: Ich glaube, wenn wir so ein bisschen die letzten Monate rekapitulieren, dann würde ich sagen Cyber Security ist die offensichtlichste aller Gefahren gerade.

00:49:05: Also KI kann so gut Schwachstellen suchen und Angriffscoach schreiben, Angriff automatisieren... Man braucht für bestimmte Attacke einfach keine Hacker mehr!

00:49:14: Aktuell reichen paar Skriptkiddies mit einem Codex-Abo.

00:49:17: demnächst kann das die KI wahrscheinlich einfach selber und trotzdem einen absurd hohen wirtschaftlichen Schaden verursachen, wo quasi die gesamte kritische Infrastruktur Banken hast du angesprochen Energieversorgung Telekommunikation einfach den Bach runter gehen.

00:49:33: Dabei können auch Menschen sterben.

00:49:35: dabei werden ganze ganze Geschäftsmodelle vielleicht quasi zerstört und es kann zum Blackout kommen.

00:49:41: haben wir schon mal drüber gesprochen?

00:49:42: Der zweite große Bereich der mir so immer wieder Sorgen macht wenn ich darüber nachdenke ist einfach Biologie.

00:49:47: das ist einfach So.

00:49:49: dieses kurzfristige Sorgenbild ist ja immer.

00:49:52: die KI denkt sich eine Pandemie aus, wie Covid was ich vorher gesagt habe.

00:49:59: Das heißt ein Mensch oder einen Staat der mit Hilfe einer sehr leistungsfähigen KI vielleicht Zugang zu Wissen und Fähigkeiten kommt, die früher irgendwelche Spezialausbildung notwendig gemacht haben?

00:50:10: Und wenn es dazu kommt dann senkt das natürlich total die Eintrittsbarrieren für gefährliche biologische Forschung und Entwicklung und ich glaube dass muss man wirklich ernst nehmen nicht jetzt auf Individueller Ebene, so wie für mich und dich.

00:50:22: So im Sinne von Baumeer war eine biologische Bombe aber auf Staaten-Level.

00:50:26: ich sag jetzt mal schon statt ohne dass dies werte oder einordne.

00:50:29: Dann ist das absolut kritisch Und wir wissen nicht wo Klohdt für solche Sachen benutzt wird.

00:50:34: und letzter Gedanke von mir noch Das ist natürlich dann immer auch die Verbindung mit Biologie und Chemie Ist Militär Ja und da würde ich jetzt gar nicht drauf eingehen was das alles heißt.

00:50:43: Auch darüber könnte ich mich ewig in Rage reden.

00:50:46: Ende meines Monologs und meiner Gedankungen, ich glaube meine Haltung bei diesem ganzen Thema ist mittlerweile also jetzt gerade zumindest ziemlich aufgeräumt.

00:50:52: Letztes Wochenende war ich wirklich konsterniert heute sehe ich keinen Weltuntergang.

00:50:57: Ich würde auch diese zehn Prozent Wahrscheinlichkeit für die Auslöschung der Menschheit als absolut alles behandeln aber nur nicht als wissenschaftliche Zahl.

00:51:04: das ist eine persönliche Anekdote.

00:51:07: oder vielleicht Risikoreinschätzung mit vielleicht sogar ein bisschen doomsday Marketing.

00:51:10: Aber Ich bin bei dir, ich finde es falsch diese Diskussion irgendwie ins Lächerliche zu ziehen.

00:51:16: Denn einige Voraussetzungen die für gefährlichere Systeme notwendig wären entwickeln sich aktuell.

00:51:23: sie entwickeln się blitzschnell und ich glaube für uns sollte das heißen Die größte Gefahr ist nicht diese magische übermächtige Superintelligenz.

00:51:30: Die größere Gefahr isst dass wir sehr leistungsfähige Systeme zu früh mit so viel Handlungsmacht verbinden Und nicht absehen können was das in Monaten oder Jahren bedeutet.

00:51:41: Genau und ich würde nur eine Ergänzung machen zu früh, zu viel Macht in falschen Händen.

00:51:46: Also diese Kombination ist super gefährlich.

00:51:48: Du hast es gerade gesagt Ich mache mir auch nicht die Sorge dass irgendein Tesla Roboter anfängt mit der Axt durch die Straße zu laufen tatsächlich nicht oder das irgendwelche Robotics anfangen irgendwelcher Viren zu entwickeln.

00:52:03: aber alleine die Tatsache Und da muss man sich schon bewusst darüber sein Das was du heute mit den Werkzeugen tun kannst und jetzt zum Teil offiziell, das ist ja nur ein Tipp auf Weisberg.

00:52:13: Und wir wissen nicht was im Dark, es gab damals dieses, im Darkwrap dieses wie DarkGBT hieß es glaube ich als quasi GBT Werkzeug wo Du halt wie gesagt Viren hast programmieren können.

00:52:31: Wir wissen also, wie gesagt und das ist auch schon wieder zwei Jahre her.

00:52:33: Wir wissen nicht was macht man auf dem Level passiert?

00:52:36: Und das ist in der Tat ein Problem.

00:52:38: Ich versuche... Also deswegen bin ich bei dir!

00:52:40: Ich sehe es jetzt auch nicht so als dieses zehn Prozent.

00:52:43: Das ist nicht wissenschaftlich.

00:52:44: Was ich nicht sehe du hast gerade so gesagt Es ist ein bisschen Doom-Marketing oder Doom-Stale Marketing.

00:52:50: Da weiß ich gerade nicht Weil's mir so ein bisschen zu serious gerade rüber kommt Und weil es gerade ja auch von Menschen angeheizt wird, die gar keinen Vorteil davon haben.

00:53:00: Also ein Exentropic Mitarbeiter schneidet sich hier im schlimmsten Fall so ganz eigene Fleisch, weil er gegen irgendwelche Compliance-Regeln verstößt oder Vertragsregeln verstürzt wenn er über sowas spricht.

00:53:15: Aber ich weiß worauf du hinaus willst und ich stimme dir zu.

00:53:19: also ich glaube das Ende der Welt ist vielleicht doch mal bisschen weiter.

00:53:22: trotzdem und das ist so meine Konklusion Wir müssen wachsam sein und Wachsam bedeutet für mich nicht Dinge zu verteufeln, sondern Wachsamm bedeutet für mir Dinge zu verstehen.

00:53:34: Und das Verstehen, das merke ich.

00:53:37: und jetzt kommen wir gleich dann zur den positiven Nachrichten kommen es gibt ja auch welche also Diebmeint die er ist gerade so ein Institut gerade gegründet haben oder Ex-Diebmeind Mitarbeiter wo es genau um sowas hergeht.

00:53:49: aber den Satz ich noch sagen wollte dieses Verstehn wollen braucht es auf jedem Level, das braucht es bei uns in der Branche.

00:53:58: Auf jedem Level.

00:53:59: Das braucht es in allen anderen Branchen weil nur dann kannst du mitreden und kannst ja auch eine Meinung bilden.

00:54:06: Es hilft nicht einfach nur Chatchi Beauty zu nutzen um Einladungskarten zu generieren und eine E-Mail zusammenzufassen sondern es braucht... Ja da war's ja auch schön dass auch gut wenn er so genutzt wird.

00:54:15: aber ich glaube gerade auch in den Finanzthemen mit denen wir uns jeden Tag auf der Arbeit beschäftigen braucht es viel mehr Wissen darüber was passiert im Hintergrund und damit meine ich nicht zu verstehen, was ein Lodge Language Model ist sondern diese größere Klammer zu verstehen.

00:54:33: Was sind die Möglichkeiten heute?

00:54:35: Die uns KI schon gibt und Ich bin immer wieder ein bisschen in Rage geredet immer wieder überrascht wenn ich mit Menschen aus der Branche rede wo ich so denke Du hast doch ein krasses Studium hinter dir du hast doch so viel schon auch erlebt und auch umgesetzt Und du weißt nicht was so'n Agent heute schon kann.

00:54:52: Und das macht mir Angst.

00:54:54: Und dieses Wissen und Verständnis, ich glaube, das brauchen wir mehr.

00:54:57: Ja diese Berührungsängste finde ich immer noch krass!

00:55:00: Also wenn du die Leute erzählst, hast du keine Ahnung was mit Codecode, Codex... weißt der Teufel irgendwie?

00:55:07: Was machst dann?

00:55:08: Denken die alle, du bist verrückt und machst sonst was hacking shit.

00:55:12: Also es ist wirklich interessant und ich rede jetzt nicht irgendwie von der Generation unserer Eltern, sondern irgendwie Leute wie du und ich die gefühlt hat irgendwie Technologie Unternehmen im weiteren Sinne weitestens in Sinne halt irgendwie auch aktiv sind.

00:55:25: also schon spannender.

00:55:27: erzähl mal was deep bind macht los.

00:55:31: Genau.

00:55:31: Das ist der Demis-Hasabis, das ist dieser Gründer von Google DeepMind damals.

00:55:35: Sie haben

00:55:38: ein Institut oder sind gerade dabei für die Welt mit AGI?

00:55:43: Was hat dieses Institut letztendlich für eine Aufgabe?

00:55:47: Also zunächst einmal wollen sie in diesem Institut viele Wissenschaftler und Forscher, Ethik-Forscher also aus wirklich sehr breitem Forschungsfeld.

00:55:59: Vereinen und Einladen mitzumachen um letztendlich genau diese Frage zu beantworten wie gehen wir eigentlich Mit diesen ethischen Fragen um Wir haben es ja eben in diesem DOS-Szenario ein paar mal angesprochen was ist wenn die KI anfängt irgendwie selbstständig zu agieren.

00:56:14: unter Umständen will ich sogar sich selbst ihrer oder seine was auch immer bewusst wird und das wirft ja ganz, ganz viele Fragen auf.

00:56:22: Und dieses Institut versucht halt eine Plattform zu sein um eben Antworten auf diese offenen Fragen zu finden.

00:56:31: Ja du hast recht dahinter steht... Ich muss den Namen... Du hast ihn gerade gesagt?

00:56:36: Er ist Herr

00:56:36: Sabis.

00:56:39: Das ist unglaublich wie du es mit Namen drauf hast Genau.

00:56:43: Es gibt auch schon die ersten drei Essays, also wissenschaftliche Ausarbeitung wo man sich eben genau mit solchen Fragen beschäftigt.

00:56:51: aber jetzt bekommt das halt nochmal so ein neues Level weil es halt als so ein bisschen als Instrument oder instrumentalisiert wird um eben ja so eine Plattform für genau diese Fragen zu bitten.

00:57:01: Viel gute Geschichte und auch der richtige Zeitpunkt und davon braucht natürlich mehr.

00:57:08: Warum kennt, sagt mir der Name was?

00:57:09: Auch da eine absolute Empfehlung wenn ihr mehr über dem jetzt erfahren wollt.

00:57:15: Das ist der Gründer von Google DeepMind.

00:57:17: ich weiß gar nicht wann vor zehn Jahren oder sowas.

00:57:20: Der hat im Jahr den Chemie Nobelpreis bekommen für AlphaFold.

00:57:25: das war quasi damals dieses neue Tool was DeepMIND gebaut hat um Proteine aufzufalten und daraus neue Proteine zu generieren, die haben sich zum Beispiel in DeepMind damals Go überlegt und haben das gegeneinander sowohl den

00:57:43: Schach als

00:57:44: auch Go antreten lassen.

00:57:45: Genau!

00:57:46: Und es gibt eine ganz tolle YouTube-Dokumentation über ihn.

00:57:51: ist ein wahnsinnig zurückhaltender introvertierter, ganz lieber Typ mittlerweile natürlich auch Hardcore Multimedia der aber der in London DeepMIND aufgebaut hat

00:58:02: Wirklich?

00:58:02: Hilft

00:58:03: im zwanzig, dreißig auch nichts mehr.

00:58:05: Genau!

00:58:06: Dann sind deine Milliarden genauso viel wert wie mein Darlehen.

00:58:10: Es gibt noch eine andere Meldung die finde ich ganz interessant im Kontext.

00:58:16: Ich find sie auch irgendwie positiv weil das Bewusstsein doch mittlerweile in der Bevölkerung ankommt und zwar gibt es eine Umfrage aus den USA Wo der Amerikaner genau eben diesen Schritt, nämlich das Zurückfahren von Kai und den Entwicklungen dieses Slowdown befürworten.

00:58:34: Das heißt also auch in der Bevölkerung... Gibt es da Rückhalt?

00:58:38: In dem Zusammenhang sei auch ein Name genannt, der ja immer wieder durch sehr politische Aktivitäten in den USA auffällt.

00:58:45: Bernie Sanders, der momentan sehr viel dazu spricht zum Thema KI und wie ich finde ist er auch jetzt nie mehr der Allerjüngste durchaus fundiert also hat er sicherlich den einen oder anderen Beraterin im Nacken aber der versucht so ein bisschen Stimme oder eine kleine Minibewegung anzuführen.

00:59:06: Ich finde es positiv, wie gesagt, siebzig Prozent fast der Amerikaner.

00:59:10: Wir packen natürlich wie immer alles in die Show-Nauts.

00:59:13: Krass!

00:59:13: Der ist fünfundachtzig.

00:59:15: Echt?

00:59:16: Siehst du?

00:59:17: Boah... Ähm... ich habe nur doostay scheiße noch mitgebracht aber das ist blöd.

00:59:25: Roboter ist auch langweilig oder...?

00:59:30: Lass mal in die Fintech-Ecke gehen.

00:59:33: Ich habe eine Sache und dann darfst du, ich hab was von unserem Liebenfreund Erik Porzoweit Gründer von Scalable.

00:59:40: Die machen wie immer geilen Scheiß!

00:59:42: Die haben einen KI-Agenten jetzt raufgepasst.

00:59:46: an so der interessanteren Entwicklung im Banking würde ich jetzt gerade sagen die verbinden.

00:59:51: Scalible Capital heißt der Anbieter des Wertpapierdepots über MCP.

00:59:54: darüber reden soll lieber Mike hier gerne.

00:59:57: das ist wie heißt es Model Context Protocol glaube ich ne?

01:00:01: kannst du quasi deinen Wertpapier-Account mit deinem persönlichen ChatGPT-Cloat... Codex, GROC, weiß der Toffi was du nutzt verbinden?

01:00:11: und das heißt du musst dich da nicht mehr durch irgendwelche Menüs klicken sondern du kannst deinem Agenten dann entweder schreiben oder überwäust sagen zeigt mir meine größten Klumpenrisiken.

01:00:22: vergleiche mein Depot mit einem Musterdepot von irgendein berühmter Investor.

01:00:27: Oder setze des Limit von meiner Nvidia Order quasi nicht fünf Prozent oder den aktuellen Briefkurs weil ich vermute da irgendwas und dann verkaufe.

01:00:36: Das heißt der entscheidende Unterschied zum Classes & Chatboard ist schon, dass die KI kennt ja nicht nur meine allgemeine Finanzinformationen was mittlerweile ja dann doch diverse Banken haben sondern sie kann auf mein konkretes Depot zugreifen.

01:00:49: Sie kann lesen und analysieren sie kann aber auch schreiben.

01:00:53: also sie kann grundsätzlich sagen meinen Portfolio sieht so aus wenn gut haben blablabla.

01:00:57: du kannst aber auch sagen monitore alles das heißt habt eine Watchlist für den ETF oder ein Preiserlarmen Das Ding meines Beispieles.

01:01:06: Du kannst alles ausführen lassen, das heißt du kannst ein Order ausfüllen lassen, du kannst einen Sparplan vorbereiten und ausfühlen lassen... Und das ist richtig geil!

01:01:14: Also natürlich darf eine KI keine Wertpapierorder selbstständig abschicken.

01:01:18: aber also ich habe blöderweise kein Scale Capital Account mehr.

01:01:23: deswegen muss ich mir mal dringend neuen anlegen.

01:01:25: Aber was ich gesehen habe auf den Screenshots ist dass du quasi ne Vorschau kriegst von Scaleable und erst nach einer expliziten Bestätigung Von dir wird die order wirklich ausgeführt, das heißt du hast immer deinen jungenen loop.

01:01:37: autorisierungsprinzip muss ihr haben.

01:01:39: also gerade wertpapierbereich ist super krass reguliert.

01:01:43: Aber das ist ein wirklich schönes beispiel dafür wie agentik banking aus meiner sicht funktionieren sollte.

01:01:49: ja die k i darf denken sie darf analysieren und vorbereiten aber bei einer wirklich wichtigen information bleibst du als kunde aufgeklärt und machst die freigabe.

01:01:57: ich bin gespannt wie die das mit der haftung machen wenn es dann doch mal nicht so ist.

01:02:02: Gut, der Kunden hat freigegehen.

01:02:04: Ja, Wertpapiergeschäft ist mit MIFFITs unangenehme Revolutions bei solchen Geschichten gerade in der Dokumentation und Prozessrisiko.

01:02:13: trotzdem KI wird hier zum Interface Bank bleibt im Hintergrund finde ich auch spannend wie Scalable das macht weil du willst ja eigentlich als Bank immer so deine Marke also die Weltesunternehmen nach vorne ins Frontend.

01:02:24: Hier sagst du ganz klar, der Mike hängt sowieso den ganzen Tag irgendwie in seinem Agent irgendwie ab.

01:02:29: Kann da jetzt sich irgendwelche Taske setzen?

01:02:33: Dass wenn eine Order irgendwie blöd läuft oder irgendein Markt Emerging vielleicht in einer Richtung tendiert, dass er sofort eine Kauf- oder Verkaufsorder reingepromptet kriegt dann siehst Du dein Scalable Account nicht mehr.

01:02:45: und wenn Du das einmal nach vorne extrapolierst könnte es halt sein, Du hast irgendwann zehn Depots mit Bitcoin irgendwelchen anderen Assets die Du vielleicht noch so hast Ganze, aber einfach komplett über MCP konsolidiert in deinem Chat deiner Wahl.

01:02:58: Und dann ist es eigentlich total wurscht bei welchem Anden wieder du bist?

01:03:01: Aber ein spannender Ansatz und ich finde es wirklich cool dass Erik von Scalable das einfach mal ausprobiert.

01:03:06: Diese Diskussion um die Kunden oder Kundinnen Schichtstelle, die führen wir ja seit vielen Jahren und natürlich ist es so.

01:03:11: in dem Moment wo halt irgendwas im Chatbot stattfindet, ist es natürlich so klar findet nicht eine Scalabel App statt.

01:03:18: auf der anderen Seite ist es ne etwas mühsige Diskussion weil Kunden sind nun mal auch an einem neuen Plattform unterwegs, Chatbots und Co.

01:03:28: Und dadurch dass du ja immer noch den Newman in der Loop hast und die Order ja freigeben muss spätestens da bist du ja nochmal in der Scalable App und da kannst du natürlich auch nochmal Mechanismen überlegen.

01:03:38: wie hältst du ihn denn jetzt?

01:03:39: Du könntest ihm da auch noch was anbieten.

01:03:41: Nein, nein, du gehst nicht in die App.

01:03:43: Der pusht es, erfuscht das quasi auch über MCP wieder zurück.

01:03:48: Also, so habe ich es verstanden.

01:03:49: Ich glaube du musst nicht

01:03:51: gelöst werden.

01:03:55: Hättest du meinen Mic angerufen, Junge?

01:03:59: Wenn du zuhörst ruf den Mic an!

01:04:01: Der gibt Beratung auch wenn das die Sp... egal.

01:04:05: Du weißt

01:04:05: schon dass das Scalable unser gemeinsamer Wettbewerb zumindest ist.

01:04:13: okay wir machen weiter.

01:04:17: Das ist ein schönes Work-Fan.

01:04:20: Es gibt einen schönen Blockpost von Entropic.

01:04:23: mal wieder, es geht darum das Thema... Eigentlich wäre es ein Thema für dich.

01:04:28: Es geht nämlich um Cloud for Financial Advisors.

01:04:31: Sie bieten nämlich die Schnittstelle an das Finanzberater ihre Werkzeuge in den USA natürlich.

01:04:37: Da nennen auch die Plattformen.

01:04:39: ich kenne die allen überhaupt gar nicht.

01:04:41: Ich muss auch zustellen also ich kende auch keine Deutschen Plattformen in dem Bereich, aber mit Claude verknüpfen können und dann entsprechend Portfolieplattformen entsprechend Claude zu nutzen für finanzielle oder Finanzberatung.

01:04:56: Langer langer Blockpost vom Anfang der Woche.

01:05:00: Aber auch da sieht man und ich glaube das ist die wichtige Nachricht Das AI-Plattform, das ganze Thema Financial immer wieder für sich nicht neu entdecken sondern tatsächlich die Fühler ausstrecken, also ob Maiai hat er ja schon einiges getan.

01:05:13: Entropic tut immer wieder da in die Richtung.

01:05:15: was das Thema Financial ist halt wichtig warum?

01:05:18: Es hat Alltagsrelevanz und es liegt auch sehr nahe und dann müssen wir uns natürlich in der Bankbranche auch überlegen wie man sich da sinnvollerweise positionieren kann.

01:05:27: Ich habe noch das ist für

01:05:28: professionelle Finanzberater vielleicht noch irgendwie eine Minute dazu.

01:05:32: Also das ist total spannend.

01:05:33: ich hab mir das sehr intensiv angeschaut.

01:05:35: Das hört für uns beide überhaupt nicht relevant.

01:05:37: Ich würde mal sagen, ab Family Office und dann wirklich Professor oder Asset Manager ist es halt total geil.

01:05:43: So

01:05:43: geht's so in Richtung Asset Management?

01:05:45: Ja ja das ist professionelles, also echte Vermögensverwaltung.

01:05:48: Also die Anbieter, die du jetzt nicht kennst davon ein paar kennste BlackRock hast du schonmal gehört oder Valorant oder Charles Schwab oder so.

01:05:56: Genau, aber also die verbinden quasi so ein bisschen wie in Blumenberg Terminal für alle die das was sagt.

01:06:01: Also wirklich so ein Financial Aggregationssystem, was quasi alles Streams verwaltet, aber eben auch zu allen Depotführenden Banken und zu allen anderen Asset Managers, also auch net DWS und Co.

01:06:14: Und was du halt auch tun kannst ist Quasi Du hast all deine Depodaten drin, du hast deine Kastetdaten.

01:06:20: Dann das ist das wirklich teure.

01:06:22: auch Portfolio Analysen Finanzplanung.

01:06:24: Du hast einen steuer.

01:06:26: Informationen kannst du reinfiedern, du kannst Nachlassinformationen reinfieten und die Idee dahinter ist total einfach weil heute verbringt so ein Finanzberater von dem Family Office oder von sehr reichen Menschen für die du die Vermögensberatung machst wie eine Weber Bank oder sowas kennt ihr vielleicht.

01:06:41: Krass viel Zeit damit Information aus all diesen System aus im Internet in real time zusammen zu suchen was entropik einfach macht.

01:06:49: die gibt dir quasi eine Aggregation Ebene und sagst, dass du für deinen Kundengespräch dir das perfekt vorbereiten lässt.

01:06:57: Das vernetzt du mit deinem Kalender und der bereitet ihr quasi für jeden Kunden individuell ein Essay vor in Real-Time, für das Gespräch was du brauchst, was du nicht brauchst.

01:07:08: Du kannst einen Transkriptionen von diesem Gespräch auch MeeFitkonform quasi erzeugen.

01:07:12: D.h.,

01:07:13: du kannst es für den Followup benutzen.

01:07:14: Du kannst es in den CM rein posten.

01:07:16: Du könntest ein Portfolio wirklich perfekt für deinen Kunden managen.

01:07:19: Das ist, also ich sag mal für Profis oder Vermögensverwalter ändert das alles.

01:07:24: Die werden wahrscheinlich nur noch ein Prozent ihre gesamten Analysezeit damit verbringen sondern vor allem tatsächlich um das Zeug zu verkaufen.

01:07:31: Ist es?

01:07:31: Ich finde's... Also als ich gelesen hab, führe ich mega!

01:07:35: Bin nur blöderweise kein Assetmanager.

01:07:38: Ich auch nicht und ich gucke ein bisschen

01:07:39: auf die Uhr.

01:07:40: Noch nicht, das kommt ja

01:07:41: noch.

01:07:43: Wir haben ehrlicherweise, liebe Hörerinnen und Hörern, noch ganz viele Nachrichten die aber jetzt glaube ich so ein bisschen untergehen würde aufgrund der Folge.

01:07:51: Wir freuen uns dass ihr bis an diese Stelle uns treu zugehört habt bei unserem kleinen Doomsday-Szenario.

01:07:58: Sascha und Ich sind nicht immer einer Meinung Aber das ist ja auch mal ganz gut.

01:08:04: und heissam An dieser Stelle bleibt nichts anderes übrig als euch eine gute Start in die Woche zu wünschen, denn wenn ihr diesen Podcast hört ist das der Wochenstart und dir lieber Sascha wünsche ich ein schönes Wocheneinander.

01:08:17: Das wünscht ihr auch!

01:08:18: Wir hören uns schon mal am Wochenende.

01:08:20: Macht's hohe dir Leben, habt einen guten Wochen starten.

01:08:22: Ciao.