Jetzt kämpft Trump um die gefährlichste Technologie der Welt. Mit Marie-Astrid Langer

00:00:00: Der Moment an der Reißleine zu ziehen ist jetzt.

00:00:03: Wir müssen auch gar nicht diese ganze KI-Entwicklung stoppen, wir müssen diesen ICE, der auf uns zudonnert, nicht zum Halten bringen.

00:00:10: Wir müssten ihn einfach nur ein bisschen langsamer machen und zwar so verlangsam dass die Menschen das die Entwickler in diesem KI Firmen das die Ketchup machen können also Catching abaufholen können, dass sie ihre eigenen Sicherheitsmaßnahmen den Fähigkeiten der

00:00:28: KI anpassen können.

00:00:33: Es gab ein Thema, das sich hier ganz viele gewünscht haben und dass ist die aktuelle Entwicklung um KI.

00:00:40: Denn die KI-Debatte, das muss man sagen in den USA, die eskaliert und das wirklich urplötzlich nach dem hunderte Milliarden Dollar in die Entwicklungen von KI Modellen investiert wurden fordern die wichtigsten Unternehmenschef plötzlich die Forschung drastisch zu verlangsamen weil sonst die Gefahr für die Menschheit drohe.

00:01:02: Andere halten wiederum dagegen, unter anderem US-Präsident Donald Trump.

00:01:07: Was ist da gerade los?

00:01:09: Wovor waren grade diese KI-Chefs?

00:01:12: Warum kommt das von ihnen?

00:01:13: Welche Motive könnten da auch eine Rolle spielen?

00:01:16: und warum will Trump eben nicht auf die Bremse drücken?

00:01:20: Ich freu mich dass Marie Astrid Langer bei mir ist.

00:01:24: Sie ist seit im Silicon Valley und hat in den vergangenen Tagen viel über genau diese Fragen berichtet.

00:01:32: Grüße Dich Astrid.

00:01:34: Hallo Paul!

00:01:36: Astrid, lass uns mal anfangen was vielleicht manche mitbekommen haben.

00:01:42: andere werden es nicht mit bekommen haben.

00:01:44: die Debatte um den Anthrophic Forscher Jacob Coxen der öffentlich gekündigt hat und seinem eigenen Arbeitgeber ja im Grunde vorgeworfen hat mit einer Technologie zu spielen die sie am Ende selbst für potenziell existenzgefährlich halten.

00:02:05: Was ist da genau passiert und wie außergewöhnlich war das?

00:02:10: Ja, also die letzte Woche war hier im Silicon Valley wirklich ziemlich verrückt weil die Ereignisse sich überschlagen haben.

00:02:16: Du hast eben gesagt diese Königung von Jacob Coxham einem KI Forscher bei einer derführenden KI-Firm weltweit Anthropic deren Modelle schneiden regelmäßig bei diesen Vergleichsportalen bei den besten Listen der KI-Modelle belegen die Spitzenplätze.

00:02:34: Also wenn da einer der KI-Forscher kündigt und auch noch kündig, so wie es Coxen getan hat... Da schauen dann schon alle hin!

00:02:40: Und Coxon hat eben gesagt ihm reicht's jetzt er glaubt das auch Anthropic genauso wie Open AI völlig verlaufen, völlig verirren und wir als Menschheit auf einen Abbruch zu rennen also wirklich in eine Schlucht weil er, wenn dass jemand sagt ja Dinge sieht, die du und ich nicht sehen, weil er Modelle schon kennt, die schon um die Ecke warten Dann schauen da eben alle hin.

00:03:03: Und bei Coxen hatte seine Königung und seine Warnung auch deswegen eine gewisse Authentizität, würde ich sagen weil er mit der Königung jetzt eine Aktienoption aufgibt.

00:03:15: also das kostet ihnen privat richtig Geld.

00:03:18: Und nicht nur er hat das gesagt, also er hat quasi den Stein dann ins Rollen gebracht.

00:03:23: Aber nicht nur Er hat gesagt dass KI sich eine Richtung entwickelt die sehr gefährlich ist für die Menschheit weil der konkret gesagt hat die KI-Modelle werden so mächtig inzwischen dass sie die Menschheid bedrohen.

00:03:38: Und eben nicht nur er hat diese Warnung, diese drastische Warnungen ausgesprochen.

00:03:41: Dann hat auch ein anderer KI-Forscher von OpenAI im Recht gegeben und hat gesagt, er sieht das Risiko dass die KI in bis zu zwanzig dreißig die Menschheit getötet hat bei etwa zehn Prozent.

00:03:54: Und ich meine zehn Prozent also mit dem Risiko würden du ja nicht mal einen Flugzeug steigen oder?

00:04:00: Ob das jetzt zehn oder

00:04:00: fünf Prozent sind will ich sagen ist noch gar nicht so klar was auf jeden Fall so hoch das Risikot.

00:04:06: Woher kommen diese Prozentzahlen?

00:04:10: Ich frage mich dann immer, wie kann man so was sagen.

00:04:13: Also woher weiß man das?

00:04:14: Ja... Das Interessante Kritikpunkt, den da auch andere Leute gesagt haben ist ja eigentlich völlig unwissenschaftlich von einem Wissenschaftler solche Zahlen in den Raum zu stellen.

00:04:26: Ich glaube, es ist im Endeffekt gar nicht so wichtig ob das jetzt zehn oder zwölf oder fünf Prozent sind.

00:04:31: Ich glaube sie versuchen einfach zu veranschaulichen wie groß die Gefahr ist und wie mächtig diese KI jetzt geworden ist.

00:04:39: Denn der Grund dass diese Warnung ausgerechnet jetzt kommt, der ist ja, dass die Modelle in den vergangenen Monaten so enorm gut geworden sind.

00:04:48: Vielleicht ist das dir auch aufgefallen wenn du Chatchi PT nutzt.

00:04:51: Das ist inzwischen schlauer, als es noch vor sechs Monaten war und eine ganz andere Technologie als noch vor einem Jahr.

00:04:57: Und diese KI-Forscher innerhalb der führenden amerikanischen Firmen, die experimentieren ja schon mit Modellen, die nochmal viel besser sind – und sie können jetzt eben auch schon was das nennt sich in der Fachsprache Recursive Self Improvement.

00:05:12: dahinter steckt, dass die Modelle sich selber trainieren können.

00:05:18: Die sind quasi Autodidakten wenn du so willst!

00:05:20: Und die können vor deswegen aber auch sich Dinge beibringen, die die Forscher, die Entwickler vielleicht gar nicht wirklich so beabsichtigt haben.

00:05:30: Da kam jetzt eben auch letzte Woche raus da gab es mehrere Vorfälle in den letzten Monaten, die man erst jetzt bemerkt hat wo die KI schlauer war, raffinierter Vorgegangen ist als wir Menschen das eigentlich beabsichtigten hatten.

00:05:44: und daher eben diese drastischen Warnung

00:05:47: Astrid, bevor wir gleich nochmal auf diese Warnungen kommen und woher das herkommt.

00:05:51: Und der Fall, der jetzt eben viele beschäftigt.

00:05:56: Noch mal nachgefragt.

00:05:57: Also Chatchi Pity haben glaube ich schon einige gehört und gerade unsere Hörerinnen und Hörern haben damit einen Umgang.

00:06:04: möglicherweise auch oder nutzen ist teilweise aber Ich glaube ein Trophic weil es noch neuer ist.

00:06:11: davon haben war halt immer noch gar nicht so viele gehört.

00:06:14: Also wie unterscheidet sich man, die am Anfang auch gesagt hat dass Entropic nochmal besser ist?

00:06:19: Also wo kommen die her?

00:06:21: Was macht sie nochmal anders als jetzt ChatGPT?

00:06:25: Ja ja das ganz interessant weil ChatGpt OpenAI... Das ist ja so jedem inzwischen ein Begriff.

00:06:33: Aber Entropic kommt eigentlich aus OpenAI sind hier vorgegangen also noch bevor wir den ChatGpT Moment vor ein paar Jahren hatten Und damals hat sich eben, zwanzig-zwanzig, einundzwanziger haben sieben wichtige Forscher von OpenAI abgespalten.

00:06:55: Und haben gesagt, wir finden den Ansatz, den die Firma verfolgt nicht mehr richtig.

00:06:59: Der ist uns nicht sicher genug!

00:07:01: Wir wollen unser eigenes KI-Startup aufmachen und haben das Entropic genannt – auch eine Anlehnung an anthroposophischen Ansatz also dem Menschenkai, um den Menschenkreis.

00:07:17: Die sitzen genau wie OpenAI hier in San Francisco und haben es wirklich geschafft in den letzten Jahren erst ähnlich gut, dann genauso gut und nun inzwischen eben besser als OpenAI zu werden.

00:07:29: Also wenn ihr zum Beispiel in Deutschland viel ChatGPT nutzt, da nutzt man hier im Silicon Valley inzwischen Clothes das ist der Chatbot von Entropic Und die verfolgen eben zum Teil ein Ansatz dass sie sagen ihnen es ganz wichtig die AI Safety also die Sicherheit der KI Und haben deswegen eben auch viele Idealisten angezogen, auch von OpenAI abgeworben.

00:07:55: Weil man für sich selbst den Anspruch hatte, sichere KI zu entwickeln.

00:08:01: und ja da sind jetzt eben natürlich viel enttäuscht gewesen als auch die Modelle von Anthropic dann bestimmte Sicherheitsvorfälle verzeichnet hatten und daher dann auch die Königung dieses anfangs zitierten Jacob Corksen

00:08:21: Ja, dass das dann auch da passiert ist.

00:08:23: Also hatten die es am Ende nicht mehr in der Hand.

00:08:26: und was weiß man über den Jacob Coxen?

00:08:29: Mhm!

00:08:31: Was ist da

00:08:31: passiert?!

00:08:34: Die muss dir vorstellen diese Firmen wollen ja alle jetzt an die Börse.

00:08:38: Das heißt sie haben auch einen gewissen Druck von ihren Investoren Dass sie Geld einbringen Denn die verbrennen ja derzeit Geld ohne Ende mit ihren Modellen.

00:08:47: Deswegen ist es speziell in Thropic und OpenAI, aber auch Google.

00:08:52: In einem ständigen Kopf-an-Kopf-Rennen die bessere KI, die schnellere, die leistungsfähigere KI zu entwickeln.

00:08:59: Da herrscht so ein richtig enormes Wettrennen!

00:09:03: Die tun sich auch gegenseitig ständig Mitarbeiter abwerben.

00:09:05: Das musst du dir vorstellen das sind die Rahmenbedingungssettings dessen alle Presschen nach vorne.

00:09:13: machen keinen Urlaub, es ist richtig so.

00:09:15: die Urgency sagt man hier spürt man richtig.

00:09:19: Und vor dem Hintergrund sind natürlich die Modelle tatsächlich sehr schnell viel besser geworden.

00:09:24: und dann gibt's eben immer bestimmte Sicherheitstests, die man für die Modell durchführt und da werden die Modellen bewertet.

00:09:35: Dann bekommt die Modelle, muss dir so vorstellen wie ein Mensch den man was beibringen will bekommen bestimmte Aufgaben gestellt und dann muss mal gucken wie gut diese Aufgaben erfüllen.

00:09:45: Und in dieser Testumgebung der fortgeschrittenste Modelle ist es eben in den vergangenen Monaten zu Dingen gekommen, die selbst die Entwickler gar nicht antizipiert hatten.

00:09:56: weil eben dieses Recursive Self Improvement die Modellen machen sich selber besser.

00:10:01: Und da gab es eben jetzt einzelne Vorfälle, bei denen die Modelle aus der Testumgebung ausgebrochen waren.

00:10:07: Auch bei Entropic und im Internet Hackerangriffe gegen andere Plattformen vorgenommen hatten.

00:10:13: Das haben die Firmen dann vielfach selber erst Monate später gemerkt.

00:10:19: Da hat man bestimmte Verhaltensweisen, muss man wirklich sagen bei den KI-Agenten festgestellt die diese Forscher wie den Jacob Cox'n richtig alarmiert haben und haben gesagt wow wir haben es eigentlich nicht mehr im Griff.

00:10:32: Diese KI ist so mächtig sie trickst uns aus und wenn das so weitergeht in dieser irren Geschwindigkeit dann kann die KI irgendwann einen Weg einschlagen der sich gegen die Menschen richtet Weil die KI vielleicht, wenn sie versucht bestimmte Aufgaben zu optimieren und zu erreichen ist für notwendig erachtet.

00:10:53: Das Achtung wird jetzt ein bisschen düster Menschen umzubringen.

00:10:57: Da gibt es so ein bestimmtes Beispiel.

00:10:59: das finde ich ein bisschen abstrus aber das hört man immer wieder Wenn man der KI zum Beispiel den Auftrag stellen würde möglichst viele Büroklammern zu bauen Vielleicht würde die KI dann zu dem Schluss kommen dass man am besten die ganze Menschheit ausrottet weil man nur wirklich alle Ressourcen für diese Büroklammern-Aufgabe nutzen können.

00:11:19: Aber wie würde denn dann die KI die Menschheit ausrotten, weil momentan ist das ja etwas und ich fahr da erstmal bewusst... Ich benutze es natürlich, bin aber kein Experte wo ich mir denke.

00:11:29: okay das ist halt in meinem Telefon, aber wie können die mich umbringen?

00:11:35: Ja, das wird jetzt so ein bisschen vielleicht in unserer Wahrnehmung und die SciFi-Schilderungen reingehen.

00:11:39: Also man muss dir auch vorstelle vorstellen, inzwischen ist ja alle kritische Infrastruktur auch ans Internet angeschlossen oder... Das war eben ein wirklich krasses Beispiel wie ich fand!

00:11:50: Das war so britischen Sicherheitsforschern aufgefallen.

00:11:53: Die hatten eben auch eins der Modelle getestet und da war es so dass die Modelle im Versuch ihr Ziel zu erreichen haben sie dann richtiges Aktivitäten von Cyberkriminellen nachgeahmt.

00:12:05: Also die haben solche Fake-Identitäten online angelegt, haben dann realen Personen E-Mails geschickt in denen sie gelogen haben und haben auf diese Art und Weise Menschen dazu gebracht Dinge zu tun, die sie eigentlich gar nicht vor gehabt hatten weil die Menschen nicht gecheckt hatten dass sie gerade mit einer KI interagieren.

00:12:22: also musst du dir wirklich vorstellen diese Modelle sind so klug und eine Kombination mit Internetangriffen sorry mit internet Zugang können die wirklich Dinge womöglich vornehmen, die wir uns gar nicht vorstellen können.

00:12:35: Weil wir gar nicht so weit denken!

00:12:36: Ich sage nicht dass sie dich und mich jetzt morgen umbringen könnten aber ähm... Die Forscher sagen da zeichnet sich was am Horizont ab.

00:12:46: Und eine zweite Sache noch, die möchte ich auch betonen Wir haben gerade nur darüber gesprochen wie KI eigenständig Gefahr für die Menschheit werden kann.

00:12:55: Aber ne zweite Schiene auf die die Forscher immer wieder hinweisen ist das diese Modelle in den Händen falscher, böswilliger Akteure auch wirklich gefährlich werden können.

00:13:07: Also Stichwort biologische Waffenherstellung.

00:13:11: und da gab es jetzt eben auch Vorfälle wo Entropic verzeichnet hat das immer mehr Anfragen bei ihren mächtigsten Modellen eingehen.

00:13:19: also ebenfalls.

00:13:20: letzte Woche hat Entropic seinen Sicherheitsreports veröffentlicht.

00:13:25: dem bringt die Firma ein paar mal im Jahr raus um ganz freiwillig offen zu zeigen was alles schiefgehen könnte und was sie so sehen.

00:13:32: Und dieser Sicherheitsreport, Paul, der war jetzt wirklich diesmal krass weil die gesehen wird zum einen gezeigt haben dass immer mehr Anfragen zu biologischen Waffen kommen aber – das hört man in Washington und im Pentagon gar nicht gerne wie Iran versucht hatte diesen Chatbot von Entropic von einer amerikanischen KI-Firma dazu zu bewegen Iran zu helfen, Satellitenbilder, sonstige diverse Informationsmaterialien zum amerikanischen Militär in Iran auszuwerden.

00:14:04: Das heißt, Iran hatte versucht diese amerikanische KI gegen das Land selbst zu benutzen.

00:14:10: Wie erfolgreich

00:14:11: war das?

00:14:12: Ja, das Interesse an Entropic Sack, sobald Sie das gemerkt haben, haben wir es blockiert aber... Wir wissen es im Endeffekt nicht, oder?

00:14:19: Wir haben ja in letzter Zeit hört man immer wieder das Iran-Durchausschläge gegen die USA gelingen.

00:14:23: Ist das die Schuld vom Chatbot Claude von Entropic?

00:14:26: Ich weiß es nicht!

00:14:27: Aber sie versuchen's auf jeden Fall.

00:14:30: Und diese Anfragen, die du angesprochen hast Richtung biologische Kriegsführung Kann man danach vollziehen, woher solche Anfragen kommen und wie läuft das ab?

00:14:43: Und schaltet sich dann eigentlich, weiß ich nicht, die CIA ein oder...wie wird da hinterher geforscht.

00:14:51: Ja, ja das ist echt total spannend weil tatsächlich ihr so schwierig zu verstehen wer da fragt, weil es auch solche VPN Server gibt mit denen du deine eigene IP Adresse verschleiern kannst.

00:15:05: Aber auch du kannst die Frage ja unterschiedlich stellen.

00:15:08: Und das Problem gerade bei biologischen Waffen ist, dass wenn du an Informationen gelangen willst dann kannst du die Fragen auch so stellen ähnlich wie es ein Biotec-Forscher womöglich mit einem ganz legitim Anliegen formulieren würde.

00:15:25: Das heißt, entropics selber sagt sie versuchen danach bestimmten Indizien Auswertung zu interagieren.

00:15:32: Aber Sie können nicht ausschließen dass da auch mal was durchrutscht und das ist eigentlich das was wirklich sehr besorgniserregend ist.

00:15:40: Dass halt wie bei jeder Technologie sie kann für Gutes als auch wie Schlechtes verwendet werden.

00:15:46: nur das Problem bei KIs eben dass die Downside die Nachteile verdammt riskant sind.

00:15:54: Schaltet sich da die CIA ein?

00:15:56: Ich hoffe es, ich hoffe das Anthropic mit den großen amerikanischen Nachrichtendiensten kooperiert.

00:16:02: Aber man weiß es nicht weil du musstest ja auch wirklich verstehen die sind ja nicht wirklich reguliert.

00:16:06: also auf amerikanischer Bundesebene gibt's ja keine Gesetze die denen vorschreiben was sie tun dürfen und was sie nicht tun dürfen.

00:16:13: aber ich gehe davon aus ich weiß es aber nicht weil sowas natürlich nicht offentlich mitgeteilt wird.

00:16:19: wieder der Austausch mit CIA und anderen Behörden ist.

00:16:23: Lass uns nochmal zurückkommen auf Jacob Cox, den wir am Anfang erwähnt haben.

00:16:27: Also der Mitarbeiter, der dann gesagt hat das ist mir hier alles spooky zu gefährlich ich kündige und rede da auch öffentlich drüber Und dann ist ja alles ziemlich schnell gegangen.

00:16:36: also er veröffentlicht die Warnung und wenige tage später fordert der antrophic chef Dario Amodi ein slow down.

00:16:46: Was genau hat er gefordert?

00:16:48: Und was hat das ausgelöst?

00:16:49: und was steckt dahinter?

00:16:51: Ja, das ist jetzt lustig Paul, dass du sagst, dass es ganz schnell ging.

00:16:54: Weil im Endeffekt war das eigentlich wie so... Das hat schon die ganze Zeit gebrodet hier dieser Konflikt seit Monaten.

00:17:00: wenn du hier lebst und mit den KI-Forschern redest dann merkst du, dass das seit langem Anliegen von denen ist.

00:17:06: Und es gibt auch einige wirklich renommierte Wissenschaftler zum Beispiel Jeffrey Hinton, dem Godfather of AI also einer der die Grundlagen KI gelegt hatte, der war auch schon seit Langem vor diesen Sicherheitsrisikungen der Technologie.

00:17:24: Aber bisher hat das ein Ausmaß ... Das waren einzelne Strömung und das hat eben so geköchelt aber hat noch nicht angefangen über zu kochen wie wir es jetzt in der letzten Woche gesehen haben.

00:17:36: Und das erklärt sich damit dass letzte Woche wirklich so viel zusammengekommen ist.

00:17:41: Also da kam an dem gleichen Tag an dem du und ich auf Twitter diese Nachricht von Jacob Coxen gesehen haben.

00:17:49: Am gleichen Tag wurde bekannt, dass die KI von OpenAI ein Millennium-Problem gelöst hat also eines der schwierigsten kniffligsten Probleme der Mathematik, die Mathematiker seit Jahren umtreibt und nicht lösen konnten.

00:18:04: und auf einmal konnte das die KI.

00:18:07: Und dieser eigentlich positive Nachricht zeigt ja aber wie mächtig diese Tech inzwischen geworden ist diese Nachteile, von denen ich eben gesprochen habe.

00:18:16: Und in der gleichen Woche kam dieser Sicherheitsbericht raus.

00:18:20: Dann haben unabhängige Cybersecurity-Forscher noch einen weiteren Vorfall gemerkt wo KI schon im Mai für ein Cyberangriff verantwortlich war.

00:18:31: was man jetzt erst gemerkt hat das war damals Modell von Anthropic.

00:18:34: also es ist wirklich viel zusammengekommen jeden Tag haben sich die Nachrichten überschlagen und hat eben vor dem Hintergrund, dass auf einmal so viele Leute gewarnt haben.

00:18:47: Leute die wirklich Ahnung haben und Leute die auch persönlich was zu verlieren haben.

00:18:52: das hat dem Ganzen nochmal eine andere Qualität gegeben.

00:18:55: ich gebe dir noch ein Beispiel Das waren jetzt nicht nur Die DKI-Forscher von den zwei führenden Firmen entropic and open AI die da gewarnt habe sondern auch von Google weiterer führende Akteur in der KI-Forschung.

00:19:08: Da hat sich auch ein Wissenschaftler zu Wort gemeldet und hat ganz offen auf Twitter gesagt, also ich gebe meinen Kollegen recht – und ich weiß nicht was Google davon hält, dass ich das gerade schreibe, vielleicht kriege ich da am Montag richtig Ärger für-, aber manche Probleme sind zu schwerwiegend, zu gravierend

00:19:24: umzuschweigen.".

00:19:26: Und auch beispielsweise, das war auch noch, fällt mir gerade ein.

00:19:28: Am Donnerstag war auch eine große Cybersecurity-Konferenz in Washington und da hat der Chef der Aufsichtsbehörde CISA – Entschuldigung auf Englisch sagt man CISA!

00:19:39: Der hat eben also ein Regierungsmitglied, wenn du so willst.

00:19:42: Ein Staatsbeamter der hat auch gesagt es wird langsam richtig brenzlig was diese KI kann.

00:19:47: wir haben keinerlei Leitplanken von staatlicher Seite eingezogen und hat die Anwesenden angeguckt hat gesagt ihr alle müsst irgendwann nach Hause gehen und euren Familien und Euren Freunden ins Gesicht gucken und sagen ihr wusstet ist und ihr habt nichts getan.

00:20:03: Es war wieder perfekte Sturm von allen Seiten.

00:20:06: Und jetzt ist es so, dass der Tropic Chef Amodai so wieder ausgesprochen richtig?

00:20:12: Ja.

00:20:12: Amodae ja!

00:20:14: Amodee, der warnt inzwischen von einem Szenario, indem sozusagen der schwärme autonome Agenten große Teile des Internets angreifen könnten.

00:20:27: Was ist das jetzt wieder und wie realistisch ist das?

00:20:31: Ja, da hat er gesagt dass wenn in gleich also mit dem was ihr inzwischen von bestimmten cyberangriffen weiß Wenn sich das bald nochmal wiederholen würde dann könnten die so das ganze internet lahm legen.

00:20:44: ich meine steht das mal vor mit allen auswirkungen auf die auf die weltwirtschaft.

00:20:49: ja Er hatte eben dann am samstag.

00:20:51: Er hatten persönlichen blog an dem er sich immer wieder zu wort meldet und Da hat er eben so ein essi geschrieben und hat da ihn wirklich drastischen Worten noch mal formuliert, dass er sein Mitarbeiter bzw.

00:21:03: Ex-Mitarbeiter der es da gekündigt hat eigentlich völlig recht gibt und das auch eher verschiedene Gefahren sieht.

00:21:11: eben erstens weil es einen qualitativen Unterschied inzwischen beim Training der Modelle gibt stichwort wieder dieses Unwort Recursive Self Improvement und zweitens Er konkret gesehen hat zu was KI-Agenten in einem Schwarm koordiniert möglich sind.

00:21:30: Wie die sich absprechen, wie sie sich im geheimen Foren ja auch einen deutschen Wiki Notizen hinterlassen haben um ihr Vorgehen zu koordinieren und dass das wirklich jetzt der Punkt ist wo man warnen muss.

00:21:45: Und er hat dann eben drei Sachen konkret gefordert.

00:21:48: Das erste hat er selbst im Griff, er hat gesagt wir brauchen externe Prüfer die bei uns in die Firma kommen.

00:21:54: Die Mitarbeiter ähnlichen Zugriff auf die neuesten Modelle bekommen den wir wirklich erlauben uns an die Karten zu gucken und die nochmal eine Stimme von außen sind und uns beraten können aber auch Berichte schreiben können.

00:22:09: vermutlich.

00:22:10: Der zweite Punkt ist, es muss eine Koordinierung zwischen den KI-Firmen geben.

00:22:15: Also OpenAI und Propic Google – wenn du willst auch SpaceX von Elon Musk!

00:22:20: Und das Dritte?

00:22:21: Es braucht eine internationale Koordination und da eben vor allen Dingen zwischen den KAI Supermächten China und den USA

00:22:30: Weil Du auch Oldman und Musk angesprochen hast, die haben sich dann ja auch zu Wort gemeldet Und auch gewarnt und vor großen Konsequenzen gewarnt.

00:22:42: Und irgendwie muss man es vielleicht nochmal aufgreifen oder erklären, weil das klingt ja erstmal verrückt!

00:22:46: Also da sind diejenigen, die das Ganze entwickelt haben... ...und plötzlich stellen sich hin und sagen Das wird alles ganz gefährlich und prozent salix y Ja.

00:22:56: also wir machen uns Sorgen um die Menschheit aber ich meine sie haben's ja erfunden und warum kommen jetzt plötzlich alle gleichzeitig raus?

00:23:05: Wie kann man das

00:23:05: erklären?!

00:23:08: Ja.

00:23:08: Das ist vor allem auch von dem Hintergrund interessant, als dass die drei speziell Altman-, Musk- und Ammo-Day eigentlich Rivalen sind.

00:23:16: Also die waren alle mal bei OpenAI Elon Musk war deren Gründungsmitglied, haben sich dann alle abgespalten mit viel Knirsch und eigentlich das richtige Erzrivalen hier.

00:23:27: also es gibt nicht viel bei denen sie sich einig sind Und du hast völlig recht.

00:23:30: auf einmal sind die sich einigen, dass diese Technologie so furchtbar gefährlich sein soll.

00:23:37: Es gibt manche Stimmen, die sagen das ist alles Marketing.

00:23:41: Die wollen alle jetzt vor ihren Börsengängen, die ja auch im Raum stehen und im Fall von den Propics auch schon recht bald kommen dürften.

00:23:48: Wollen sie einfach nochmal so richtig die Marketingtrommel rühren?

00:23:52: oder dass sagen andere?

00:23:53: Die wollen jetzt im Vorfeld vor den Börsegängen auf die Probleme aufmerksam machen, dass man nachher nicht wenn sie kotiert sind mal sagen könnten eben dass die Problem ihnen dann quasi um die Ohren fliegen.

00:24:06: Ich glaube aber, ich glaub das nicht.

00:24:09: Ich glaube nicht dass das alles nur Marketing ist bestimmt auch Marketing dabei.

00:24:13: Aber ich glaube dass die Technologie wirklich so gut geworden ist inzwischen Dass es einen Punkt gibt an dem man Achtung hoffen muss.

00:24:22: Aber hätte man das nicht von Hätte man das Nicht.

00:24:25: weil du sagst ich meine bei dieser technologie hätte man Das nicht Von Anfang An.

00:24:29: Wissen Müssen Wissen Könn

00:24:33: Ja.

00:24:33: Und das ist auch tatsächlich so, dass bestimmte Leute wie auch Dario Amodei von Entropic seit Jahren sagen diese Technologie ist gefährlich.

00:24:41: Also er selber war letztes Jahr hier auf einer Konferenz in Amerika und hat gesagt, er schätzt das Risiko, dass irgendwas schiefgehen könnte mit KI bei twenty-fünf Prozent ein.

00:24:52: Er hat damals nicht gesagt es ist die Menschheit ausrottet.

00:24:54: Es gibt schon seit langem Stimmen, die sagen KI würde uns irgendwann alle umbringen.

00:24:59: aber es war bisher immer alles Einzelstimmen aber gesehen, dass KI nicht mal eine Hand richtig darstellen kann.

00:25:06: Dass wenn ich sage mach mir ein Bild von einem Menschen hat der irgendwie immer sechs Finger oder das KI nicht mehr weiß wie gestern Bayern gespielt hat.

00:25:15: Aber wie du vielleicht auch gemerkt hast diese Technologie ist viel besser geworden und langsam merkt man auch oh wow die ist ja wirklich ganz schön klug.

00:25:24: OpenAI hat letzte Woche über zwei Wochen sein neuestes Modell vorgestellt GPT Astra.

00:25:31: Und da hat der Präsident von OpenAI gesagt, also das ist aus seiner Sicht so gut dass wir jetzt diesen Benchmark allgemeine künstliche Intelligenz erreicht haben, AGI.

00:25:45: Du musst es einfach nicht vergessen.

00:25:48: bisher waren diese Warnungen vor einem Produkt, von dem viele dachten, das ist ja ganz schön doof und inzwischen ist dieses Produkt verdammt gut geworden.

00:25:59: Version des Produkts, die noch nicht öffentlich zugänglich sind.

00:26:02: Die verdammt gut sind und auf einmal ist das eben viel glaubhafter.

00:26:06: Gepaart mit Berichten von unabhängigen Aufsichtsbehörden, die in den letzten Wochen raus kamen, die auch nochmal die Alarmglocken schrellen.

00:26:14: Und wie schnell könnte das jetzt gehen?

00:26:16: Also über wie viele Jahre sprechen wir da und was wäre dann so?

00:26:20: die erste Gefahr, die uns droht?

00:26:22: Wir sind hier im völligen Armageddon Tor.

00:26:27: Wenn die Chefs das machen, dann machen wir uns natürlich alle Gedanken.

00:26:32: Aber was ist da der Zeitraum?

00:26:35: Ja ja gute Frage!

00:26:38: Also da sagen eben jetzt die führenden Köpfe Der Moment an der Reißleine zu ziehen ist jetzt.

00:26:43: Wir müssen auch gar nicht diese ganze KI-Entwicklung stoppen diesen ICE, der auf uns zu Donald nicht zum halten dringend.

00:26:51: Wir müssen ihn einfach nur ein bisschen langsamer machen und zwar so verlangsam dass die Menschen das die Entwickler in diesem KI-Firm Ketchup machen können, also Catching abaufholen können.

00:27:04: Dass die ihre eigenen Sicherheitsmaßnahmen den Fähigkeiten der KI anpassen können.

00:27:10: und da hat Ammo Day in seinem Blog Eintrag vom Wochenende eben auch ganz konkret gesagt.

00:27:15: Also wenn wir es schaffen Die Entwicklung so zu Verzögern dass wir ein zwei Jahre gewinnen als Frontier AI Labs Als führende KI Firmen dann macht er sich schon weniger Sorgen weil er glaubt Dann haben wir als Menschheit quasi aufgeholt und können uns auf die potenziellen Schattenseiten dieser mächtigen Technologie vorbereiten.

00:27:39: Denn du darfst ja nicht vergessen, KI verschwindet ja nicht mehr!

00:27:41: Also genauso wie damals die Leute, die gesagt haben das Internet ist das Ende von allem... Das Internet geht nicht weg, KI geht nicht mehr weg.

00:27:48: wir müssen jetzt einfach gucken wie man verantwortlich mit dieser Technologie umgeht.

00:27:54: Aber wenn das eine ist, ob wir zu US-Firmen sagen sie würden irgendwie das verzögern oder regulieren dann gibt es ja immer noch andere Player vor allem in China.

00:28:04: Also warum sollte sich China da einverstanden erklären und auch dabei sein?

00:28:09: Und dann hätten wiederum die OS Unternehmen die Sorge dass chinesische Unternehmen sie überholt

00:28:17: Ja genau und sprichst den absoluten Knackpunkt an.

00:28:21: also In den USA gibt es ganz viele Stimmen, gerade bei der Regierung.

00:28:25: Gerade bei der republikanischen Partei allgemein.

00:28:28: Die eben vor dem richtig Kraut von einer Supermacht China, die dann noch über die weltweit mächtigste KI verfügt und wirklich unauffaltsam ist.

00:28:39: Und du darfst ja auch nicht vergessen, KI ist ja gerade im Militär, gerade in der Kriegsführung auch enorm wichtig!

00:28:46: Da hat zum Beispiel Fettmeckert einen Der Senator Ted Cruz aus Texas, der ist ja auch vielen ein Begriff weil er immer so makante Aussagen gemacht.

00:28:54: Er hat letztens in einem Interview die schöne Aussage gebracht Ja also er teilt diese Befürchtung der KI-Forscher auch und er will auch nicht dass es irgendwann Killerroboter gibt.

00:29:04: aber ihm ist es dann immer noch lieber von einem amerikanischen Killerrobotter umgebracht zu werden als von einem chinesischen.

00:29:11: Ist auch eine Meinung kann man auch nur als Ansicht haben.

00:29:16: Das ist eben genau der Schwachpunkt dieser ganzen Debatte der Zeit, dass wenn die Amis auf die Bremse treten, ist die Chinesen nicht unbedingt auch machen.

00:29:26: Derzeit ist es noch so, dass die amerikanischen KI-Firmen puncto KI den chinesischen um ein paar Monate voraus sind.

00:29:34: Ob das jetzt zwei Monate oder acht Monate sind hängt ganz von einer jeweiligen Art von KI ab – aber prinzipiell führen da die AmIs der Zeit!

00:29:43: Und die Angst ist, das sagen sie ein, dass dann eben die Chinesen jetzt aufholen.

00:29:47: Dass man jetzt oft keinen Fall die Gangart verlangsam darf.

00:29:51: Die anderen sagen aber, naja also die Chinsen kupfern ja vor allen Dingen eh von den Amerikanern ab.

00:29:57: Das ist nämlich in vielfach geäußerter Vorwurf gegen China, dass die ihre Modelle über einen Prozess der Destillation an amerikanischen Modellen trainieren.

00:30:08: Das ist quasi so, wie musst du dir vorstellen?

00:30:09: Wie wenn die amerikanischen Modelle kosten wahnsinnig viel Geld, Milliarden in der Entwicklung.

00:30:16: Das ist wie ein PhD-Professor und dann kommt zu einem normaler Unistudent.

00:30:21: das sind chinesische Modellen und schreiben alles bei dem PhD Professor ab sozusagen.

00:30:26: Da sagen eben manche Leute naja also wenn die Amerikaner verlangsamen, dann tun die Chinesen zwangsläubig verlangsam.

00:30:32: Das sind alle Fragen.

00:30:34: Dazu werden wir vielleicht Antworten am vierzehnsten September bekommen.

00:30:38: Dann kommt nämlich Xi Jinping nach Washington zum Staatsbesuch und KI würde man hoffen, steht da auch auf der Agenda zumindest hinter geschlossenen Türen.

00:30:47: Weil du den Staatsbesuchs ansprichst.

00:30:50: also er trifft dort US-Präsident Donald Trump natürlich.

00:30:54: Und im Zusammenhang mit Trump ist am Montag etwas Interessantes passiert.

00:31:00: Da saßt der Nvidia Chef bei einem Summit auf der Bühne Und plötzlich rief Trump ihn an und erklärt die große KI Angst zum Hawks, also Bushet.

00:31:15: Der NVIDIA-Chef, der muss man wahrscheinlich besten Ships für diese KI-Firmen produzieren, widerspricht den Untergangsszenarien ebenfalls.

00:31:29: Was ist da genau passiert auf der Bühne?

00:31:34: wertvollste Tech-Konzern der Welt.

00:31:36: Der ist mehr als fünf Billionen Dollar an den Börsen wert und das hat NVIDIA, der KI zu verdanken.

00:31:43: denn vor einigen Jahren hat Jensen Huang die du eben erwähnt hast dass der Gründer und das heute CEO, der hat's den ganzen Kurs seines Unternehmens rumgerissen, die hatten früher Grafikprozessoren für Gamer hergestellt und hat gesagt er setzt ganz auf künstliche Intelligenz und stellt jetzt eben die hoch, also die Designen.

00:32:03: Die Hochleistungstips, die dann diese ganzen Rechenzentren gehen um die KI-Modelle zu trainieren.

00:32:09: Man könnte sagen, NVIDIA ist der große, der größte Gewinner, könnte man auch sagen – der KI Revolution!

00:32:16: Und das muss man sich im Hinterkopf behalten wenn man jegliche Aussagen von Jensen Huang derzeit hört.

00:32:24: Also er will natürlich nicht dass diese Lokomotive langsamer wird weil er dann auch weniger Chips verkaufen würde.

00:32:31: Er sagt auch, ja es gibt vielleicht Sicherheitsbedenken aber er zweifelt an dass die so gravierend sind wie die Chefs der KI-Firmen das jetzt behaupten.

00:32:42: und das Interessante ist eben hat da wirklich ein vermächtigen Verbündeten im Präsidenten.

00:32:46: also muss dir vorstellen der amerikanische Präsident und der CEO der wertvollsten Techfirma unserer Zeit verbünden sich jetzt und sagen alle Bedenken zu KI alle Armageddon-Szenarien sind Bullshit.

00:33:00: Warum macht Trump dust?

00:33:02: Also warum ist er da, ich meine, er hat ja auch immer ein enges Verhältnis zu Elon Musk und anderen und hat auch auf Mark Zuckerberg zuletzt und andere gesetzt.

00:33:11: also warum scheint ihn das nicht zu beeindrucken was die sagen?

00:33:14: Ja, ich finde generell bei Trump interessant warum er sich so für KI interessiert.

00:33:19: Ich meine der Mann ist achtzig Jahre, die ist bekanntlich nicht mehr Emails.

00:33:23: kann ich wirklich mit seinem Handy umgehen und diese Schlüsseltechnologie fasziniert ihn total.

00:33:28: aber ich glaube für Trump ist KI inzwischen was persönliches.

00:33:32: also ich glaub er sieht den KI-Boom als seinen Boom an womit er ja auch nicht unrecht hat denn Fließen zwei Prozent des amerikanischen BIP in KI-Investition.

00:33:45: KI ist der Wachstumsmotor, der Wirtschaft überhaupt und ich glaube bei KI kommt einfach ganz viel zusammen was Trump gut findet.

00:33:55: Da haben wir dieses Wetter mit China.

00:33:58: China ist ja eh sein Lieblingsfeind.

00:34:01: Dann haben wir echte greifbare Fabriken, die jetzt gebaut werden.

00:34:05: Chips, auf die man schreiben kann, Made in America.

00:34:09: Das Ganze hat zum boomenden Aktienmarkt beigetragen.

00:34:13: Das ganze führt dazu dass diese Taxi Eos bei ihm im Washington Vorkriechen und ihm wie damals noch Tim Cook bei Apple Goldgeschenke machen.

00:34:23: Jensen Huang ist ja inzwischen Buddy-Buddy mit ihm, die machen das alle natürlich weil sie sich hoffen Gefallen von der Regierung zu bekommen.

00:34:31: und bei Apple und bei Nvidia hat es auch wirklich geklappt.

00:34:33: Die haben ja Exports Ausnahmen bekommen für ihre Produkte nach China.

00:34:39: Aber prinzipiell musste einfach verstehen Trump interessiert sich sehr Für KI Und ihm ist wichtig dass diese diese Lokomotive um bei dem Bild zu bleiben auf gar keinen Fall langsamer wird.

00:34:52: Und inzwischen, das ist eben das Interessante was jetzt gerade ganz neu passiert ist... Das Ganze ist etwas Persönliches für ihn!

00:34:58: Also er hat jetzt gesagt alle Bedenken zu KI-Sicherheit, dass es genauso Quatsch und Unfug wie damals die Russia Hokes und dass er den Wahlsieg ... oder hat er dazu was gesagt?

00:35:10: im Wahlsieg?

00:35:10: Ich bin mir grad nicht sicher aber ist jetzt für ihn persönlich.

00:35:13: und die sagen alle Zweifler wollen ihn an ihm an den Leib.

00:35:17: Und wenn das so ist, also wenn die sich verbünden heißt es dann auch für den Staatsbesuch.

00:35:24: Dass man also den chinesischen Staatsbesuche im September dass das Thema KI da die größte Rolle spielen wird

00:35:32: Abs die größte Rolle spielen wird, weiß ich nicht.

00:35:34: Denn es gibt ja was man hier im Silicon Valley manchmal vergisst auch andere geopolitische Konflikte Stichwort Straße von Hormuz Ukraine

00:35:42: etc.,

00:35:43: aber Ich glaube Es wird eine Rolle spielen.

00:35:46: also da gibt's jetzt zum Beispiel den Vorwurf der Destillation über den wir vorhin gesprochen haben.

00:35:51: Der wird sicher angesprochen werden.

00:35:53: Dario Amodey hat als das gefordert.

00:35:55: zweitens dass China und USA sich zumindest auf den kleinsten gemeinsamen Nenner eignen, nämlich dass sie beide auch sich dafür einsetzen das KI nicht für die Entwicklung biologischer Waffen verwendet würde.

00:36:09: Also ähnlich wie damals im Kalten Krieg mit dem Hochrüsten, dass man irgendwann einfach eine direkte Telefonleitung zwischen den wichtigsten Akteuren einrichtete.

00:36:19: Amode hat auch noch Gehofft, aber das halte ich für illusorisch.

00:36:23: Dass China ebenfalls eine Verlangsamung des Tempos zustimmen würde – aber ich meine nicht mehr Trump will das ja!

00:36:29: Von daher dürfte da dieser ICE einfach genauso schnell, vermutlich weiter auf uns zu rollen außer die KI-Firmen selber finden jetzt Mechanismen und um das Tempo zu

00:36:39: trosseln.".

00:36:41: Ja, wovon gehst du aus?

00:36:42: Wenn die da alle so warnen und gemeinsam warnen.

00:36:46: Also werden sie dann am Ende vielleicht auch aufgrund internen Drucks selbst etwas regeln?

00:36:55: Das finde ich derzeit wirklich spannend zu beobachten.

00:36:58: Also das ist auch eine Geschichte, die dreht und da gibt es jeden Tag neue Aspekte zu.

00:37:02: Jungs ist jetzt gerade eine Geschichte rausgekommen, dass wohl schon seit Wochen diese drei großen Akteure OpenAI, Anthropic Google miteinander reden ob sie nicht gemeinsam in Aufsichtsorganen aufstellen und selber mit Experten ausstatten dass so die Einhaltung von solchen Sicherheitsminist-Standards beim Training von Modellen kontrolliert.

00:37:27: Also ich meine, sie könnten natürlich sitzen selber hinterm Steuerrad, gell?

00:37:31: Die könnten ja selber kontrollieren wie schnell ihre Züge fahren.

00:37:35: Ich glaube das Problem ist so ein bisschen... Anreizthematik dahinter, weil eigentlich müssten sich alle einig sein das Tempo zu verlangsamen.

00:37:43: Weil wenn es gibt quasi Anreize sich nicht dranzuhalten, weil deine Modelle dann doch besser werden und du dann mehr verkaufst und den anderen voran voraus bist und die müssen erst mal wieder aufholen.

00:37:54: aber das wird jetzt wirklich spannend sein zu sehen und da geschieht glaube ich auch viel hinter den Kulissen wie diese propagierte Verantwortung Eigenverantwortung jetzt wirklich umsetzen wollen.

00:38:09: Und wenn du jetzt als jemand, du beobachtest das alles jeden Tag.

00:38:13: Du verfolgst alle Nachrichten und bist schon so lange dort im Silicon Valley für die NZZ unterwegs Jetzt zusammenfassen also alle die uns jetzt zuhören wie viel Sorgen müssen wir uns denn jetzt machen?

00:38:25: Also werden diese Schreckensszenarien können die wirklich Wirklichkeit werden oder gehst du davon aus dass man da etwas gegen Er schafft, wie ist deinen Expertenblick?

00:38:40: Ich finde die derzeitige Diskussion enorm wichtig.

00:38:46: Auch wenn sie vielleicht von vielen als Aufmerksamkeits-Heischend kritisiert wird führt sie glaube ich dazu dass wir alle ganz wichtige Gespräche führen so wie du und ich gerade das wir uns überlegen was kann diese Technologie eigentlich außer mir den nächsten Kindergeburtstagplan oder ihr beim Autokauf helfen, wozu ist die noch fähig und wie schnell wird sie besser?

00:39:12: Und was sind die Schattenseiten davon.

00:39:14: Ich glaube wir alle wissen was die Schattenseiten von Nuklearenergie sind aber wissen ja alle wirklich was die schattenseite von KI sind?

00:39:21: haben uns es mal so richtig überlegt Welche Fragen wir den Firmen eigentlich stellen müssten, vor allem wenn die jetzt an die Börse wollen?

00:39:30: Die wollen jetzt ja – das darfst du nicht vergessen.

00:39:32: Das sind kurz davor mehr als nochmal eine Milliarde Dollar aufzunehmen und eine Aktienbewertung zu bekommen von zwei Billionen Dollar.

00:39:43: Und das wären die größten IPOs der Geschichte!

00:39:46: Also da fließt auch richtig viel Kohle mit.

00:39:48: und wollen wir denen wirklich das Geld geben?

00:39:50: oder welche Fragen wollen wir denn

00:39:52: vorherstellen?!

00:39:53: Du hast jetzt gefragt, ob ich glaube dass das alles so kommt.

00:39:57: Ich weiß es nicht.

00:39:58: Ich habe in den letzten acht Jahren hier gemerkt, es wird nichts so heiß gegessen wie es gekocht wird.

00:40:03: aber auch was anderes ist war die Technologie kommt meistens nicht so schnell wie das die Leute hier sagen Aber sie kommt und KI wird besser!

00:40:13: Das ist eine Tatsache.

00:40:14: Und diese Technologie wird immer nur viel besser und die Maschinen werden immer noch viel schlauer.

00:40:20: Und ob dann tatsächlich auch die Schattenseiten, wie sie jetzt als Armageddon-Szenarien skizziert wären.

00:40:25: Ob die kommen?

00:40:26: Ich glaube darüber haben wir mehr Mitsprache als man denken würde.

00:40:32: Marie erstritt lange hoch.

00:40:34: Spannend!

00:40:34: Vielen vielen Dank für diese umfassenden Erklärungen und deine Analyse so wichtig dahin zu schauen.

00:40:42: großartige Arbeit, die du machst.

00:40:44: Kann nur empfehlen deine Berichte zu lesen in der NZZ aus dem Silicon Valley und bedank mich sehr für deine Zeit!

00:40:51: Ganz herzlichen Dank Paul.

00:40:52: ich bedanke mich

00:40:53: danke Danke dass ihr wieder zugehört habt.

00:40:56: vielen dank auch für das viele feedback auf ronsheimer.tv.

00:41:01: da findet ihr auch alle meine social media accounts wo ihr mich persönlich kontaktieren können.

00:41:07: das glauben manchmal die leute gar nicht aber ich schauen mir die kommentare tatsächlich selbst an Und ich bitte darum, lasst weiter Likes da bei Spotify, Apple, wo auch immer ihr den Podcast hört.

00:41:19: Bei YouTube natürlich, wo ihr dem Podcast auch sehen könnt!

00:41:23: Und ich freue mich, wenn ihr uns abonniert und das hilft uns wirklich sehr.

00:41:29: Und ich bedanke mich natürlich in erster Linie bei meinem großartigen Team, bei Philipp Jatoff in der Redaktion, bei Liven Jenrich in der Produktion

00:41:40: und

00:41:40: natürlich an meinen Producer Daniel van Moll!

00:41:44: Herzlichen Dank und alles Liebe!