Willkommen zurück bei Krasse Links No 21. Meine Erschöpfung ist zwar nicht völlig überwunden, aber ich kann doch den ganzen Quatsch unmöglich so stehen lassen? Also programmiert Euch das Netzwerk auf den Duden, heute beerdigen wir den KI-Hype.
Trotz Spanien! Deutschland atmet auf!
Konkret soll die Schuldenbremse für den Haushalt 2025 nicht ausgesetzt werden. Der Bund will im kommenden Jahr 44 Milliarden Euro neue Schulden aufnehmen – und mit dieser Kreditaufnahme bei einem Haushalts-Gesamtvolumen von 481 Milliarden Euro die Vorgaben der Schuldenbremse einhalten, sagte Lindner.
Wenn man sich einmal von den Quatscherzählungen von „Haushaltsdisziplin“ und der „schwäbischen Hausfrau“ gelöst hat und verstanden hat, dass die Schuldenbremse wirtschaftspolitisch das Gegenteil von Sinn macht und selbst den Unternehmen schadet, dann stellt sich natürlich die Frage, warum sie immer noch so erbittert verteidigt wird.
Meine in Deutschland offenbar unpopuläre These dazu ist, dass die Schuldenbremse ein strukturelles Unterdrückungsinstrument gegen die Bevölkerung ist. Durch die pauschale Verhinderung von öffentlichen Investitionen hat die herrschende Klasse ein Default-Veto gegen die Demokratie eingelegt und es mit Verfassungsrang ausgestattet, das sie aber bei Bedarf (Polizei, Rüstung, Subventionen, Steuersenkung, Krisenstablilisation, etc.) durch ihre Statthalter bypassen lassen kann. Was sind schon ein paar Milliarden Euro Verlust gegen so einen Hebel?
Nachdem Murati neulich ja bereits zugegeben hatte, dass OpenAI keine fortschrittlichere Variante ihrer LLMs in ihren Labs testet, hat sie vorletzte Woche nochmal nachgelegt und die Medien haben davon natürlich den Bullshitclaim vom „PhD-Level-GPT“ in ihre Headlines gehoben und die eigentliche Sensationsmeldung übersehen:
„Murati nods her head, and then clarifies that it’d be in a year and a half. If that’s true, GPT-5 may not come out until late 2025 or early 2026.“
Laut OpenAI endete das Training von GPT-4 im August 2022, es ist also jetzt schon zwei Jahre alt. Seitdem hat jeder Tech-Konzern von Rang zig Milliarden von Dollar an Ressourcen mobilisiert, um OpenAI vom Thron zu stoßen, doch weder Gemini 1.5, Claude 3, oder LLamA 3 konnten GPT-4 überholen, sondern strandeten auf demselben Plateau. Und jetzt sagt die CTO im Grunde, dass sie nicht nur nichts haben, sondern nicht mal einen Plan wie es weitergeht?
Inzwischen haben sogar Fanboys den Braten gerochen, die sonst eng am Hype-Train gekettet waren und jetzt called auch noch Goldman Sachs Bullshit. Noch letztes Jahr zitierte ich ihren Bericht, in dem von einem Drittel Ki-betroffener Jobs und 7% globales GDP-Wachstum die Rede war. Ein Jahr später hört sich das anders an:
The promise of generative AI technology to transform companies, industries, and societies continues to be touted, leading tech giants, other companies, and utilities to spend an estimated ~$1tn on capex in coming years, including significant investments in data centers, chips, other AI infrastructure, and the power grid. But this spending has little to show for it so far beyond reports of efficiency gains among developers.
Einer der interviewten Experten vom MIT geht jetzt höchstens noch von 1 % GDP-Wachstum aus:
If only 23% of exposed tasks are cost effective to automate within the next ten years, this suggests that only 4.6% of all tasks will be impacted by AI. Combining this figure with the 27% average labor cost savings estimates from Noy and Zhang’s and Brynjolfsson et al.’s studies implies that total factor productivity effects within the next decade should be no more than 0.66%—and an even lower 0.53% when adjusting for the complexity of hard-to-learn tasks. And that figure roughly translates into a 0.9% GDP impact over the decade.
Ich bin so weit zu sagen: KI ist ein Scam. Nicht so ein offensichtlicher Scam wie die Crypto-Pyramidensysteme, sondern ein Scam auf Ebene des Erwartungsmanagements und ich bin mir sicher, dass der Scam seit ca. 2 – 4 Jahren läuft.
Hier, was ich glaube, das passiert ist: 2018 oder so stolperte OpenAI über Googles Paper „Attention is all you need“ (das machte am Anfang keinen großen Splash, da ging es ja eigentlich um maschinelle Übersetzung) und sie stellten fest, dass das Ding mit immer mehr Daten in seinen Fähigkeiten skaliert. 2019 veröffentlichten sie GPT-2 und 2020 dann GPT-3 und provten ihren Case, aber ab da müssen sie bereits auf „deminishing Returns“ gestoßen sein und meine These ist, dass sie die nächste Skalierungsstufe deswegen nur GPT-3.5, statt GPT-4 tauften und seitdem nach anderen Wegen der Optimierung suchen.
Die GPT-4-Specs sind bekanntlich geheim, aber laut hartnäckigen Gerüchten basiert GPT-4 bereits auf einem Trick, nämlich dem Mixture of Experts-Ansatz, wo bei Eingabe des Prompts entschieden wird, an welche speziell dafür optimierte „Experten-GPT“ die Anfrage weitergeleitet wird.
Mit der Veröffentlichung von ChatGPT im November 2022 startete dann unerwartet der Goldrausch und im Überschwang ihres Selbstbewusstseins schoben sie GPT-4 im April 2023 gleich hinterher und vertrauten auf ihre nicht vorhandene Genialität, um das Plateau-Problem schon irgendwie zu beheben.
Und seitdem rudern sie. Ich glaube einer der versuchten Ansätze war tatsächlich die Multimodalität, die sie mit der Hoffnung verbanden, dass sich durch die Verknüpfung der sprachlichen mit den bildlichen Referenzen die Lücken im „World Model“ der LLMs vervollständigen, aber ich bin mir mittlerweile sicher, dass die Idee des World Models – gleich neben ihrer Quatsch-Idee von der linearen Intelligenz-Hierarchie – eine der zentralen Denkfallen ist, in die sie getappt sind und nicht mehr rausfinden.
Zumindest kann man festhalten, dass Multimodalität zwar neue Features, aber keine Verbesserung der Kognition unlocked hat und ich nehme an, dass auch die Q* Idee kläglich gescheitert ist und jetzt stehen sie mit leeren Händen mitten im selbst ausgelösten Hype und wissen nicht, wie sie ihren Investoren beibringen sollen, dass sie ihre Billion Dollar vielleicht nie mehr wiedersehen werden.
Der Google KI-Forscher Francois Chollet war im Tech-Bro Podcast von Dwarkesh Patel und es war trotzdem interessant. Chollet scheint einer der wenigen seriösen KI-Menschen im Silicon Valley zu sein und im Gespräch dekonstruiert er gekonnt die „Intelligenz“-Unterstellungen gegenüber LLMs, insbesondere den Mythos eines „Weltmodells“.
Zusammen mit einem Kollegen hat Chollet die ARC-Benchmark geschaffen, an der sich LLMs die Zähne ausbeißen und das liegt daran, dass die Fragen zwar simpel sind aber sich nicht mithilfe der memorisierten Trainingsdaten lösen lassen. Chollet zufolge ist das der Beweis, dass LLMs eben nicht „denken“, sondern immer nur gelernte Strukturen zu reproduzieren im Stande sind und also ja, doch schon irgendwie stochastische Papageien sind … aber auf ziemlich viel Speed?
Doch was passiert dann genau, wenn LLMs erfolgreich hoch abstrakte Konzepte wie Deduktion, Syllogismus, Multistakeholderanalyse oder Gedichtinterpretation anwenden? Chollet spricht davon, dass LLMs diese Konzepte als „Programme“ vorhalten und flexibel „anwenden“ können. Das darf man sich natürlich nicht „literally“ vorstellen, nicht wie geschriebener und maschinenlesbarer Code, aber schon als im Lernprozess hängengebliebene und zur Anwendwendbarkeit hinreichend abstrahierte und so für das LLM dann regelhaft abarbeitbare semantische Operationen. Und so wird vorstellbar, dass die LLM die genannten Konzepte mit den entsprechenden Kontext-Parametern bestückt und ihre Semantikpfade regelhaft abarbeitet und so einen erwartungsgemäßen Output generiert. Statt einem „Worldmodel“ scheint die LLM also eine riesige Bibliothek von Semantik-Programmen vorzuhalten?
Aber, again, machen wir Menschen das so viel anders? Laufen nicht auch wir regelgeleitete Semantikpfade ab, wenn wir Theorien oder Methoden anwenden? Und ist nicht auch der „westlichen Blick“, den ich hier immer so gern dekonstruiere, so ein Programm? Sind nicht auch die Narrative der „Scaling Laws“ und des „World Models“ solche Programme, die zu regelgeleiteten, aber trotzdem falschen Schlüssen führen?
Ich sage das nicht, um die menschlichen kognitiven Fähigkeiten abzuwerten oder dem Menschen die Agency zu nehmen, ganz im Gegenteil. Eröffnet es nicht vielmehr neue Pfade der Freiheit, die eigene Programmiertheit zu interrupten und neue Programme zu entwerfen?
Auch der lesenswerte Newsletter SnakeOil-AI hatte neulich die Scaling Laws beerdigt, aber hier wollte ich auf die aktuelle Ausgabe aufmerksam machen, denn neben dem großen Versprechen um AGI und der „Intelligenzexplosion“ basiert der Hype auch auf einem zweiten, nicht ganz so großen, aber dennoch zentralen Versprechen: Agents.
Ich hatte schon mal über Agents geschrieben und war zumindest vorsichtig optimistisch, dass spätestens mit GPT-5 (LOL!) sowas denkbar wird, aber das hat sich ja fürs erste erledigt. Sayash Kapoor und Arvind Narayanan fassen die Herausforderungen wie folgt zusammen:
One major research challenge is reliability — LLMs are already capable enough to do many tasks that people want an assistant to handle, but not reliable enough that they can be successful products. To appreciate why, think of a flight-booking agent that needs to make dozens of calls to LLMs. If each of those went wrong independently with a probability of, say, just 2%, the overall system would be so unreliable as to be completely useless (this partly explains some of the product failures we’ve seen).
Die beiden advertisen ihr Paper, das bessere Kriterien zur Evaluation von Agententwicklung anbietet, aber meiner Meinung nach reicht der Ausschnitt, um das Thema erstmal auf die lange Bank zu schieben.
Womit wir bei Apple wären, die den derzeit ernstzunehmendsten Versuch unternehmen, agent-artige Features aus den bereits verfügbaren LLMfähigkeiten rauszupressen und ich denke, es ist kein Zufall, dass selbst das vergleichsweise bescheiden angekündigte „Apple Intelligence“ bis heute Vaporware geblieben ist. Meine Wette: will never ship?
Generative KI ist immer dann erstaunlich gut, wenn man an den Output keine konkreten Erwartungen stellt, aber je genauer man sie etwas „so und genau so“ machen lassen will, desto unmöglicher stellt sich das Unterfangen heraus. LLMs verhalten sich dann weniger wie „smart Highschooler“ im Sekretärs-Ferienjob, sondern mehr wie Heisenbergs Photonen, die ihren Aufenthaltsort verweigern, je genauer man ihre Geschwindigkeit misst.
Aber wenn AGI abgesagt ist und automatisierte Agents ebenfalls nicht in Sicht sind … was bleibt dann noch?
Ach ja, „Stuff“ produzieren.
„GenAI-powered political image cultivation and advocacy without appropriate disclosure, for example, undermines public trust by making it difficult to distinguish between genuine and manufactured portrayals. Likewise, the mass production of low quality, spam-like and nefarious synthetic content risks increasing people’s skepticism towards digital information altogether and overloading users with verification tasks. If unaddressed, this contamination of publicly accessible data with AI-generated content could potentially impede information retrieval and distort collective understanding of socio-political reality or scientific consensus. For example, we are already seeing cases of liar’s dividend, where high profile individuals are able to explain away unfavorable evidence as AI-generated, shifting the burden of proof in costly and inefficient ways.“
Das „Zeitalter des Rauschens“ schön beschrieben, ausgerechnet in einem Paper von Google?
Auf Strage Matters hat John Michael Colón einen ellenlangen Longread über die Politische Ökonomie von Frederic S. Lee veröffentlicht. Lee ist bereits seit 2014 tot, aber sein Werk scheint wirklich eine enorme Fundgrube zu sein. Lee stellte der neoklassischen Schule nicht nur ein besseres Modell entgegen, sondern unterfütterte es mit einem großen Korpus an empirischer Forschung.
Die Arbeit von Lee wird im Text episch ausgebreitet und nebenbei auch die vielen Kleinkriege behandelt, die in der zweiten Hälfte des 20. Jahrhunderts an den Universitäten geführt wurden. Turns out: so wie auch der Kapitalismus gewaltsam eingeführt wurde, wurde auch die Hegemonie der neoklassische Ökonomie mit koordinierten Kampagnen und schmutzigen Tricks gegen die heterodoxen Schulen durchgepeitscht. Ihr wisst schon, market place of Ideas und so.
Eine der zentralen Streitfragen in der Ökonomie kreist um die Frage, wie Preise entstehen. Marx sah im Preis den Tauschwert abgebildet, der wiederum die in der Ware enthalte Arbeitsleistung repräsentiere. Die klassischen Ökonom*innen sehen dagegen den Preis als Ergebnis des dynamischen Sich-Verhaltens von Nachfrage und Angebot. Angebot ist klar, aber die Nachfragekurve definiert sich dabei als der aufaddierte „Marginalnutzen“ den Konsument*innen aus der Ware ziehen, wobei „Marginalnutzen“ die Tatsache abbilden soll, dass das dritte Eis in Folge weniger Spaß macht, als das erste, usw.
Diese unnötig komplizierten (und nebenbei empirisch unüberprüfbaren) Theorien entkräftete Lee, indem er einfach mal nachgefragt hat. Im direkten Widerspruch zum neoklassischen Modell, bei dem der Preis jederzeit in der Aushandlung ist und den Anbietern als definitives Signal gilt, an dem sie ihre Preisgestaltung orientieren, werden Preise in der Realwelt von Menschen gesetzt und haben eine enorme Stabilität gegenüber Änderungen von Angebot und Nachfrage. Unternehmen interessieren sich bei der Preisgestaltung recht wenig für Marginalnutzen und Nachfragekurve und nichtmal primär für Gewinn, sondern richten ihr Handeln im wesentlichen darauf aus, auch morgen noch zu existieren, weswegen die Kostendeckung natürlich Front and Center jeder Preisgestaltung ist. Und selbst bei Überlegungen, welche Marge man noch draufschlägt, sind selten Gewinnmaximierungsfragen, sondern meist strategische Überlegungen relevant. Will ich den Marktanteil vergrößern, was will ich meinen Kund*innen oder meinen Investoren signalisieren? Wann macht es Sinn sich auf einen Preiskampf einzulassen? (Überraschung: so gut wie nie).
Das Ergebnis ist Lees „Administered Prices Theory“ und die zusätzliche Beobachtung, dass Preise zwar schon auch der Kommunikation dienen, aber der Kommunikation zwischen Konkurrierenden Unternehmen. In der Realität schält sich nämlich immer ein oder zwei „Price-Leader“ heraus, an dem sich alle anderen Unternehmen orientieren.
„there is absolutely no regular relationship between variations in demand, supply, and price. Prices simply aren’t functioning as they are supposed to according to marginalist theory—changing when demand shifts, signaling what and how much agents must now buy or produce—because they have completely different purposes instead. The price mechanism that’s supposed to allocate resources in the economy isn’t distorted by imperfections, it isn’t the ideal from which reality diverges—it simply does not exist.“
Hier kann man dem Markt beim Regeln zuschauen.
Hunderttausende Menschen suchen bundesweit händeringend eine Wohnung – und finden keine. Dabei stehen fast zwei Millionen Wohnungen leer, wie eine aktuelle Statistik zeigt.
Die politische Ökonomin Cecilia Rikap hat ein furioses Paper über die politische Ökonomie von KI verfasst, das mir von seinem ganzen Ansatz her voll aus dem Herzen spricht. Sie analysiert dabei, wie sich die großen Tech-Giganten Kontrolle, Einfluss und Marktmacht über den KI-Markt sichern und zwar indem sie die KI-„Startups“ (mir widerstrebt das Wort in dem Kontext) von ihrem Kapital und ihren Cloudinfrastrukturen abhängig machen.
„In short, acquisitions are not the only way for large tech companies to access start-ups’ intangibles and talent while keeping potential rivals at bay. A more hidden yet prevalent form of domination involves the use of corporate venture capital to get preferential access to capabilities, knowledge and information and a chance to steer start-ups’ research and development.“
Macht ist ja normalerweise latent, aber der Coup bei OpenAI machte sie plötzlich ziemlich handfest: nachdem das Board Sam Altman gefeuert hatte, ließ er sich von Microsoft anstellen, die bereits die Cloudinfrastruktur von OpenAI kontrollierte, und drohte, auch die restlichen Mitarbeiter*innen abzuwerben. Das Board merkte schnell, dass alle relevanten Abhängigkeiten auf Seiten Altmans lagen und ihre rechtlich verbriefte Entscheidungsgewalt das Papier nicht wert war, auf dem sie stand.
Dass sich die Macht im KI-Markt im Infrastrukur-Layer konzentriert, hatte ja bereits Nick Srnicek beobachtet, aber Rikap arbeitet diese Vorherrschaft bis in die verfolgten Abhängigkeitsstrategien heraus.
No single existing institution or organisation can afford to produce LLMs or other advanced AI models without relying on technologies controlled by Amazon, Microsoft or Google which could be extended to include AI GPUs from Nvidia, though the three cloud giants are also designing their own AI semiconductors.
Ok, hier ein einfaches politische Ökonomie-Modell:
Ökonomie besteht aus einem multidimensionalen Netzwerk von unterschiedlichen Abhängigkeitsbeziehungen zwischen Akteuren, wobei die unterschiedlichen Arten der Abhängigkeiten (repräsentiert durch Dimensionen) nicht auf materielle Abhängigkeiten beschränkt sind. In der Ökonomie sind alle Abhängigkeiten relevant, familiäre, soziale, semantische und emotionale Abhängigkeiten und eben auch nicht nur diejenigen, die entlang von kommerziellen Transaktionen bedient werden, sondern auch die, die durch öffentliche Daseinsvorsorge oder freiwilliger, privater Fürsorge (Care) adressiert sind (umgerechnet geschätzte 11 Billionen Dollar).
Die Kehrseite der Abhängigkeit ist Macht. Macht ist in diesem Framework schlicht Betweenness-Zentralität im Abhängigkeitsnetzwerk. Mächtig sind die, von denen viele abhängig und die selbst von möglichst wenigen abhängig sind. Alle Geldflüsse repräsentieren diese Macht, ohne sie aber 1:1 abzubilden (Macht muss immer auch latent bleiben). Alle Einkommen in diesem Modell sind „Renten“, denn sie basieren auf dieser Machtposition.
Doch wie kommt man an Macht?
Entlang des Netzwerks der Abhängigkeiten existiert ein zweites Netzwerk: das Netzwerk der Infrastrukturen, das sich in einem cooevolutionären Prozess mit dem Abhängigkeitsnetzwerk entwickelt hat: Abhängigkeiten erfordern Infrastrukturen, Infrastrukturen kreieren neue Abhängigkeiten, etc.
Infrastrukturen sind, weil sie Abhängigkeiten bedienen, erzeugen, konzentrieren oder managen, gleichzeitig die wichtigsten Instrumente zur Erlangung und Absicherung von Macht in der Gesellschaft. Auch wenn ich Marx Werttheorie nicht teile, sehe ich seinen wichtigsten Beitrag in der Erkenntnis, dass die Gesellschaft grob dadurch stratifiziert ist, dass ein paar wenige die Infrastrukturen kontrollieren und alle anderen Teil der Infrastruktur sind.
Für die Besitzer der Infrastruktur ist der Kapitalismus tatsächlich eine Art mehrdimensionales Netzwerk-Monopoly, bei dem sie durch geschicktes Platzieren von Infrastruktur alte Abhängigkeiten konzentrieren oder neue Abhängigkeiten generieren können, was dann ihrer relativen Betweenness-Zentralität zu Gute kommt.
Konstruktionen wie Fabriken, globale Supply-Chains, Plattformen und nun eben KI sind dabei sich immer wieder neu ergebende Infrastruktur-Strategien, bzw. Infrastrukturen sind „materielle Programme“ if you will. Auch sie bearbeiten regelgeleitet die vorgefundenen Netzwerkstrukturen, nur eben die des Abhängigkeitsnetzwerkes.
Und dass diejenigen, die die privaten Infrastrukturen kontrollieren, sich durch die Schuldenbremse jetzt auch noch Kontrolle über die öffentlichen Infrastrukturen gesichert haben, wird jetzt nochmal deutlicher zum Problem?
Adam Tooze war bei Jung und Naiv und ich habe dabei mal wieder gemerkt, wie wichtig er für mich als Orientierungspunkt geworden ist. So genau kannte ich seine Haltung zu Israel/Palestina z.B. gar nicht, aber ich finde mich bei ihm zu 99% wieder.
Im letzten Teil, der Zuschauer-Fragerunde, etwa bei 2:38, geht es um seine „Methode“ und Tooze erzählt sehr persönlich und nahbar davon, wie er vor ca. 10 Jahren eine andere Arbeitspraxis etablierte, die er mit dem „Management eines Flusses“ vergleicht und wie ihm auch der Newsletter eine Form dafür gab.
Sie kommen dann im Gespräch darauf, dass sich eine Akkumulation von Wissensbeständen wie die kritische Masse in der Atomphysik verselbstständigen kann und dann wie von selbst neue Erkenntnisse produziert. Man schreibt nicht, man „wird geschrieben“ und ein Teil der Arbeit besteht darin, zu entscheiden, welchen Einflüssen man sich aussetzt und der andere, sie wie ein DJ zu „remixen“.
Ich habe mich da vollkommen wiedergefunden und ich glaube, die gleichzeitige arbeitsstrukturelle und inhaltliche Nähe sind kein Zufall. Klar, es wäre leicht zu sagen, dass ich mir Stil und Haltungen von Tooze abgekupfert habe und sicher ist da etwas dran, aber aus meiner Perspektive ist es eher so, dass sowohl Tooze als auch ich (und sicher tausende andere) einem noch tiefer liegendem Rhythmus folgen, einem geteilten epistemischen „Programm“. Donna Haraway hat dieses Programm am besten auf den Punkt gebracht:
„Niemand lebt überall; jeder lebt irgendwo. Nichts ist mit allem verbunden; alles ist mit etwas verbunden.“
Daraus ergibt sich eine in das Netzwerk eingebettete und verletzliche Beobachterperspektive, die stetig versucht, einen plausiblen Semantik-Pfad entlang der hereinbrechenden Welt zu navigieren. Und vielleicht könnte das ja die Grundlage der Metaphysik des nächsten Worldings werden?