Willkommen bei Krasse Links No 12. Stellt Eure Herzschrittmacher auf „heftig“, heute geht es um Meta, Erlaubnisstrukturen und die Hypehaftigkeit von KI.
Housekeepingeinschub: Aaargh, es ist schon wieder passiert. Der letzte Newsletter war wieder abgeschnitten, weil mein WordPress mir die falsche Zeichenanzahl angezeigt hat … hier könnt ihr ihn zuende lesen.
Nachdem es zwischenzeitlich so aussah, dass der vom House of Representatives vorgebrachte Tiktok-Ban in den USA am Senat zu scheitern drohte, haben sie einen Weg gefunden, den Bann in ein größeres Gesetzespaket zu schnüren und auch der ist bereits durch das House und jetzt stehen die Chancen wieder gut, dass Tiktok entweder an Silicon Valley Dudes verkauft, oder gesperrt wird. Weiß nicht, ob das politisch so eine super Idee ist, sich im Wahljahr so hart mit den jungen Menschen anzulegen, aber vielleicht hat man die durch die ebenfalls im Paket enthaltene Waffenhilfe für Israel eh verscheucht? Ansonsten halte ich es mit Meredith Whittaker: Traue keiner Plattform, egal aus welchem Land.
Als ich damals die Origin-Story von Tiktok für das Plattformbuch recherchierte fand ich sie etwas dünn: Eine chinesische Firma kauft ein Lip-Sync-Forum (Musical.ly) und geht viral? Durch eine Gerichtsverhandlung sind nun Dokumente aufgetaucht, die ein spannenderes Bild zeichnen und es stellt sich heraus: die Ursprünge von Tiktok sind genauso in den USA zu finden, wie in China. Die New York Times hat das alles lesenswert aufgearbeitet.
Neulich wurde ja bereits bekannt, dass ein amerikanischer, rechtsradikaler Milliardär (gilt das schon als Pleonasmus?) namens Jeff Yass erstaunlich groß in Tiktok investiert ist und die Geschichte geht so, dass seine Investmentfirma Susquehanna schon 2009 in eine chinesische Immobilienwebsite namens 99Fang investierte. Diese Firma stellte dann auf Anregung von Susquehanna Zhang Yiming als CEO an, der dort einen Algorithmus entwickeln ließ, um auf der Website Interessenten mit passenden Immobilien zu matchen. Zhang Yiming war aber bald ziemlich unzufrieden mit dem Immobiliengeschäft und wollte mit dem Algorithmus lieber was in Richtung Social Media machen, weil er die Steve Jobs Biographie gelesen hat. 2012 gab Susquehanna ihm das Go und er gründete ByteDance, kaufte Musical.ly und startete mit Tiktok durch. Keine Ahnung, was die Moral der Geschichte ist, aber ich schätze, es macht Sinn das im Hinterkopf zu behalten?
Hier mal wieder ein sehr feines Video von Patrick Boyle, dieses Mal zu Neom, bzw. The Line. Eine linienförmige, wolkenkratzerhohe, mega-modernistische Retortenstadt in der Wüste in der angeblich irgendwann Millionen von Menschen leben sollen. Das ganze Projekt wirkt wie der Gehirnfurz eines der wenigen Menschen im Universum, die das Wort „nein“ noch seltener gehört haben als Elon Musk, was in diesem Fall der saudische Kronprinz Mohammed bin Salman (MBS) ist, der Kritiker*innen ja gerne mit Kettensägen zerlegen lässt. Verständlicherweise hat Boyle daher nur Worte des Lobes für das Projekt.
Ich stellte mir beim Schauen des Videos die ganze Zeit vor, wie das so wäre, wenn ich so ein Boston Consulting Group Heini für Bauprojekte wäre, jung, idealistisch und frisch aus der Uni und dann muss ich jeden Tag mit anderen armen Schweinen und MBS zusammensitzen, der sich diesen ganzen Bullshit aus dem Ärmel schüttelt und mein Job ist es, dabei nett zu lächeln und irgendwie Wege zu finden, diesen Quatsch umzusetzen, wobei „No is not an answer“ und „Money doesn’t matter!“ und „RoooarrrrrrRoooarrr“ die drei Leitsätze meines Engagements sind. Ich würde einfach schreiend in die Wüste laufen.
Ich bin immer noch nicht ganz entschieden, wie sehr KI nun ein Hype ist, oder nicht, aber wo Meta gerade sein neues LLM namens LLaMA 3 ausrollt bekomme ich immer mehr den Eindruck, dass die KI Entwicklung auf einem Sattelpunkt angekommen ist. Ich mein, GPT-4 ist jetzt schon über ein Jahr alt und bisher konnte kein Konkurrent etwas wesentlich besseres vorstellen. Gemini 1.5, Claude 3, LLaMa 3 scheinen aufgeschlossen zu haben und jetzt ungefähr auf demselben Niveau zu spielen und sich jeweils nur im Detail in ihren Stärken und Schwächen zu unterscheiden.
Ich bin also wirklich gespannt, was die nächste Generation von LLMs so auf die Beine stellt, aber mein educated Guess ist, dass die Zeit des Weggeblasenseins bei LLMs vorerst vorbei ist? Der Sprung von GPT-3.5 zu 4 war enorm, aber GPT-5 wird wahrscheinlich nur noch in einigen Spezialbereichen glänzen.
Momentan liegt die Hoffnung in einer Technik namens Q*. Die technischen Details könnt Ihr euch hier erklären lassen, aber dahinter steckt das Konzept von Adversarial Machine Learning. So wie damals bei AlphaGo das Basismodell geleveraged wurde, indem man es zweigeteilt und immer wieder gegeneinander hat spielen lassen, soll sich das LLM dann irgendwie selbst outsmarten und dabei immer schlauer werden. Aber wenn LLMs reine Semantik-Navigiertmaschinen sind, wird das höchstens ihre Rhetorik optimieren, ohne wirklich etwas über die Welt zu lernen?
Ich schätze, auf den Trichter sind die Entwickler*innen selbst gekommen und daher konzentrieren sie das ganze auf das Lösen von basalen Matheaufgaben, für die man halt einfacher eine „Ground Truth“ bereitstellen kann. Aber am Ende werden volkswirtschaftsgroße Summen in Compute versenkt worden sein, nur um dem LLM Algebra beizubringen, also das, was Taschenrechner schon seit 70 Jahren können?
Aaron Bady hat auf Slate eine lesensweste Rezension des zweiten Dune-Films vorgelegt. Ich habe tatsächlich wenige Kritiken gelesen, die nicht des überschwänglichen Lobes waren und wenn es kritische Anmerkungen gab, dann wurde sich wiederum unkritisch auf den SciFi-Roman von Frank Herbert berufen, der doch aber ebenfalls kritisiert gehört.
Jedenfalls macht Bady beides: er nimmt den Film sehr ernst und kritisiert ihn gekonnt, dann hält er Herberts Romanvorlage dagegen, verweist auf die Abweichungen aber nimmt dann auch den Roman ideologiekritisch auseinander und genau in dieser doppelten Kritik beginnt der Film (und das Buch) noch mal ganz anders mit dem Heute zu reden. Unter anderem arbeitet Bady bei Herbert und bei Villneuve’s Paul Atreides etwas heraus, das er „permission structure“ nennt und was er für einen integralen Bestandteil konservativen Denkens hält:
„This is why they tell apocalyptic stories about BLM mobs, Biden’s willful dereliction of duty in the matter of border security, or the zombie wasteland that progressives have made of San Francisco: to create a permission structure for all kinds of actions that would normally be off-limits. If they say ludicrous things, then, or describe a reality that has no bearing on the actual world we live in, their lurid fantasies nevertheless serve a purpose. As the hosts of the Know Your Enemy podcast like to ask about conservative thinkers, “What are they giving themselves permission to do?”
Mein Eindruck ist schon länger, dass unsere jeweiligen Alltagsethiken eigentlich eine Landschaft von Permission Structures sind, also Erlaubnisstrukturen mit denen wir uns bestimmte Handlungen erlauben oder verbieten. Permission Struktures sind nicht beliebig, sondern wie alle Semantiken kulturell und von unserem Umfeld stark determiniert, aber das Problem ist, dass wir jederzeit Flexibilität durch handgeklöppelte Narrative herstellen können: „Mir ist Unrecht wiederfahren, es ist mein Recht, mich zu wehren!“ oder „Wenn ich jetzt nicht handle, wird alles nur schlimmer!“. Das funktioniert prima individuell – ich kenne das leider aus eigener Anschauung bei mir selber – aber noch besser kollektiv, wie man nach 9/11 in den USA, oder gerade in Israel sehen kann.
Was Bady also beschreibt, ist weniger die allgemeine Permission Structure, als dessen Ausnahmezustand – und diese privatsemantischen Ausnahmezustände scheinen mir die eigentlich faschistischen Momente zu sein? Wertvolle Beobachtung jedenfalls.
Metas Einschnitt in die Reichweite von politischen Inhalten scheint rechte Medien-Klitschen tatsächlich überproportional hart zu treffen. Rechte Websites wie der Daily Caller oder Fox News verzeichnen einen Rückgang an Reichweite von 54 bis 22 Prozent. The Atlantik erklärt sich das so:
A simpler explanation is that conservative digital media are disproportionately dependent on social-media referrals in the first place. Many mainstream publications have long-established brand names, large newsrooms to churn out copy, and, in a few cases, large numbers of loyal subscribers. Sites like Breitbart and Ben Shapiro’s The Daily Wire, however, were essentially Facebook-virality machines, adept at injecting irresistibly outrageous, clickable nuggets into people’s feeds. So the drying-up of referrals hit these publications much harder.
Kann es sein, dass rechte News-Sites tatsächlich ein reines Clickbait-Phänomen sind und dass jetzt all unsere rassistischen Onkels und Tanten ihren Anschluss zum Tribe verlieren?
Nein. Mag sein, dass das Unterdrücken von Politik im Feed kurzfristig ein überproportional harten Schlag gegen rechte Websites darstellt, aber eine nachhaltige Lösung ist das trotzdem nicht. Rechte haben sich längst in tausenden von Telegram und Whatsapp-Gruppen organisiert und leider ist X ja auch noch da – die Lücke wird sich schließen. Währenddessen bietet dieses Narrativ den Plattformen eine gefährliche „Permission Structure“ zur Verbannung von Politik aus der Öffentlichkeit und die Effekte davon sind tatsächlich nachhaltig.
Zu dem Release von LLaMA 3 gab Mark Zuckerberg – jetzt überall gerebranded als „Zuck“ – ein großes Interview und dieses Mal durfte Dwarkesh Patel ran und das gibt mir die Gelegenheit, einmal über das Verhältnis von Silicon Valley zu den Medien zu sprechen. Wenn Ihr mal darauf achtet, wird Euch auffallen, dass diese ganzen CEOs nicht mehr zu klassischen Medien gehen, wenn sie etwas zu sagen haben, sondern zu einer über die letzten Jahre herangezüchteten Spezies des Tech-Access-Journalismus. Leute wie Joe Rogan, Lex Fridman oder eben Dwarkesh Patel erlauben den Tech-Bros sich unverstellt und offen ein bis drei Stunden in den Sessel zu lümmeln, ohne Angst vor kritischen Fragen haben zu müssen und ich schätze, an dem aus dem Ruder geratenen Interview von Musk mit Don Lemon kann man sehen, was passiert, wenn diese Erwartung durchbrochen wird.
Angefangen hat das mit Leuten wie Kara Swisher, die sich seit neustem versucht, als kritische Journalistin zu rebranden, was ihr aber nur für Menschen gelingt, die weder Gedächtnis noch Google haben. Hier auch eine schöne Tech Won’t Save Us Folge dazu.
Dieser Pseudojournalismus ist die materialisierte Permission Structure des Silicon Valley und hat solche Clowns wie Elon Musk überhaupt erst ermöglicht.
Der eh immer hörenswerte Podcast Troja Alert arbeitet sich seit einigen Folgen durch das alte Testament und bespricht in der aktuellen Folge die letzten drei Bücher Mose: Leviticus, Numeri und Deuteronomium. Dabei legen Stefan Thesing und Mark Bothe die dort angelegte, komplexe und teils bewusst idiosynkratische Permission Structure zu möglichen Politiken der Landnahme frei. Eine Permission Structure, die offenbar heute noch in Verwendung ist?
Diese Woche ist noch etwas lustiges in KI-Land passiert. Ein bekannter Youtuber, Marques Brownlee, hat die Humane AI pin, so ein absurdes Ansteckdingens mit GPT-4-Zugang getestet und sie ist erwartbar grottig. Das hat er auch so gesagt und jetzt regen sich die ganzen Tech-Bros auf X auf, dass man doch nicht so vernichtende Rezensionen verfassen dürfe, denn die Leute hinter den Produkten „builden“ doch die „Future“ und sind geile „Entrepreneurs“ und whatever. Jedenfalls nimmt Riley MacLeod das als Anlass über die offensichtliche Fragilität des KI-Hypes nachzudenken:
„Like children clapping for Tinkerbell, we have to be optimistic because the grift dies if we’re not. The bubbles of both NFTs and the metaverse burst, at least in part, because the reality trumped the hype; these things weren’t the future, they were just ugly jpegs and boring imitations of Second Life. If the third time is going to be the charm, which as Zitron points out already seems unlikely, then we need to stay on board. This is especially true because AI faces the unique complication that it needs our buy-in, and a lot of it, to feed it the impossible amounts of data it requires to have any potential at all.“
In der FAZ beschreibt die Historikerin Hedwig Richter, wie der Populismus der FDP gezielt die Erlaubnisstrukturen der bürgerlichen Gesellschaft erodiert, indem sie eine „Suppenkasperfreiheit“ verkauft, deren ganzer Deal in der Verweigerung jeder Verantwortungsübernahme besteht und sie mit der ständigen Drohung des emotionalen (faschistischen) Ausnahmezustands untermauert.
„Vielmehr bedingen sich in der Demokratie Volk und Regierung gegenseitig, sie konstruieren sich miteinander, es ist ein Hin und Her. Im schlimmsten Fall ist es ein kontinuierliches Downgrading. Das ist momentan der Fall.
Dafür gibt es eine Erklärung: die Populisten, deren Kernkompetenz dieses Downgrading ist, die Abwärtsspirale der niedrigen Instinkte. Sie behaupten immer lauter, dass Demokratie ihre Legitimität aus einem plebiszitärvulgären Volkswillen bezieht – das Volk sei ein launischer Souverän, jederzeit zu Wutausbrüchen bereit.“
Spannend ist auch die Beobachtung, wie Olaf Scholz die FDP als Erlaubnisstruktur nutzt, um seine neoliberalen Impulse auszuagieren:
„Und Olaf Scholz ist ganz dabei: Er lässt die liberale Regierungspartei so umfassend gewähren und schubst dafür immer wieder die Grünen unter den Bus (wie oft kann man eigentlich unter den Bus geschubst werden, bis man tot ist oder Schluss macht?). Das nährt den Verdacht, der Kanzler nutze die FDP als Bauchsprechpuppe: Sie redet das, was er, der Schwarze-Null-Hardliner und Null-Zumutungen-Kanzler, in dieser verblüffenden Plattheit nicht sagen kann.“
„In a presentation earlier this month, the venture-capital firm Sequoia estimated that the AI industry spent $50 billion on the Nvidia chips used to train advanced AI models last year, but brought in only $3 billion in revenue.“
Sam Alman so:
Jacobin hat ein Interview mit Yanis Varoufakis, der nach der gewaltsamen Auflösung der Palästina-Konferenz in Berlin ein Einreiseverbot in Deutschland ausgesprochen bekommen hat, weil er dort einen Vortrag halten wollte. Eigentlich versuchten die Behörden ihm sogar ein „Betätigungsverbot“ aufzudrücken, was ihm sogar Vorträge per Online-Schalte verboten hätte, aber anscheinend haben sie das juristisch nicht hinbekommen.
„Am folgenden Tag, während einer vom Palästina-Kongress organisierten Demonstration, sprach ein Polizeibeamter einen der Organisatoren und zwei begleitende Anwälte an. Er teilte ihnen im Grunde mit, dass sie besser nicht die Lautsprecher benutzen sollten, um meine Stimme zu übertragen, da die Berliner Polizei ein Betätigungsverbot gegen mich erlassen habe, ein Verbot jeglicher politischer Aktivität, das zuvor nur wenige Male gegen ISIS-Anhänger angewandt worden ist. Einer der Anwälte verlangte eine schriftliche Anordnung, aber die Polizei sagte, sie müsse diese nicht vorlegen.
Unsere Anwälte setzten sich mit der Polizei und dem Innenministerium in Verbindung und verlangten eine Erklärung. Das muss ihnen sehr peinlich gewesen sein – schließlich hatten sie ein Verbot gegen einen Bürger eines EU-Mitgliedstaates ausgesprochen – und nach zwei Tagen peinlicher Stille änderten sie ihre Erzählung von einem Betätigungsverbot zu einem Einreiseverbot. Bis heute wurde keines der beiden Verbote in schriftlicher Form vorgelegt, und die deutschen Behörden haben meine Bitten um eine schriftliche Erklärung abgelehnt.“
Ich bin zu jung (dass ich das nochmal sagen darf!), um die Kommunistenverfolgung in der frühen Bundesrepublik mitbekommen zu haben und wahrscheinlich ist das der Grund, warum ich so erschrocken bin, wie in diesem Land gerade ungenehme Meinungen mit knallharter staatlicher Repression begegnet wird? Dass reihenweise internationale und ja, auch jüdische Intellektuelle und Politiker*innen ausgeladen und denunziert werden, dass das Demonstrationsrecht für bestimmte Gruppen harsch eingeschränkt wird, dass Menschen wirklich Angst haben müssen, ihre Meinung zu sagen – nicht, weil sie sonst kritisiert werden, sondern weil sie sonst staatliche Repression erwarten dürfen, all das hätte ich mir noch letztes Jahr nicht vorstellen können.
Der Kampf gegen Antisemitismus ist ein wichtiger Kampf, aber gerade dient ein semantisch eskalierter und um jegliche Solidaritätsbekundung mit den Palästinensern erweiterter Antisemitismusbegriff als „Permission Structure“ der Politik, um repressive, undemokratische Kontrolle über den zivilen Diskurs durchzupeitschen und für Polizei und Behörden, sich endlich mal an diesen Arabern und „antisemitischen“ Linken abzureagieren.
Viele Leute wissen gar nicht mehr, dass bevor Deep Learning als KI-Ansatz ab 2012 an Tranktion gewann, ein ganz anderer Ansatz in der KI vorherrschte: „Symbolische KI“ oder auch „Expertensysteme“ genannt. Im Gegensatz zu heute, wo man neuronale Netze an großen Datenmengen trainieren lässt, machte man sich damals die Mühe, alle möglichen Denkbewegungen und das nötige Wissen hart in die Maschine reinzuprogrammieren. Eines der ambitioniesten Projekte, das aber trotzdem kaum bekannt ist, startete bereits in den 1980er Jahren und hieß „Cyc“ und I. A. Fischer beschreibt es in seinem Newsletter:
„Cyc’s knowledge base is a collection of frames (also called units), with slots for properties and entries for their values. Concretely, the frame ‚Texas‘ has a ‚capital‘ slot with the entry ‚Austin‘. Frames are organized into a global ontology, meaning that each frame belongs to one or more categories, and categories themselves belong to categories, all the way up to a root ‚Thing‘ category that encompasses everything in the knowledge base.
On top of frames sits a constraint language that allows the system to express logical concepts like quantification (‚every X is Y‘) and disjunction (‚X or Y but not both‘), and an inference engine to make deductions and answer queries. While there is a general-purpose reasoning engine, specialized inference engines are used for most queries for efficiency.“
Ich assoziiere symbolische KI immer mit der analytischen Philosophie. Intelligenz wird in dieser Denke als „Die Wahrheit sprechen“ definiert und das meint, „wahre Aussagen“ im Sinne der Aussagelogik zu produzieren. Sprache wird dabei nur als das unperfekte Medium gesehen, in denen diese Aussagen verfasst werden müssen und ihre Vieldeutigkeiten und Idiosynkrasien werden vor allem als technische Herausforderungen verstanden. Aber in der Theorie müsste eine vereindeutigte, „logische“ Sprache mit einer entsprechend angeschlossenen, möglichst „vollständigen“ Ontologie aller Dinge und ihrer Eigenschaften in der Lage sein, intelligente, d.h. „wahre“ Aussagen zu tätigen.
Dagegen proklamierte der Strukturalismus und noch stärker der Poststrukturalismus, dass die Wahrheit uns gar nicht zugänglich ist, sondern dass wir sie immer schon symbolisch vermittelt erleben. Alles ist Text und daher macht es Sinn, Intelligenz in der Sprache selbst zu suchen und das ist genau, wie LLMs funktionieren, wie ich bereits im Böcklerpaper versucht habe, zu zeigen. Wenn man so will sind LLMs operationalisierter Poststrukturalismus und daher sind die Vieldeutigkeiten und die Idiosynkrasien der Sprache kein Bug, sondern genau der Hebel, um Aussagen aus Aussagen zu generieren.
Man kann den heutigen Stand der KI also in gewissermaßen als Sieg des poststrukturalistischen Denkens betrachten, aber es wirft auch ein Licht auf seine Begrenztheit, denn eine „Ground Truth“ ist im System halt nicht vorgesehen und genau das wurde auch dem Poststrukturalismus immer zum Vorwurf gemacht. Sowas macht ja auch Angst? Genau das ist der Grund, der manche zu der These verleitet, dass die LLMs um symbolische KI-Elemente ergänzt werden müssen.
Eventuell kann das als Krücke vorläufig hilfreich sein, aber ich orientiere mich langfristig lieber an der zeitgenössischen Denkschule der neuen Materialismen, die eine eigene Art entwickelt haben, auf die Notwendigkeit einer „Ground Truth“ hinweisen, ohne sie in einer Wiederaufführung der klassischen Materie/Geist-Dichotomie münden zu lassen. Hier wird eher auf die materielle Verstrickung des Zeichens und der Zeichenhaftigkeit des Materiellen verwiesen und in Tech-Speech übersetzt hieße das, dass materielle Erfahrung auch nur ein weiterer Vektor im Latent Space ist – ein wichtiger allerdings!
Aktuell fällt diese Dimension letztlich den menschlichen Auditor*innen zu, die die Antworten der KIs aus ihren je begrenzten Semantiken heraus bewerten, doch vielleicht braucht die KI für ihre Weiterentwicklung ein unmittelbareres Feedback, im Sinne, dass „Schwerkraft“ nicht nur eine astronomische Kraft und die Anziehung zwischen Massen beschreibt, sondern dass „Schwerkraft“ auch ist, wenn Hinfallen wehtut. Schmerz ermöglicht dem Modell im Feedback mit der Welt seine eigene Erlaubnisstruktur auszubilden.
In diesem lesenwerten Blogpost spielt der Chemiker Phil mal durch, was es bedeutet, dass LLMs zunehmend Suchmaschinen als bevorzugte Informationsabfragesyteme verdrängen. LLMs und ihr flexibles Verhältnis zur Wahrheit werden vor allem dann zum Problem, wenn es um die Sicherheit im Umgang mit Chemikalien geht. Bisher suchte man einfach im Netz und stieß auf den „Material Safety Data Sheet„, in dem sehr detaillierte Anweisungen hinterlegt sind. Oder man fragt einfach ChatGPT:
„As it was topical at the time, I fed “how to respond to a vinyl chloride fire” into ChatGPT and it told responders to use a water fog on the water reactive chemical. This would have changed a train derailment/hazmat spill/fire emergency into a detonation/mass casualty/hazmat emergency. A+ performance, ChatGPT, you would have obliterated a town.“
Seine Erwartungen sind entsprechend düster:
„I grimly await a lab blowing up due to LLM advice thanks to Google’s garbage automatically generated and promoted output.“
Aua.