DIEFURCHE · 34 12 Wissen 24. August 2023 Illu: Rainer Messerklinger Bild: Rainer Messerklinger / DALL·E / Artificial intelligence Devouring itself as a painting by Spanish artist Francisco Goya Lesen Sie zum Geschäft mit der KI auch Adrian Lobes Analyse „ChatGPT: Der Geist aus der Flasche“ (12.4.23) auf furche.at. Von Manuela Tomic MOZAIK Brautstrauß Mit dreizehn überlebte ich meine erste bosnische Hochzeit. Eine Kolonne weißer blumengeschmückter Mercedes schlängelte sich an Großvater Ivos Gasthaus vorbei. Der besoffene Bräutigam knallte mit seiner Pistole aus dem fahrenden Auto in die Luft. Zwei geschminkte Puppen lehnten sich kreischend aus dem Autofenster. Glitzernde Bonbons regneten in den Staub, wie Tauben pickten Kinder sie auf. In einem abgelegenen Waldstück posierte die aufgeplusterte Braut, ehe das Essen in einer unverputzten Garage serviert wurde. Verschüchtert saß ich in der Ecke, trank Cockta und blickte in die aufgerissenen Augen des aufgespießten Lamms. Der berauschende Duft der Rakija und gespenstischer Zigarettenrauch versetzten die Erwachsenen in Trance. Sie stampften den Kolo, den slawischen Reigentanz, zu den dröhnenden Klängen von Tamburica und Harmonika. Als die Braut den Strauß werfen wollte, versteckte ich mich hinter meinem Vater. Er hielt meine kalten Hände. „Ich werde nie heiraten“, zeterte ich. Vater lächelte. Draußen leuchteten die Augen der Katzen, die Lammfett von den Plastiktellern schleckten. Der Brautstrauß brauste kometenhaft durch schwarze Himmel. FURCHE-Redakteurin Manuela Tomic ist in Sarajevo geboren und in Kärnten aufgewachsen. In ihrer Kolumne schreibt sie über Kultur, Identitäten und die Frage, was uns verbindet. Sprachmodelle wie ChatGPT benötigen riesige Datenmengen. Doch der Vorrat an Texten könnte bald erschöpft sein: Schon jetzt kauen Maschinen Daten wieder, die zuvor von anderen Maschinen ausgespuckt wurden. Der Kannibalismus der KI-Systeme Von Adrian Lobe ChatGPT hat für einen KI-Hype gesorgt. Schüler schreiben Hausaufgaben mit dem Werkzeug, Anwälte Klageschriften, Künstler Songs. Sogenannte „Large Language Models“ (LLMs), also extrem leistungsfähige Sprachmodelle, werden mit riesigen Datenmengen aus dem Internet trainiert, um daraus statistische Muster und Regelmäßigkeiten abzuleiten. ChatGPT zum Beispiel wurde mit einem Textkorpus von rund 300 Milliarden Wörtern unter anderem aus der englischsprachigen Wikipedia gefüttert. Zum Vergleich: Marcel Prousts Monumentalwerk „Auf der Suche nach der verlorenen Zeit“ umfasst rund 1,5 Millionen Wörter. Die geheime Bücherliste von ChatGPT, die ein Berkeley-Forscher mithilfe von Algorithmen entschlüsselt hat, liest sich übrigens wie die Empfehlung eines Nerds: Klassiker wie „Stolz und Vorurteil“ von Jane Austen, die auf dem Bildungsplan vieler Schulen stehen, aber auch jede Menge Science-Fiction-Literatur: „Harry Potter und der Stein der Weisen“, „1984“, „Fahrenheit „ Die geheime Bücherliste von ChatGPT, die ein Berkeley-Forscher entschlüsselt hat, liest sich wie die Empfehlung eines Nerds. “ 451“ usw. Klar ist: Die Bücherliste spiegelt auch die literarischen Interessen ihrer Programmierer. Doch wenn der Computer mit einem einseitigen Kanon trainiert wird, braucht man sich nicht wundern, wenn die KI halluziniert, also Unstimmigkeiten artikuliert, die jedoch durchaus plausibel erscheinen können. Die Plattformen sehen derzeit mit Argwohn, dass sich Softwareunternehmen an Texten wie an einem Steinbruch bedienen und mit dem Datenschatz kostenlos ihre KI-Modelle trainieren. So hat Twitter-Eigner Elon Musk wegen des „extremen Ausmaßes an Datenabschöpfung“ ein Lese-Limit für Tweets eingeführt. Das Online-Forum Reddit hat im Juli aus ähnlichen Motiven seine bislang kostenfreie Programmierschnittstelle gebührenpflichtig gemacht. Dass Tech-Plattformen ihre Datenpipeline zudrehen, bedroht das Geschäftsmodell von HUNGER, DURST, POLITISCHE UNRUHEN! Nothilfe für Burkina Faso „In den Medien wird nicht darüber berichtet, welche Katastrophe sich gerade in Burkina Faso abspielt. Millionen Menschen haben nichts zu essen. Dazu kommt noch die ständige Bedrohung durch islamistischen Terror. Die Lage ist wirklich verzweifelt, wie mir unser Projektpartner Abbé Louis-Marie schreibt. Bitte helfen Sie den Menschen in Burkina Faso! Jede Sekunde zählt!“ Pater Dr. Karl Wallner, Nationaldirektor von Missio Österreich Bitte beachten Sie den Spendenbeileger in dieser Zeitung! Verändern Sie mit uns die Welt! RZ_Anz_DieFurche_275x78mm.indd 1 03.08.23 15:55
DIEFURCHE · 34 24. August 2023 Wissen 13 KI-Schmieden wie Open AI, die trotz des freien Zugangs zu Daten bislang noch nicht profitabel sind. Wenn nun Datensätze kostenpflichtig oder ganz verborgen werden, könnten die „stochastischen Papageien“, wie Chatbots auch genannt werden, ins Stottern kommen. Bereits im Oktober 2022, als ChatGPT noch gar nicht in der Welt war, kamen Wissenschafter in einer Studie zu dem Ergebnis, dass bis zum Jahr 2026 der Vorrat an hochqualitativen Daten wie gefilterten Web-Inhalten und Wikipedia-Artikeln erschöpft sein könnte. Zwar „verbrauchen“ sich Daten beim energieintensiven Training nicht wie Strom. Doch je öfter man Datensätze verwendet, desto größer ist das Problem des sogenannten „Overfitting“: Die KI lernt dann wie eine schlechte Schülerin alles auswendig und begreift die zugrunde liegenden Muster nicht. Gehen uns also bald die Daten aus? Der digitale Gedächtnisverlust Zwar betonen die Wissenschafter, dass die Textproduktion in den kommenden Jahren gesteigert werden könnte. Doch selbst wenn man sämtliche Telefon- und Videogespräche transkribierte, würde das womöglich nicht ausreichen, um den Datenhunger der Maschinen zu stillen. Die Nutzerzahlen von ChatGPT und damit auch der Input sind zuletzt deutlich gesunken. Einige Anwender beschwerten sich in Online-Foren, dass der Bot dümmer werde. Ein Eindruck, den eine Stanford-Studie kürzlich bestätigte: Die Leistung des Modells GPT-4 hat demnach im Zeitraum zwischen März und Juni deutlich nachgelassen. So hat das Computerprogramm etwa Probleme, Primzahlen zu identifizieren und Code zu schreiben. Über die Gründe des Leistungsabfalls wird derzeit viel spekuliert. Eine Hypothese lautet: KI-Kannibalismus. Schon seit einiger Zeit gibt es Befürchtungen, dass KI-Systeme mit KI-generierten Texten trainiert werden – zum Beispiel, wenn Wikipedia-Artikel mithilfe von Textgeneratoren verfasst werden, die dann wiederum als Trainingsmaterial für KI-Systeme genutzt werden. Laut einer Untersuchung der „École Polytechnique Fédérale de Lausanne“ (EPFL) setzen Klickarbeiter auf der Amazon-Plattform „Mechanical LEBEN MIT DER MASCHINE „ Selbst wenn man sämtliche Telefonund Videogespräche transkribierte, würde das womöglich nicht ausreichen, um den Datenhunger der Maschinen zu stillen. “ „ ,Garbage in, garbage out‘, heißt das in der Informatik: Wer Müll hineinwirft, bekommt auch Müll heraus. “ Menschlichkeit bewahren Turk“ bereits KI-Tools ein, um Zusammenfassungen von Studien zu schreiben. Was passiert, wenn Maschinen mit dem gefüttert werden, was andere vorher ausgespuckt haben und Texte nur noch wiederkauen, hat eine Gruppe von britischen und kanadischen Wissenschaftlern kürzlich in einer Studie demonstriert. Die Forscher gaben einen Teil eines Wikipedia-Artikels über Kirchtürme in einer englischen Grafschaft in ein Sprachmodell ein; der Textauszug war aus dem Kontext gerissen. Die KI spuckte daraufhin zwei Sätze über gotische Architektur aus. Dieser Output wurde als Input für die nächste Anfrage benutzt, dessen Output wiederum als Input für die folgende Frage diente und so weiter. Über mehrere Feedbackschleifen wurde der Ursprungstext immer wieder recycelt, bis am Ende ein Substrat herauskam, das mit der Originalversion herzlich wenig zu tun hatte: ein wirrer Textverhau, der mit @-Zeichen gespickt ist und von roten und blauen Hasen handelt. Die Forscher sprechen von einem „Modellkollaps“ – einem „degenerativen Prozess, bei dem Modelle über die Zeit die wahre zugrunde liegende Datenverteilung vergessen“. Der digitale Gedächtnisverlust erklärt sich mit statistischen Annäherungsfehlern, die entstehen, wenn die KI eine Wahrscheinlichkeit für das nächste Wort errechnet. Wenn eine Sprach-KI Buchstaben nach einem stochastischen Modell neu zusammenpuzzelt, liegt eine andere Häufigkeitsverteilung als in den Trainingsdaten vor. Und das verwirrt die KI offenbar derart, dass sie nur noch Nonsense-Ergebnisse produziert. „Garbage in, garbage out“, heißt das in der Informatik: Wer Müll hineinwirft, bekommt auch Müll heraus. Der Informatikprofessor Ross Anderson warnte unlängst im Internet, dass verunreinigte Daten die Integrität digitaler Ökosysteme gefährden könnten: „So wie wir Plastikmüll in die Ozeane geschüttet und die Atmosphäre mit CO₂ vollgeräuchert haben, befüllen wir das Internet nun mit Blabla.“ Diese Verschmutzung mache es schwerer, neuere Modelle zu trainieren und gebe Firmen einen Vorteil, die das Internet bereits nach Daten durchwühlt hätten. Doch möglicherweise graben die „Webcrawler“ in den Sedimentschichten des weltweiten Netzes am Ende das aus, was andere Maschinen dort abgeladen haben. Wissenschafterinnen und Wissenschafter beruhigen: Trotz des seit Monaten anhaltenden Hypes um die Künstliche Intelligenz – der Begriff stammt übrigens aus dem Jahr 1956 – werden künstliche intelligente Wesen den Menschen noch lange nicht überholen. Das erklärte etwa Forscherin und Buchautorin Helga Nowotny, Ehrenmitglied der Akademie der Wissenschaften (ÖAW) und emeritierte Professorin der ETH Zürich, jüngst in einer Online-Publikation der ÖAW. Darin meint sie: „Am Weg dahin, eine KI dazu zu bringen, Abstraktionen zu generieren, lernen wir sehr viel über uns selbst und über das, was wir mit Maschinen alles machen können.“ Das spielt auch aus ethischer Perspektive eine bedeutende Rolle. Wann immer Menschen mit digitalen Maschinen interagieren, meint Nowotny, habe das Auswirkungen auf die zwischenmenschlichen Beziehungen, die Demokratie und das Selbst- sowie Weltbild. Besonders in die Pflicht zu nehmen, sind laut dem österreichischen PR-Ethikrat unter dem Vorsitz von Universitätsprofessorin Uta Rußmann daher jene Personen, die sich beruflich mit der Textgestaltung sowie Informationsweitergabe auseinandersetzen und dabei KI-Systeme in ihrem beruflichen Alltag nutzen. „Sie fungieren häufig als Multiplikator(inn)en und sollen jenen Personen Orientierung geben, die sich nicht professionell mit Medien und Information beschäftigen“, wird Rußmann in einer Aussendung zitiert. Dazu wurde ein Leitfaden veröffentlicht, der die Bereiche Transparenz, Faktentreue, Umgang mit sensiblen Kundendaten sowie Bias-Awareness (das Bewusstsein für ausgewogene Quellen) thematisiert. Damit der Mensch im Umgang mit der Maschine seine Menschlichkeit bewahrt. (vs) DAS ERWARTET SIE IN DEN NÄCHSTEN WOCHEN. Die FURCHE nimmt in den kommenden Ausgaben folgende Themen* in den Fokus: Klasse Job? Nr. 36 • 7. September 2023 Die Schule ist der Grundstein für das weitere Leben. Was muss geschehen, damit Schüler(innen) für die Arbeitswelt gerüstet werden? Und wie wird dabei auch der Lehrberuf wieder zum „Klasse Job“? Wird alles gut? Nr. 38 • 21. September 2023 Das 26. Philosophicum Lech widmet sich der Dialektik der Hoffnung – und fragt, ob Immanuel Kants berühmte Frage „Was dürfen wir hoffen?“ nicht längst umformuliert werden müsste: „Dürfen wir überhaupt noch hoffen?“ Mädchen Nr. 40 • 5. Oktober 2023 Mädchen müssen einerseits viele gesellschaftliche Erwartungen erfüllen, andererseits sind sie in Teilen der Welt immer noch von gesellschaftlicher Teilhabe ausgeschlossen. Ein Fokus zum Weltmädchentag am 11. Oktober. Der Süden Nr. 42 • 19. Oktober 2023 Die FURCHE nimmt die nächste Himmelsrichtung in den Fokus: Vom „globalen Süden“ über die Südhemisphäre bis hin zum Südpol gilt es, politisch, geografisch oder geschichtlich unterschiedliche Aspekte zu beleuchten. Häfen-Elegie Nr. 44 • 2. November 2023 Kein Ende der Klagen über den Strafvollzug: zu viel Wegsperren, zu wenig Resozialisierung. Während Radikalisierung, Gewalt- und Drogenprobleme wachsen, schrumpft der Jugendvollzug. Was ist zu tun? *Änderungen aus Aktualitätsgründen vorbehalten. Der Westen Nr. 37 • 14. September 2023 Er ist nicht nur eine Himmelsrichtung, sondern steht für eine – angeschlagene – Weltmacht: der Westen. Wo beginnt und endet er? Was ist darunter zu verstehen? Beginn einer Reihe – gefolgt vom Süden, Osten und Norden. Die große Synode Nr. 39 • 28. September 2023 Das Arbeitspapier (Instrumentum laboris) zur römischen Weltsynode von 4. bis 29. Oktober hat Hoffnung auf mehr Gemeinsamkeit und Teilhabe in der katholischen Kirche geweckt. Wird sie erfüllt werden können? Slowenien Nr. 41 • 12. Oktober 2023 Von 18. bis 22. Oktober 2023 präsentiert sich Slowenien als Ehrengast auf der alljährlichen Frankfurter Buchmesse. Aus diesem Anlass blicken wir ins Nachbarland: Was tut sich politisch? Was tut sich literarisch? Erinnern anno 2023 Nr. 43 • 26. Oktober 2023 Vor 85 Jahren bildeten in Wien die Novemberpogrome 1938 den end gültigen Auftakt zur Schoa. In Wien wütete der staatliche Mob besonders arg. Wie kann Gedenken stattfinden, wenn die meisten Zeitzeug(inn)en tot sind? Schätze der Natur Nr. 45 • 9. November 2023 Ökosysteme erbringen auch aus wirtschaftlicher Sicht gigantische „Leistungen“. Welche Ansätze gibt es gegen den Verlust der biologischen Vielfalt? Ein Fokus zu den „Tagen der Biodiversität“ an der BOKU Wien. ALLES AUCH DIGITAL AUF FURCHE.AT Podcasts, Videos, E-Paper und alle FURCHE-Artikel seit 1945 JETZT 77 Jahre Zeitgeschichte im NAVIGATOR.
