Mit den Augen des Algorithmus
In der Filmkunst sind Algorithmen nichts Neues. Die Rolle, die sie im Film spielen, ist für den Zuschauer zumeist nicht wahrnehmbar, aber die Filmemacher brauchen Algorithmen, um Geschichten erzählen zu können, vor allem aber, um die Grenzen der Filmsprache zu erkunden.
Algorithmen sind unverzichtbar, um die Art von Filmen zu machen, wie wir sie kennen. Ob es Kassenschlager wie Star Wars sind oder experimentelle Filme wie Arnulf Rainer von Peter Kubelka - die Denkweise in Algorithmen sind für Filmemacher von immenser Bedeutung. Aber bevor wir tiefer in dieses Thema einsteigen, sollten wir vielmehr die einfache Frage stellen, die meist vergessen wird: Was ist eigentlich ein Algorithmus?
Das Wort Algorithmus, das heute vor allem mit der KI-Wissenschaft verbunden wird, geht ursprünglich auf den persischen Universalgelehrten Muhammad ibn Musa al-Chwarizmi zurück, der im 9. Jahrhundert lebte und dessen Name auf Latein Algoritmi heißt. In einem seiner wichtigsten Beiträge zum Wissen der Menschheit, einem Buch, in dem er die Grundlagen der Algebra erklärte, gab al-Chwarizmi eine Schritt-für-Schritt-Anleitung zur Lösung mathematischer Probleme. Unter anderem erklärte er, wie man große Zahlen multiplizieren oder dividieren und wie man Gleichungen lösen konnte. Diese Rezepte waren im Grunde Regeln der Algebra, hatten jedoch keine spezifische Bezeichnung. Die Gelehrten gingen dazu über, sie als die Arbeit von Algoritmi zu bezeichnen, als "Algorithmen".
Statue von Muhammad ibn Musa al-Khwarizmi in seiner Geburtsstadt Chiwa, Usbekistan | Foto: Yunuskhuja Tuygunkhujaev, CC BY-SA 4.0
Wir können also sagen, dass die menschliche Kultur aus Millionen miteinander verbundener Algorithmen besteht, die uns dabei helfen zu kommunizieren, Wissen auszutauschen und den Glauben an eine stabile und bis zu einem gewissen Grad vorhersehbare Realität aufrechtzuerhalten. Algorithmen kommen in verschiedensten Aktivitäten zum Einsatz, von einfachen Handgriffen wie dem Binden der Schnürsenkel bis zu sehr komplexen Vorgängen wie einer Augenoperation, von sinnlichen Tätigkeiten wie eine Weinverkostung bis zu intellektuell anspruchsvollen wie dem Schreiben eines Buchs.
In all diesen Situationen liefern Algorithmen eine Blaupause für unsere individuelle Erfahrung. Sie sagen uns, was zu tun ist, wann und wie wir reagieren müssen, um das angestrebte Ziel zu erreichen, und wie wir das in unseren Erfahrungen erworbene Wissen weitergeben können. Sogar spirituelles Tun wie Gebet, Meditation oder Sex werden von sozialen Algorithmen geregelt, die uns dabei helfen, unsere Erfahrungen mit anderen Menschen zu bestätigen, mit ihnen zu fühlen und uns anderen verbunden zu fühlen. Diese Art, die Welt zu betrachten, bezeichne ich als algorithmische Denkweise.
Einer der berühmtesten Algorithmen in den Geschichten, die in Filmen erzählt werden, ist die sogenannte Heldenreise oder auch Monomythos. Im Mittelpunkt dieses Algorithmus steht ein als Held bezeichneter Protagonist, der eine Abfolge von Abenteuern erlebt, die sein Leben verändern. Auf dieser Reise muss sich der Held mit seinen tiefsten Ängsten auseinandersetzen, und am Ende kehrt er als stärkere und weisere Person heim.
Die Theorie des Monomythos beruht auf der Arbeit des Mythologen Joseph Campbell, der diesen Algorithmus in Geschichten entdeckte, die im Zentrum zahlreicher Kultur standen, darunter die von Jesus im Christentum, von Moses im Judaismus und Buddha im Buddhismus. Das ist vermutlich der Grund dafür, dass die meisten Zuschauer mit Heldenfiguren wie Luke Skywalker oder Harry Potter fühlen. Es geht nicht um die Persönlichkeit dieser Figuren oder darum, was sie darstellen (sie würden unabhängig davon, ob sie gut oder böse sind, dieselbe emotionale Wirkung haben). Vielmehr geht es um den Algorithmus, dem diese Figuren gehorchen, und darum, wie dieser Algorithmus unsere menschlichen Emotionen anspricht.
Die Harry Potter-Geschichte war bei Filmfans auf der ganzen Welt beliebt | Foto: Elizabeth Jamieson / Unsplash
Peter Kubelkas Arnulf Rainer (1960) ist ein frühes Beispiel für solche Filmkunst. In diesem Film setzte Kubelka einen Algorithmus ein, um eine audiovisuelle Symphonie zu orchestrieren, die sich aus schwarzen Bildern, weißen Bildern, Geräuschen und Stille zusammensetzt. Für Kubelka stellen diese vier Bestandteile die materielle Essenz des Films dar: Licht, Dunkelheit, Ton und Stille.
Arnulf Rainer ist eine Kombination von metrischer Präzision und künstlerischer Intuition. Der Film besteht aus 16 Abschnitten, die jeweils exakt 24 Sekunden dauern (576 Einzelbilder). Jeder Abschnitt besteht aus „Phrasen“ oder kleinen Einheiten, die 2, 4, 6, 8, 9, 12, 16, 18, 24, 36, 48, 72, 96, 144, 192 oder 288 Einzelbilder beinhalten.
In jeder dieser Phrasen experimentiert Kubelka mit den vier Bestandteilen. Besteht eine Phrase zum Beispiel aus zwei Einzelbildern, so wählt er eine der 16 möglichen Kombinationen von Schwarz, Weiß, Ton und Stille. Dasselbe tut er mit Vier-Bild-Phrasen usw.. Das Resultat ist ein provokantes audiovisuelles Kunstwerk, welches das abstrakte Konzept des Algorithmus in eine audiovisuelle Erfahrung auf einem Bildschirm übersetzt.
Ein weiteres Beispiel für einen algorithmischen Film ist The Flicker von Tony Conrad (1966). The Flicker hat physische Ähnlichkeit mit Kubelkas Arbeit und besteht aus Abfolgen von schwarzen und leeren Bildern, die mit hoher Geschwindigkeit projiziert werden. Im Lauf des Films erzeugt die rasante Kombination von Schwarz und Weiß optische Eindrücke, die Farben und Formen simulieren. Der Film hat eine halluzinatorische Wirkung, die nicht von den Sinnen, sondern vom Gehirn selbst ausgelöst wird.
Conrad, der während seines Studiums in Harvard Vorlesungen über Neurologie besuchte, wusste, dass der flackernde Effekt den Eindruck paralleler Lichtfrequenzen erzeugen konnte, ähnliche wie im Gehirn musikalische Oberschwingungen erzeugt werden. Mit The Flicker wollte er eine algorithmische Komposition finden, die gestützt auf die grundlegendsten filmischen Elemente beim Zuschauer diese Visionen auslösen würde.
Als letztes Beispiel für algorithmische Filmkunst möchte ich Hollis Framptons Critical Mass (1971) erwähnen. In diesem Film sehen wir ein streitendes Paar, wobei die Szene unablässig durch abrupte Schnitte gebrochen wird, die wenige Augenblicke in derselben Szene zurückspringen, wodurch der Eindruck entsteht, dass wir in einem endlosen Dialog gefangen sind. Verstärkt wird dies dadurch, dass Frampton Ton und Bild getrennt behandelt, was dazu führt, dass die Synchronität zwischen Dialog und Gestik der Darsteller Stück für Stück verloren geht.
Pablo Núñez Palma | © Third Eye Media
In Critical Mass ist ein Algorithmus am Werk, der die dramatische Auseinandersetzung zwischen zwei Figuren dekonstruiert, um zu veranschaulichen, wie wir uns in solchen Konflikten in unseren eigenen Monologen verlieren. Wir können uns diesen Algorithmus buchstäblich als Filmspule vorstellen, die sich im Projektor vor- und zurückbewegt. Schwieriger zu beantworten ist die Frage, wann der Film vorwärts oder rückwärts läuft.
Indem wir uns der algorithmischen Denkweise bewusst werden, die außerhalb von Computern existiert, können wir die Vorstellung entmystifizieren, Algorithmen seien komplexe und intellektuell nicht erfassbare Gebilde.
Gleichzeitig ruft uns die Auseinandersetzung mit der Filmkunst unter dem Gesichtspunkt der algorithmischen Denkweise in Erinnerung, dass jeder Algorithmus – gleich ob er digital oder mental, Bestandteil einer Geschichte oder eines Experiments – ein Produkt des menschlichen Einfallsreichtums ist. Manche Algorithmen wurden erzeugt, andere entdeckt, aber alle dienen sie letzten Endes dem Ziel, Probleme zu lösen und den Menschen zu helfen, der Welt einen Sinn abzugewinnen.
Weitere Stichworte von Pablo Núñez Palma über die Zukunft kreativer KI gibt es hier.
Das Wort Algorithmus, das heute vor allem mit der KI-Wissenschaft verbunden wird, geht ursprünglich auf den persischen Universalgelehrten Muhammad ibn Musa al-Chwarizmi zurück, der im 9. Jahrhundert lebte und dessen Name auf Latein Algoritmi heißt. In einem seiner wichtigsten Beiträge zum Wissen der Menschheit, einem Buch, in dem er die Grundlagen der Algebra erklärte, gab al-Chwarizmi eine Schritt-für-Schritt-Anleitung zur Lösung mathematischer Probleme. Unter anderem erklärte er, wie man große Zahlen multiplizieren oder dividieren und wie man Gleichungen lösen konnte. Diese Rezepte waren im Grunde Regeln der Algebra, hatten jedoch keine spezifische Bezeichnung. Die Gelehrten gingen dazu über, sie als die Arbeit von Algoritmi zu bezeichnen, als "Algorithmen".
Eine uralte Technik
Wenn wir das Gebiet der Mathematik verlassen, stellen wir rasch fest, dass Algorithmen schon ein fester Bestandteil der menschlichen Kultur waren, lange bevor al-Chwarizmi sie in seinem Buch beschrieb. Tatsächlich können sie bis zu den Anfängen der menschlichen Zivilisation zurückverfolgt werden. Wie Brian Christian und Tom Griffiths in ihrem Buch Algorithmen für den Alltag erklären, ist ein Algorithmus „nichts anderes als eine endliche Abfolge von Schritten, die man befolgen muss, um ein Problem zu lösen“. Wenn man ein Abendessen zubereitet, einen Pullover strickt, einen Feuerstein „mit einer Abfolge präziser Schläge mit einem Stück Holz oder einem Geweihstück bearbeitet” (was eine bedeutsame Innovation in der Herstellung von Werkzeugen in der Steinzeit war) oder andere Aktionen in einer feststehende Abfolge ausführt, um ein bestimmtes Ziel zu erreichen, wendet man einen Algorithmus an.
Statue von Muhammad ibn Musa al-Khwarizmi in seiner Geburtsstadt Chiwa, Usbekistan | Foto: Yunuskhuja Tuygunkhujaev, CC BY-SA 4.0
Wir können also sagen, dass die menschliche Kultur aus Millionen miteinander verbundener Algorithmen besteht, die uns dabei helfen zu kommunizieren, Wissen auszutauschen und den Glauben an eine stabile und bis zu einem gewissen Grad vorhersehbare Realität aufrechtzuerhalten. Algorithmen kommen in verschiedensten Aktivitäten zum Einsatz, von einfachen Handgriffen wie dem Binden der Schnürsenkel bis zu sehr komplexen Vorgängen wie einer Augenoperation, von sinnlichen Tätigkeiten wie eine Weinverkostung bis zu intellektuell anspruchsvollen wie dem Schreiben eines Buchs.In all diesen Situationen liefern Algorithmen eine Blaupause für unsere individuelle Erfahrung. Sie sagen uns, was zu tun ist, wann und wie wir reagieren müssen, um das angestrebte Ziel zu erreichen, und wie wir das in unseren Erfahrungen erworbene Wissen weitergeben können. Sogar spirituelles Tun wie Gebet, Meditation oder Sex werden von sozialen Algorithmen geregelt, die uns dabei helfen, unsere Erfahrungen mit anderen Menschen zu bestätigen, mit ihnen zu fühlen und uns anderen verbunden zu fühlen. Diese Art, die Welt zu betrachten, bezeichne ich als algorithmische Denkweise.
Die algorithmische Denkweise im Film
Wenn wir die Welt so betrachten, erkennen wir, dass die Tradition des Filmemachens und des Filmesehens von vielfältigen Algorithmen geprägt ist. So wie es einen Algorithmus für den erfolgreichen Kinobesuch gibt (1. Das Kino betreten. 2. Karten kaufen. 3. Die Nummer an der Tür des Vorführsaals mit der Nummer auf der Kinokarte vergleichen, und so weiter…), gibt es auch eine Vielzahl von Algorithmen für das Geschichtenerzählen, die geeignet sind, die menschlichen Emotionen anzusprechen und die Narrative zu bekräftigen, auf denen unsere Kultur beruht.Einer der berühmtesten Algorithmen in den Geschichten, die in Filmen erzählt werden, ist die sogenannte Heldenreise oder auch Monomythos. Im Mittelpunkt dieses Algorithmus steht ein als Held bezeichneter Protagonist, der eine Abfolge von Abenteuern erlebt, die sein Leben verändern. Auf dieser Reise muss sich der Held mit seinen tiefsten Ängsten auseinandersetzen, und am Ende kehrt er als stärkere und weisere Person heim.
Die Theorie des Monomythos beruht auf der Arbeit des Mythologen Joseph Campbell, der diesen Algorithmus in Geschichten entdeckte, die im Zentrum zahlreicher Kultur standen, darunter die von Jesus im Christentum, von Moses im Judaismus und Buddha im Buddhismus. Das ist vermutlich der Grund dafür, dass die meisten Zuschauer mit Heldenfiguren wie Luke Skywalker oder Harry Potter fühlen. Es geht nicht um die Persönlichkeit dieser Figuren oder darum, was sie darstellen (sie würden unabhängig davon, ob sie gut oder böse sind, dieselbe emotionale Wirkung haben). Vielmehr geht es um den Algorithmus, dem diese Figuren gehorchen, und darum, wie dieser Algorithmus unsere menschlichen Emotionen anspricht.
Die Harry Potter-Geschichte war bei Filmfans auf der ganzen Welt beliebt | Foto: Elizabeth Jamieson / Unsplash
Arnulf Rainer: ein früher algorithmischer Film
Neben der Mainstream-Filmindustrie, die sich kultureller Algorithmen bedient, um unsere Gefühle anzusprechen, widmet sich eine kleinere Untergruppe von Filmkunstwerken nicht dem Geschichtenerzählen, sondern der Erkundung der ästhetischen Dimension von Algorithmen, und macht sie zu den Hauptfiguren der Geschichte.Peter Kubelkas Arnulf Rainer (1960) ist ein frühes Beispiel für solche Filmkunst. In diesem Film setzte Kubelka einen Algorithmus ein, um eine audiovisuelle Symphonie zu orchestrieren, die sich aus schwarzen Bildern, weißen Bildern, Geräuschen und Stille zusammensetzt. Für Kubelka stellen diese vier Bestandteile die materielle Essenz des Films dar: Licht, Dunkelheit, Ton und Stille.
Arnulf Rainer ist eine Kombination von metrischer Präzision und künstlerischer Intuition. Der Film besteht aus 16 Abschnitten, die jeweils exakt 24 Sekunden dauern (576 Einzelbilder). Jeder Abschnitt besteht aus „Phrasen“ oder kleinen Einheiten, die 2, 4, 6, 8, 9, 12, 16, 18, 24, 36, 48, 72, 96, 144, 192 oder 288 Einzelbilder beinhalten.
In jeder dieser Phrasen experimentiert Kubelka mit den vier Bestandteilen. Besteht eine Phrase zum Beispiel aus zwei Einzelbildern, so wählt er eine der 16 möglichen Kombinationen von Schwarz, Weiß, Ton und Stille. Dasselbe tut er mit Vier-Bild-Phrasen usw.. Das Resultat ist ein provokantes audiovisuelles Kunstwerk, welches das abstrakte Konzept des Algorithmus in eine audiovisuelle Erfahrung auf einem Bildschirm übersetzt.
Schwarze und leere Einzelbilder
Ein weiteres Beispiel für einen algorithmischen Film ist The Flicker von Tony Conrad (1966). The Flicker hat physische Ähnlichkeit mit Kubelkas Arbeit und besteht aus Abfolgen von schwarzen und leeren Bildern, die mit hoher Geschwindigkeit projiziert werden. Im Lauf des Films erzeugt die rasante Kombination von Schwarz und Weiß optische Eindrücke, die Farben und Formen simulieren. Der Film hat eine halluzinatorische Wirkung, die nicht von den Sinnen, sondern vom Gehirn selbst ausgelöst wird.Conrad, der während seines Studiums in Harvard Vorlesungen über Neurologie besuchte, wusste, dass der flackernde Effekt den Eindruck paralleler Lichtfrequenzen erzeugen konnte, ähnliche wie im Gehirn musikalische Oberschwingungen erzeugt werden. Mit The Flicker wollte er eine algorithmische Komposition finden, die gestützt auf die grundlegendsten filmischen Elemente beim Zuschauer diese Visionen auslösen würde.
Als letztes Beispiel für algorithmische Filmkunst möchte ich Hollis Framptons Critical Mass (1971) erwähnen. In diesem Film sehen wir ein streitendes Paar, wobei die Szene unablässig durch abrupte Schnitte gebrochen wird, die wenige Augenblicke in derselben Szene zurückspringen, wodurch der Eindruck entsteht, dass wir in einem endlosen Dialog gefangen sind. Verstärkt wird dies dadurch, dass Frampton Ton und Bild getrennt behandelt, was dazu führt, dass die Synchronität zwischen Dialog und Gestik der Darsteller Stück für Stück verloren geht.
Pablo Núñez Palma | © Third Eye Media
In Critical Mass ist ein Algorithmus am Werk, der die dramatische Auseinandersetzung zwischen zwei Figuren dekonstruiert, um zu veranschaulichen, wie wir uns in solchen Konflikten in unseren eigenen Monologen verlieren. Wir können uns diesen Algorithmus buchstäblich als Filmspule vorstellen, die sich im Projektor vor- und zurückbewegt. Schwieriger zu beantworten ist die Frage, wann der Film vorwärts oder rückwärts läuft.Indem wir uns der algorithmischen Denkweise bewusst werden, die außerhalb von Computern existiert, können wir die Vorstellung entmystifizieren, Algorithmen seien komplexe und intellektuell nicht erfassbare Gebilde.
Gleichzeitig ruft uns die Auseinandersetzung mit der Filmkunst unter dem Gesichtspunkt der algorithmischen Denkweise in Erinnerung, dass jeder Algorithmus – gleich ob er digital oder mental, Bestandteil einer Geschichte oder eines Experiments – ein Produkt des menschlichen Einfallsreichtums ist. Manche Algorithmen wurden erzeugt, andere entdeckt, aber alle dienen sie letzten Endes dem Ziel, Probleme zu lösen und den Menschen zu helfen, der Welt einen Sinn abzugewinnen.
Weitere Stichworte von Pablo Núñez Palma über die Zukunft kreativer KI gibt es hier.