Am 28. September 2023 habe ich beim Text+ Plenary mit dem Motto „Connecting People and Data“ in Göttingen ein Poster von meinem neuen Projekt vorgestellt: Grimm4Geeks. In dem Projekt möchte ich erforschen, wie sich die Märchentexte der Brüder Grimm auf Basis syntaktischer und semantischer Textmerkmale „illustrieren“ lassen. Hier das Poster:
In March 2013 I generated three short clips based on Hitchcock’s PSYCHO (1960): PSYCHOMEAN, PSYCHOMEDIAN and PSYCHOMODE (I labelled them PSYCHO*; have a closer look here). In a first step of this artistical research project I analyzed the mean, median and modal grey values of each frame of the famous shower sequence (5775 frames); in a second step I re-ordered all these frames in ascending order.
What I did today in the afternoon is much more unspectacular but gives surprising insight into the inner structure of the original montage as well the three different re-montages of the original image material. I put all frames together in one single image with help of ImageMontage, a plugin for ImageJ developed by Lev Manovich and his NY based team. As a result I got four visualizations that show each clip’s frames organized in a rectangular 2D grid. Great advantage of this kind of visualization is that you can catch the whole montage at a glance and grasp differences easily. See for yourself!
Treemapping is a visualization method for displaying hierarchic structured data by using nested rectangles. This approach was firstly described in Ben Sheiderman’s essay Tree Visualization with Tree-Maps: 2-d Space-Filling Approach (1992) and offers a way not only visualizing the hierachic organised tree of data but also the content of his leaf nodes. In general, you can use treemaps as a visualization method for any kind of hierarchical data. However, if you google treemap, you’ll find a lot of treemaps showing economic data like stock prices. In this field Market Watch’s Map of the Market is a great example for the two dimensions visualized by every treemap: each rectangle’s size represents market cap and each rectangle’s color represents change in market cap.
Now I asked myself wheter that visualization method could be of interest for art history: In the last years news are over and over again about record breaking prices reached for an artwork at a public auction. Such high pricing strucks not only the old masters but also works for still living artists. As you might know the prices for young artist’s paintings are often assessed by canvas size. So the question for my use-case arises: Is there also a correlation between size and hammer price of famous artworks at auctions?
I took data of the art market in 2012 based on a survey of Statista. Because one of the TOP 20 artworks in 2012 was Jeff Koon’s Tulips (1995-2004), a sculpture, I just took the TOP 19 artworks of 2012 for my treemap use-case. I used Treemap 4.1 developed by the University of Maryland (free for non-commerical use), put in my data structured in auction house, artist’s name, size and hammer price (-> price per square inch), and got the following treemap showing the relationship between hammer price and price per square inch:
size: hammer price (the bigger the rectangele, the higher the price); color: price per square inch (blue: low price per square inch, red: high price per square inch)
What you can read out of that visualization is:
Conclusion: In 2012 a lot of artworks of still living artists reached high prices at public auctions. But putting the prices in relation to their size, you can see that age dominates over size. Hence, there seems not to exist a correlation between size and hammer price but rather between hammer price and date of origin.
Today I would like to show that visualizing results with gephi can be helpful but that not every kind of visualization algorithm implemented in gephi matters for gaining more insight. Helpfulness depends on what you would like to show! So let’s have a closer look on my use case for that!
As you may know, I write my PhD thesis about multiscreen installations. One of my favorite examples is THE HOUSE – a work of the finnish artist Eija-Liisa Ahtila that exists in two versions: a single screen version for presentation in the cinema and a multiscreen version with three projections for presentation in the gallery or museum space. Her distribution strategy opens up a lot of questions, all about what’s the difference between the two versions.
Single screen and multiscreen version have the same length (around twenty minutes). That means if you have three instead of one screen you can show three times as much. The question raises: Which of the images used in the single screen version are popping up again in the multiscreen version? And in particular: On which screen they do that?
Having extracted the first scene (around one minute: 1742 frames) I came to a unique result with help of Daniel Kurzawe and his application of an automatic image recognition algorithm (that is a topic for itself – paper coming soon): Most images of the single channel version reappear on the middle screen of the multiscreen version!
Using Fruchtermann-Reingold for visualizing our result I got a visualization that shows what I would like to show:
The 1742 images of the single screen version (white dots) are either connected with the left, middle or right screen node (reddish dots) or aren’t connected to anything. Left, middle and right screen node grow with the number of connecting lines. The thickness of those edges again depends on how much the images resemble to each other (that’s because of our image recognition algorithm doesn’t say similiar/not similiar but gives a degree of similiartiy).
In another way also YifanHu shows the dispersion but for my flavor it is too remindful of a bacteria culture in a petri dish:
And last but not least some other visualizations I generated with gephi that are beautiful in a special sense but don’t own explanatory power because details got lost or their alignment seems too random:
Am Samstag, den 30. November 2013 findet in München ein Studientag zur Kunstgeschichte im digitalen Zeitalter statt, organisiert von Sabine Scherz und Heike Messemer. Da u.a. auch ich dort mit einem Vortrag vertreten sein werde, muss dies natürlich mit einem Blogbeitrag zelebriert werden. Ich freue mich auf die vielen spannenden Beiträge und erwarte neue Impulse! Weitere Informationen zur Tagung sind auf der Homepage des Arbeitskreises für Digitale Kunstgeschichte zu finden.
Daniel Kehlmanns Ruhm ist ein in neun Geschichten erzählter Roman. Ruhm lebt von den Verbindungen, den wechselseitgen Verstrickungen der jeweiligen Protagonisten: Während in der einen Geschichte die Reise des Schriftstellers Leo Richter durch Südamerika geschildert wird, handelt eine andere von dessen berühmtester Romanfigur Rosalie, die wiederum mit einer anderen fiktiven Figur, Lara Gaspard, verwandt ist. Von Lara Gaspard, deren Alter Ego Elisabeth zu sein scheint, träumt wiederum Mollwitz, ein Netzfreak und Angestellter in einer Telekommunikationsfirma, aus deren internen Intrigen letzlich die doppelte Nummernvergabe erwächst, bei der alles seinen Anfang nimmt und Ebling das Leben des berühmten Schauspielers Ralf Tanners zerstört.
Möchte man ein Netzwerk visualisieren, dann sind viele Entscheidungen zu treffen, allen voran die Entscheidung, welche Personen in die Darstellung aufgenommen werden sollen. Alle? Nur die namentlich Genannten? Oder nur diejenigen, welche die Handlung vorantreiben? Die Protagonisten? Auch diejenigen, mit denen die Protagonisten in einer engen Beziehung stehen? Man sieht, es ist unumgänglich eine präzise Fragestellung zu formulieren, um sich nicht im Detail zu verlieren. Mich interessieren diejenigen Figuren einer Geschichte, die mit Figuren einer anderen Geschichte verbunden sind, so dass jede von mir aufgenommene Figur in mindestens zwei verschiedenen Geschichten vorkommen muss. Ausnahmen von dieser Regel bilden dabei Figuren, die Brücken schlagen, wie dies z.B. im Fall von Eblings Ehefrau Elke der Fall ist, die diesen indirekt mit dem Autor Miguel Auristos Blancos verbindet, da sie eines dessen Bücher liest.
Der Name jeder Figur dient in meiner Netzwerkvisualisierung als Knotenpunkt. Den namenlosen und äußerst mysteriösen ‚Taxifahrer‘ habe ich dabei in Anlehnung an die Forschungsliteratur zu David Lynchs Spielfilm LOST HIGHWAY, in dem ein ähnlich mysteriöser Mann, der die Fäden zu ziehen scheint, auftaucht, Mystery Man getauft. Die Schriftgröße aller Namen ist abhängig von der Anzahl der Verbindungslinien des Knotens, so dass stärker vernetzte Figuren nicht nur stärker ins Zentrum rücken, sondern auch deren Namen in einer größeren Schrift erscheinen. Um zu zeigen, welche Figur aus welcher Geschichte mit welcher Figur aus einer anderen Geschichte verbunden ist, habe ich jeder Geschichte zudem eine Farbe zugeteilt und den Figurennamen jeweils einen Kreis in der entsprechenden Farbe zur Seite gestellt, so dass man sieht, welche Figuren miteinander verbunden sind und in welchen Geschichten sie agieren.
Das Netzwerk habe ich mit gephi erstellt, die exportierte Vektorgrafik mit inkscape nachbearbeitet und das Ergebnis schließlich als .png abgespeichert.
Meine Geocachingaktivitäten sind mit lediglich 36 founds in sieben Jahren nicht gerade umwerfend, aber ausreichend um den DARIAH-DE-GeoBrowser zu testen und ein nettes Anwendungsszenario zu kreieren. Jeder cache besitzt Geokoordinaten und wird bei einem Fund geloggt, so dass die beiden formalen Voraussetzungen, um mit dem GeoBrowser zu arbeiten, erfüllt sind. Meine mit dem GeoBrowser erstellte 4D-Visualisierung zeigt folglich, wann ich an welchem Ort welchen cache gefunden und geloggt habe. Mein ‚Jagdverhalten‘ mit deutlichen Aktivitäts- und Ruhephasen mit Fokus auf Wohn- und Urlaubsorte innerhalb Deutschlands wird damit sichtbar.
Fragt man danach, ob zwei Bilder gleich sind, dann fragt man nach deren Ähnlichkeit, genauer: nach deren Identität. Zwei Bilder sind genau dann identisch, wenn keine unterscheidenden Eigenschaften festzustellen sind. Identität bezeichnet somit den Extrempunkt einer Ähnlichkeitsrelation zwischen zwei oder mehreren Gegenständen, insofern sich identische Bilder nicht nur hinsichtlich mehrerer Merkmale (Ähnlichkeit), sondern aller Merkmale gleichen (Identität). Beim Vergleich zweier digitaler Bilder besteht in der Frage nach deren Identität die Problematik, dass eine Ähnlichkeitsabweichung hier bereits durch unterschiedliche Bildgröße, Auflösung, Kompression etc. entstehen kann. Wie also lässt sich bestimmen, ob zwei digitale Bilder identisch oder zumindest ähnlich sind?
Eine Möglichkeit besteht darin, einen Pixelvergleich vorzunehmen, d.h. Pixel für Pixel zu vergleichen. Hierfür werden die beiden zu vergleichenden Bilder gleichsam übereinandergelegt: Pixel, die denselben Farbwert besitzen, werden schwarz gefärbt, die anderen weiß, so dass die Abweichung, wie das erste Beispiel zeigt, deutlich sichtbar wird. Um dieses Verfahren zu demonstrieren, habe ich ein Bild Piet Mondrians modifiziert, indem ich die gelbe Farbfläche rot eingefärbt habe. Der Pixelvergleich offenbart den Unterschied auf den ersten Blick, zeigt ein weißes Dreieck (= der modifizierte Bereich) auf schwarzem Grund (= der unveränderte Bereich).
Pixelvergleich, Beispiel 1
Diese Art des Vergleichs stößt jedoch sehr schnell an seine Grenzen, wie das zweite Beispiel zeigt. Hier habe ich Claude Monets berühmte Seerosen um einen Pixel nach oben verschoben, so dass das gesamte Bild auf der ursprünglichen Bildfläche um einen Pixel nach oben gewandert ist, der obere Bildrand also abgeschnitten wurde und am unteren Bildrand eine ‚leere‘ Pixelzeile entstanden ist. Mit bloßen Auge ist kein Unterschied zwischen den beiden Bildern zu erkennen, doch da aufgrund dieser Verschiebung kein Pixel mehr am selben Platz ist, liefert der Vergleich eine beinahe maximale Differenz, eine weiße Fläche mit wenigen schwarzen Punkten.
Pixelvergleich, Beispiel 2
Eine andere Möglichkeit die Ähnlichkeit von Bildern zu bestimmen, besteht darin, deren Histogramme zu vergleichen. Das Histogramm eines Bildes gibt dessen Farbverteilung an, gibt also an, wie oft ein bestimmter Farbwert (RGB) oder Grauwert ((R+G+B)/3) im Bild vorliegt. Diese Verteilung kann als eine Art Fingerabdruck des Bildes betrachtet werden. Da ein Histogramm jedoch lediglich Informationen über die Farbverteilung, jedoch nicht über die Position der Bildpunkte beinhaltet, können verschiedene Bilder dasselbe Histogramm besitzen. Bilder, die gespiegelt oder gedreht wurden, werden aus diesem Grund als gleich erkannt, wie schließlich das dritte Beispiel veranschaulicht.
Histogrammvergleich, Beispiel 3
Das digitale Bild und die Veränderungen, die mit einem Wandel vom Analogen zum Digitalen einhergehen, lösen in der Kunstgeschichte und verwandten Disziplinen unterschiedlichste Reaktionen aus, die zwischen Euphorie und Angst schwanken. Diesen Reaktionen und dem Spezifischen des digitalen Bildes geht die von Harald Klinke und Lars Stamm organisierte Tagung Euphorie und Angst. Reaktionen auf neue Bildmedien im digitalen Zeitalter nach. Ich werde hier über digitale Methoden und deren Potential für die Kunstwissenschaft sprechen und freue mich schon auf den regen Austausch mit Fachkollegen.
In my last blog post I described how I explored Eija-Liisa Ahtilas 3-channel-installation THE HOUSE (2002) with ImagePlot (please see below). Ahtila is one of the artists who act not only in the art world but also in the screenland. That’s why she often produces more than one version from the same material, one multi screen version for displaying in the gallery or museum space, one single screen version for presenting in cinema. I’m sure you know I would like to get at – there’s not only a multi screen installation of THE HOUSE but also a single screen version, embedded in her portmanteau film LOVE IS A TREASURE (2002). For a better understanding of the particular potential of both presentation modes it would be interesting in which way both versions resemble each other and in which manner they differ.
Continuing my experimentation with ImagePlot, I did the same analyzes with the single screen version of THE HOUSE as I did with the single screen version before. You see the results below: The first picture shows the change of the median value (y-axis) over the film’s length (x-axis), the second shows the filled curve and the third combines both views (for this ‚combined plot‘ I manipulated the images with an image editor software).
For comparing both versions I opposed the ‚combined plot‘ of the single screen version with the ‚combined plots‘ of the multiscreen version. In the first row of the graphic below you see the single screen version compared to the left screen of the multi screen version, in the second row you see the same compared to the middle screen and in the third compared to the right screen.
What information can you get out of this? For me it seems that the middle screen of the multi screen version is the most similar to the single screen version. So this investigation by means of ImagePlot accounts for curator Doris Krystof’s opinion that the middle screen seems to show the main storyline:
Dabei nimmt das Bild in der Mitte insofern eine Sonderstellung ein, als man dort den Haupterzählungsstrang auszumachen meint.
– Doris Krystof (Bestandskatalog K21 Düsseldorf, Köln 2005, S. 28)
Diese Website verwendet Cookies, um das beste Surferlebnis zu ermöglichen. Durch die weitere Nutzung der Seite stimmst du der Verwendung von Cookies zu. Weitere Informationen
Die Cookie-Einstellungen auf dieser Website sind auf "Cookies zulassen" eingestellt, um das beste Surferlebnis zu ermöglichen. Wenn du diese Website ohne Änderung der Cookie-Einstellungen verwendest oder auf "Akzeptieren" klickst, erklärst du dich damit einverstanden. Falls du nicht möchtest, dass Cookies auf deinem Rechner gespeichert werden, kannst du die entsprechende Option in den Systemeinstellungen deines Browsers ändern. Gespeicherte Cookies können dort auch gelöscht werden.