Kategorie: Medienanalyse

Symposium: „Film rechnen – Computergestützte Methoden in der Filmanalyse“

Das Thema Bild- und Bewegtbildanalyse gewinnt auch in der – bis dato stark auf Text fokussierten – Digital Humanities Community immer mehr an Bedeutung. So wurde etwa Anfang des Jahres eine dedizierte Arbeitsgruppe beim deutschsprachigen DH-Verband (DHd) gegründet.

Mit dem Symposium in Regensburg, am 3. Juli 2017, soll eine Bestandsaufnahme bestehender Ansätze zur computerbasierten Filmanalyse erfolgen und dabei Grenzen und Möglichkeiten solch digitaler Analyseverfahren diskutiert werden.

Programm

Eröffnung durch den Prodekan (Prof. Dr. Christian Wolff)

MANUEL BURGHARDT
Medieninformatik, Universität Regensburg
“Digitale Methoden für die Filmanalyse – Zwischen Berechnung und Exploration” Vortrag Manuel Burghardt Computerbasierte Filmanalyse

ADELHEID HEFTBERGER
Brandenburgisches Zentrum für Medienwissenschaften, Potsdam
“Computergestützte Analyse für die Filmgeschichte – Erfahrungen und Potentiale”

NIELS-OLIVER WALKOWSKI
Berlin-Brandenburgische Akademie der Wissenschaften
“Perspektiven der filmwissenschaftlichen Interpretierbarkeit von Ergebnissen computergestützter Farbanalyse”

MATTHIAS ZEPPELZAUER
Fachhochschule St. Pölten, Österreich
“Automated Analysis, Retrieval and Annotation of Video and Film”

Slides Matthias Zeppelzauer

Ressourcen und Projekte

Literatur

  1. Burghardt, M., Hafner, K., Edel, L., Kenaan, S., & Wolff, C. (2017). An Information System for the Analysis of Color Distributions in MovieBarcodes. In Proceedings of the 15th International Symposium of Information Science (ISI 2017).
  2. Burghardt, M., Kao, M., & Wolff, C. (2016). Beyond Shot Lengths – Using Language Data and Color Information as Additional Parameters for Quantitative Movie Analysis. In Book of Abstracts of the International Digital Humanities Conference (DH).
  3. Burghardt, M., & Wolff, C. (2016). Digital Humanities in Bewegung: Ansätze für die computergestützte Filmanalyse. In Book of Abstracts of the 3rd DHd Conference.
  4. Heftberger, A. (2012). Ask Not What Your Web Can Do For You – Ask What You Can Do For Your Web! Some Speculations about Film Studies in the Age of the Digital Humanities. In Frames Cinema Journal.
  5. Heftberger, A. (2014). Film archives and digital humanities – An impossible match? New job descriptions and the challenges of the digital era. In MedieKultur: Journal of media and communication research 30(57).
  6. Heftberger, A. (2012). Do Computers Dream of Cinema? Film Data for Computer Analysis and Visualisation. In Berry, D. M. (ed.): Understanding Digital Humanities, p. 210-223.
  7. Walkowski, N. & Pause, J. (2017). The Colorized Dead: Computerunterstützte Analysen der Farblichkeit von Filmen in den Digital Humanities am Beispiel von Zombiefilmen. Book of Abstracts DHd 2017 (Bern), S. 200-204.
  8. Zeppelzauer, M., Mitrovic, D., and Breiteneder, C., (2011). Cross-Modal Analysis of Audio Visual Film Montage. Proceedings of 20th International Conference on Computer Communications and Networks, Maui, USA.
  9. Mitrovic, D., Zeppelzauer, M., Zaharieva, M., and Breiteneder, C. (2011). Retrieval of VisualComposition in Film. Proceedings of the 12th International Workshop on Image Analysis for Multimedia Interactive Services, April 13-15, Delft, The Netherlands.
  10. Seidl, M., Zeppelzauer, M., and Breiteneder, C. (2010). A Study Of Gradual Transition Detection in Historic Film Material. In Proceedings of the ACM Multimedia 2010, Workshop – Electronic Heritage and Digital Art Preservation (eHeritage), pp. 13-18. Firenze, Italy.
  11. Zeppelzauer, M., Mitrovic, D. and Breiteneder, C. (2008). Analysis of Historical Artistic Documentaries. In Proceedings of the 9th International Workshop on Image Analysis for Multimedia Interactive Services, pages 201-206, Klagenfurt, Austria.
  12. Zaharieva, M., Zeppelzauer, M., Breiteneder, C., and Mitrovic, D. (2010). Camera Take Reconstruction. In Proceedings of IEEE Multimedia Modeling Conference, Jan 6-8, 2010, Chongqing, China, pp. 379-388.
  13. Zeppelzauer, M., Zaharieva, M., Mitrovic, D., and Breiteneder, C. (2010). A Novel Trajectory Clustering Approach for Motion Segmentation. In Proceedings of Multimedia Modeling Conference, pp. 433-443. Jan 6-8, (2010), Chongqing, China.
  14. Mitrovic D., Hartlieb, S., Zeppelzauer, M., and Zaharieva, M. (2010). Scene Segmentation in Artistic Archive Documentaries. HCI in Work and Learning, Life and Leisure, LNCS, vol. 6389, pp 400-410. Springer, Berlin/Heidelberg.
  15. Zaharieva, M., Zeppelzauer, M., Mitrovic, D. and Breiteneder, C. (2009). Finding the Missing Piece: Content-Based Video Comparison. In Proceedings of the 11th IEEE International Symposium on Multimedia (ISM 2009), pages 330-335, San Diego, USA.
  16. Seidl, M., Zeppelzauer, M., Mitrovic, D., and Breiteneder, C. (2011). Gradual Transition Detection in Historic Film Material – A Systematic Study. ACM Journal on Computing and Cultural Heritage, 4(3).
  17. Zeppelzauer, M., Zaharieva, M., Mitrovic, D., and Breiteneder, C. (2011). Retrieval of Motion Composition in Film. Digital Creativity, 22(4):219-234.
  18. Zaharieva, M., Zeppelzauer, M., Mitrovic, D. and Breiteneder, C. (2010). Archive lm comparison. International Journal of Multimedia Data Engineering and Management, 1(3):41-56.
  19. Zaharieva, M., Mitrovic, D., Zeppelzauer, M., and Breiteneder, C. (2010). Film Analysis of Archive Documentaries. IEEE Multimedia, 18(2):38-47, February, 2011.
  20. Zeppelzauer, M., Mitrovic, D., and Breiteneder C. (2012). Archive Film Material – A novel Challenge for Automated Film Analysis. In: Frames Cinema Journal, Issue 1, ed. Catherine Grant.

 

Advertisements

15th International Symposium of Information Science

The 15th International Symposium of Information Science (ISI) is taking place from March 13-15 at Humbold University in Berlin.

We are presenting a poster for „An Information System for the Analysis of
Color Distributions in MovieBarcodes“.

An Information System for the Analysis of Color Distributions in MovieBarcodes

Downloads:


Right after the official program of the ISI 2017 we will organize a „Satellite Workshop on the Relationship of Information Science and the Digital Humanities“. For more information please check out the workshop website: https://is-dh.tumblr.com/

DH Conference 2016: Music and Movie Analysis

krakow

Photo credit: Christian Wolff

This year, Kraków is the venue of the international Digital Humanities conference. The Media Informatics Group from Regensburg will present two projects on the computer-based analysis of music and movies.

The complete conference proceedings are available here: http://dh2016.adho.org/abstracts/

1. Computer-based Analysis of Movies

Beyond Shot Lengths – Using Language Data and Color Information as Additional Parameters for Quantitative Movie Analysis

Film studies make use of both, qualitative as well as quantitative methods. While there is a large variety of qualitative approaches to analyze movies, most quantitative attempts seem to be focused on the analysis of the length and frequency of a film’s shots. Cinemetrics been suggested as a term to describe these quantitative, shot-based approaches for analyzing movies. For a comprehensive overview of Cinemetrics-related research cf. the bibliography compiled by Mike Baxter. Cinemetrics is also the name of a large online database that contains information about shot lengths and frequencies for several thousand films.

In our  project we suggest to go „beyond shot lengths“, which means to enhance the existing, shot-focused approaches to quantitative movie analysis by considering additional parameters, such as language and color use.

color-subtitlesWe present a prototype that can be used to automatically extract and analyze these parameters from movies and that makes the results accessible in an interactive visualization.

Resources

2. Computer-based Analysis of Music

Tool-based Identification of Melodic Patterns in MusicXML Documents

Computer-based methods in musicology have been around at least since the 1980s. Typically, quantitative analyses of music rely on music information retrieval (MIR) systems, which can be used to search collections of songs according to different musicological parameters. There are many examples for existing MIR systems, all with specific strengths and weaknesses. Among the main downsides of such systems are:

  • Usability problems, i.e. tools are cumbersome to use, as they oftentimes only provide a command-line interface and also require some basic programming skills to utilize them; example: Humdrum
  • Restricted scope of querying, i.e. tools can only be used to search for musical incipits; examples: RISM, HymnQuest
  • Restricted song collection, i.e. tools can only be used for specific collections of music files; various examples of MIR tools for specific collections are described in Typke et al. (2005)

To make up for these existing downsides, we designed MusicXML Analyzer, a generic MIR system that allows for the analysis of arbitrary documents encoded in MusicXML format.

Frameworks used for MusiXML Analyzer

  • Laravel: PHP framework
  • jQuery: JavaScript framework
  • Bootstrap: CSS framework
  • D3.js: JavaScript library for visualization / diagrams
  • Typed.js: JavaScript library for status messages
  • Dropzone.js: JavaScript library for file upload
  • jsPDF: JavaScript library for PDF export
  • Vexflow: JavaScript library for the creation of virtual scores
  • Midi.js: JavaScript library for the creation of midi files

References

Typke, R., Wiering, F. and Veltkamp, R. C. (2005). A survey of music information retrieval systems. Proceedings of the 6th International Conference on Music Information Retrieval (ISMIR) 2005, pp. 153–160.

Resources

Regensburger Beiträge auf der KONVENS 2014

Auf der diesjährigen Konvens stellen wir zwei Digital Humanities-Projekte aus Regensburg vor: Sentilyzer und WebNLP.

Sentilyzer

Sentilyzer ist ein web-basiertes Tool zur Sentimentanalyse von deutschsprachigen Nutzerkommentaren zu Facebook-Seiten. Das Tools sammelt die Kommentare über die Facebook Graph API und benutzt den TreeTagger, um die Daten zu lemmatisieren. Die so lemmatisierten Daten werden dann anhand des Sentiment-Lexikons „Berlin Affective Word List – Reloaded“ (BAWL-R) analysiert und interaktiv im Browser visualisiert. Das Tool wurde bereits erfolgreich in einer Fallstudie zur Analyse von Facebook-Kommentaren zur TV-Show „Ich bin ein Star – Holt mich hier raus“ eingesetzt.

Sentilyzer: Darstellung der Sentiment Scores zur Dschungelcamp-Kandidatin Larissa Marolt entlang der Zeitachse.

Sentilyzer: Darstellung der Sentiment Scores zur Dschungelcamp-Kandidatin “Larissa Marolt” entlang der Zeitachse.

Tool-Demo: http://dh.wappdesign.net/timeline/14
Poster als PDF via ResearchGate
Publikation: Glücker, H., Burghardt, M., & Wolff, C. (2014) Sentilyzer – A Mashup Application for the Sentiment Analysis of Facebook Pages. In Ruppenhofer, J. & Faaß, G. (eds.). Workshop proceedings of the 12th edition of the KONVENS conference, S. 58 – 61. (PDF)


WebNLP

WebNLP erlaubt es über eine Web-Schnittstelle NLP-Funktionen des Python NLTK zu nutzen, und die Ergebnisse direkt im Browser darzustellen. Die Visualisierung der Ergebnisse erfolgt durch den Web-Dienst Voyant. Zudem können die Ergebnisse zur weiteren Analyse als Text- oder XML-Datei heruntergeladen werden. WebNLP macht über seine grafische Web-Schnittstelle NLP-Funktionen für ein breiteres Publikum zugänglich, und kann somit als Beitrag in Richtung Humanist-Computer Interaction gesehen werden. In der aktuellen Fassung unterstützt WebNLP als grundlegende Funktionen Tokenisierung, POS-Tagging und Lemmatisierung für englisch-sprachige Texte. Die Architektur des Tools ist allerdings so modular angelegt, dass weitere NLP-Funktionen und weitere Sprachen sukzessive ergänzt werden können.

WebNLP

Tool-Demo: http://dh.mi.ur.de/
Poster als PDF via ResearchGate
Publikation: Burghardt, M., Pörsch, J., Tirlea, B., & Wolff, C. (2014) WebNLP – An Integrated Web-Interface for Python NLTK and Voyant. In Ruppenhofer, J. & Faaß, G. (eds.). Proceedings of the 12th edition of the KONVENS conference, S. 235 – 240. (PDF)

Streetartfinder – Web-Anwendung zur Dokumentation und Kartierung von Streetart

Unter Streetart versteht man selbstautorisiert angebrachte Zeichen aller Art im urbanen Raum, die mit einem weiteren Personenkreis kommunizieren wollen. (Wikipedia-Definition zu Streetart)

Mit dem Streetartfinder liegt eine Web-Anwendung vor, die es ermöglicht Streetart-Bilder auf eine gemeinsame Plattform hochzuladen. Dabei werden Informationen zur Geolocation erfasst, welche es der Anwendung erlauben eine interaktive Karte der hochgeladenen Streetartbilder zu erstellen.

Streetart-Slideshow

Zusätzlich werden Informationen zum Uploader, zum Datum des Uploads sowie zur Streetart-Kategorie gespeichert. Zu diesen Kategorien gehören Graffiti, Stencil, Painting, Paste-Up, Installation und Sonstiges. Ziel ist der Aufbau einer umfangreichen digitalen Ressource zum Thema „Streetart“, welche in Folgestudien mit kunsthistorischen, soziologischen und kulturwissenschaftlichen Ansätzen näher untersucht werden können.


Webseite: http://streetartfinder.de/
Artikel bei kult: http://www.kult.de/neu-in-regensburg/kleine-kunstwerke-sichtbar-machen/150/11/1030914/
Facebook: https://www.facebook.com/streetartfinder

Publikation (Poster DHd 2015): „StreetartFinder – Eine Datenbank zur Dokumentation von Kunst im urbanen Raum“ (Download Poster + Extended Abstract)

To See or Not to See – Visualisierung und Analyse von Shakespeare-Dramen

„To See or Not to See“ ist ein web-basiertes Interface, welches die Visualisierung und Analyse quantitativer Aspekte aus Shakespeare-Dramen erlaubt. Die Datengrundlage stellen dabei Texte aus der Folger Digital Library, welche vollständig mit strukturellem TEI-Markup versehen sind, dar. Das Interface visualisiert dabei grundlegend welcher Character was und wieviel zu einem bestimmten Zeitpunkt im Stück sagt.

Shakespeare-Slideshow

Tool-Demo: http://www.thomaswilhelm.eu/shakespeare/

Publikation: Wilhelm, T., Burghardt, M., & Wolff, C. (2013). „To See or Not to See“ – An Interactive Tool for the Visualization and Analysis of Shakespeare Plays. In Franken-Wendelstorf, R., Lindinger, E., & Sieck, J. (eds.) Kultur und Informatik: Visual Worlds & Interactive Spaces. Verlag Werner Hülsbusch, Glückstadt, S. 175-185. (PDF)