Kategorie: Visualisierung

INFORMATIK 2017: Music Information Retrieval für deutschsprachige Volkslieder

Die 47. Jahrestagung der Gesellschaft für Informatik (GI) in Chemnitz findet in diesem Jahr unter dem Motto „Digitale Kulturen“ statt. Auch das Thema Digital Humanities wird dabei aufgegriffen, bspw. in einem dedizierten Workshop zum Thema Modellierungsfragen in den Digitalen Geisteswissenschaften. Darüber hinaus wird in weiteren thematischen Workshops der Einsatz von informatischen Methoden in anderen Disziplinen thematisiert, etwa im Workshop Musik trifft Informatik. Im Rahmen der letztgenannten Veranstaltung wurde aus Regensburg ein Beitrag vorgestellt:

  • Lamm, L. & Burghardt, M. (2017). Entwicklung eines Music Information Retrieval-Tools zur Melodic Similarity-Analyse deutschsprachiger Volkslieder. In Eibl, M. & Gaedke, M. (Hrsg.): INFORMATIK 2017, Lecture Notes in Informatics (LNI), Gesellschaft für Informatik, Bonn 2017.

Abstract: Wir präsentieren einen Beitrag zum Einsatz computergestützter Methoden für die quantitative Untersuchung einer großen Sammlung symbolisch repräsentierter Melodien deutschsprachiger Volkslieder. Im Zuge dessen wurde ein Music Information Retrieval-Tool (MIR) konzipiert, mit dem gezielt nach Liedblättern anhand bestimmter Metainformationen (z.B. Jahr, Sangesort, etc.), bestimmter Wörter in den Liedtexten oder bestimmter Sequenzen innerhalb der monophonen Melodien gesucht werden kann. Darüber hinaus kann mit dem MIR-Tool untersucht werden, ob es bspw. wiederkehrende Muster oder melodische Universalien in deutschsprachigen Volksliedern gibt. Insgesamt stehen drei Repräsentationsebenen für Suchanfragen zur Verfügung: Die Suche nach konkreten Melodiefragmenten (Tonhöhe / Tondauer), die Suche nach Intervallfolgen und die Suche nach abstrakten Melodiekonturen im Parsons-Code. Eine zentrale Herausforderung für die Umsetzung eines solchen MIR-Tools mit mehreren Repräsentationsebenen ist die Wahl einer geeigneten melodic similarity-Komponente. Wir beschreiben die Implementierung verschiedener edit distance-basierter Ansätze und präsentieren die Ergebnisse einer Evaluationsstudie für die unterschiedlichen Implementierungen. Alle Algorithmen und Converter wurden als generische Toolbox umgesetzt und stehen unter der MIT open source-Lizenz für die Nachnutzung zur freien Verfügung.

Keywords: music information retrieval, melodic similarity, edit distance, ngrams

Live-Demo und Demovideo des Tools zur Regensburger Liedblattanalyse:


Weitere Ressourcen aus dem Projektkontext:

Poster:

Weitere MIR-Systeme:

Advertisements

DH Conference 2016: Music and Movie Analysis

krakow

Photo credit: Christian Wolff

This year, Kraków is the venue of the international Digital Humanities conference. The Media Informatics Group from Regensburg will present two projects on the computer-based analysis of music and movies.

The complete conference proceedings are available here: http://dh2016.adho.org/abstracts/

1. Computer-based Analysis of Movies

Beyond Shot Lengths – Using Language Data and Color Information as Additional Parameters for Quantitative Movie Analysis

Film studies make use of both, qualitative as well as quantitative methods. While there is a large variety of qualitative approaches to analyze movies, most quantitative attempts seem to be focused on the analysis of the length and frequency of a film’s shots. Cinemetrics been suggested as a term to describe these quantitative, shot-based approaches for analyzing movies. For a comprehensive overview of Cinemetrics-related research cf. the bibliography compiled by Mike Baxter. Cinemetrics is also the name of a large online database that contains information about shot lengths and frequencies for several thousand films.

In our  project we suggest to go „beyond shot lengths“, which means to enhance the existing, shot-focused approaches to quantitative movie analysis by considering additional parameters, such as language and color use.

color-subtitlesWe present a prototype that can be used to automatically extract and analyze these parameters from movies and that makes the results accessible in an interactive visualization.

Resources

2. Computer-based Analysis of Music

Tool-based Identification of Melodic Patterns in MusicXML Documents

Computer-based methods in musicology have been around at least since the 1980s. Typically, quantitative analyses of music rely on music information retrieval (MIR) systems, which can be used to search collections of songs according to different musicological parameters. There are many examples for existing MIR systems, all with specific strengths and weaknesses. Among the main downsides of such systems are:

  • Usability problems, i.e. tools are cumbersome to use, as they oftentimes only provide a command-line interface and also require some basic programming skills to utilize them; example: Humdrum
  • Restricted scope of querying, i.e. tools can only be used to search for musical incipits; examples: RISM, HymnQuest
  • Restricted song collection, i.e. tools can only be used for specific collections of music files; various examples of MIR tools for specific collections are described in Typke et al. (2005)

To make up for these existing downsides, we designed MusicXML Analyzer, a generic MIR system that allows for the analysis of arbitrary documents encoded in MusicXML format.

Frameworks used for MusiXML Analyzer

  • Laravel: PHP framework
  • jQuery: JavaScript framework
  • Bootstrap: CSS framework
  • D3.js: JavaScript library for visualization / diagrams
  • Typed.js: JavaScript library for status messages
  • Dropzone.js: JavaScript library for file upload
  • jsPDF: JavaScript library for PDF export
  • Vexflow: JavaScript library for the creation of virtual scores
  • Midi.js: JavaScript library for the creation of midi files

References

Typke, R., Wiering, F. and Veltkamp, R. C. (2005). A survey of music information retrieval systems. Proceedings of the 6th International Conference on Music Information Retrieval (ISMIR) 2005, pp. 153–160.

Resources

Katharsis – Ein Werkzeug für die quantitative Dramenanalyse

Von 7. – 8. Juni findet an der Universität Hamburg das Forum CA3 2016 statt, bei dem CLARIN-D seine „Angebote zum Auffinden, Auswerten und Aufbewahren von Sprachressourcen für die Forschung und Lehre in den Geistes- und Sozialwissenschaften vorstellt“. Neben einem spannenden Vortragsprogramm mit mehreren Keynotes wird es auch eine Hands-On Session zur Präsentation von digitalen Werkzeugen und Nutzerszenarien geben.

Wir stellen im Zuge dessen unseren Prototypen Katharsis vor, ein webbasiertes Tool zu quantitativen Analyse von Dramen.

katharsis-poster

Abstract (PDF):

Bibliographische Angaben: Manuel Burghardt, Katrin Dennerlein, Thomas Schmidt, Johanna Mühlenfeld & Christian Wolff (2016). Katharsis – Ein Werkzeug für die quantitative Dramenanalyse. CLARIN-D Forum CA3, 7.-8. Juni 2016, Hamburg.

Mit dem Begriff des „Distant Reading“ führt Moretti (2000) einen zentralen Begriff in den Digital Humanities ein, der zu einer anhaltenden Diskussion um quantitative Methoden in der Literatur- und Kulturwissenschaft führte. Vor diesem Hintergrund sind Dramen eine besonders interessante literarische Gattung, da sie neben dem eigentlichen Text weitere gut quantifizierbare Elemente, wie etwa ein abgeschlossenes Figureninventar sowie eine Akt-/Szenenstruktur, beinhalten. Dementsprechend finden sich frühe Belege für eine „mathematische Poetik“ (Marcus, 1970), welche interessante Ansätze für die quantitative Dramenanalyse beinhaltet. Ein zentraler Begriff ist hier die „Konfiguration“, welche im Wesentlichen die Menge aller Figurenkonstellationen innerhalb eines Stücks beschreibt. Eine typische Form der Visualisierung dafür ist die sogenannte Konfigurationsmatrix, welche das Auftreten aller Figuren in allen Szenen zusammenfassend darstellt und darüber hinaus die Berechnung einer Konfigurationsdichte als Indiz für die Populationsdichte innerhalb eines Dramas erlaubt. Auch viele Jahre nach Marcus sind quantitative Dramenanalyseansätze weiterhin populär, was u.a. durch aktuelle Digital Humanities-Projekte in diesem Bereich belegt wird (vgl. Ilsemann, 2013; Trilcke et al., 2015; Wilhelm et al. 2013).

Mit Katharsis präsentieren wir einen Prototypen, mit dem es möglich ist ein Korpus aus ca. 100 deutschen Dramen (verfügbar über das TextGrid-Repository: https://textgridrep.org/) automatisch anhand ihrer Konfigurationen zu analysieren und die Ergebnisse in einer interaktiven Webschnittstelle darzustellen. Im Ergebnis können so beliebige Dramen ausgegeben und anhand quantitativer Parameter, wie etwa der Anzahl der Akte, der Figuren, der Konfigurationsdichte, der Replikenzahl und der Replikenlänge, verglichen werden (vgl. Abb. 1 und Abb. 2). Zusätzlich kann jedes Drama mit entsprechenden Detailanalysen in Form einer interaktiven Konfigurationsmatrix dargestellt werden (vgl. Abb. 3). Erste Fallstudien mit dem Katharsis-Prototypen wurden bereits erfolgreich durchgeführt (Dennerlein, 2015).

katharsis-1Abb. 1: Quantitative Informationen für alle Dramen Friedrich Schillers (innerhalb des Katharsis-Korpus).

katharsis-2Abb. 2: Vergleichende Analyse für alle Dramen im Katharsis-Korpus.

katharsis-3Abb. 3: Ausschnitt aus der interaktiven Konfigurationsmatrix für Schillers Stück “Maria Stuart”.

Bibliographie

Workshop zur computer-basierten Dramenanalyse

Von 12.-13. März fand in München, an der Bayerischen Akademie der Wissenschaften, ein Workshop statt, der sich ganz der computer-basierten, quantitativen Analyse von Dramen widmete. Den offiziellen Workshop-Call finden Sie hier. Nach einer Einführung in den aktuellen Stand und die Geschichte quantitativer Dramenanalyse durch die Workshopveranstalterin Katrin Dennerlein (Uni Würzburg), folgten eine ganze Reihe von spannenden Vorträgen, die sowohl neue Ressourcen als auch eigene Analysestudien und Tools thematisierten.

Workshop Schedule

Ein weiteres Highlight war unter anderem auch die Anwesenheit von Franco Moretti, der am Stanford Literary Lab zahlreiche spannende DH-Projekte leitet, und vor allem durch sein Konzept des „Distant Reading“ Bekanntheit über die Grenzen der Digital Humanities hinaus erlangte.

Der Regensburger Beitrag von Manuel Burghardt und Thomas Wilhelm päsentierte ein Shakespeare-Visualisierungstool. Darüber hinaus wurde ein neues, gerade entstehendes Kooperationsprojekt mit Katrin Dennerlein vorgestellt, welches flexibler angelegt ist, und versucht Dramen aus dem TextGrid-Repository quantitativ zu analysieren, und die Ergebnisse dieser Analyse interaktiv in einem einfach zu bedienenden Web-Interface für Geisteswissenschaftler verfügbar zu machen. Dabei werden insbesondere quantitative Aspekte wie die Konfigurationsdichte sowie auch die Replikenlänge und Replikenanzahl von Dramentexten berücksichtigt. Den Foliensatz zum Vortrag finden Sie hier.

Foliensatz "Tools für die quantitative Dramenanalyse"

Foliensatz „Tools für die quantitative Dramenanalyse“

Interessante Tools und Ressourcen

Tools und Methoden zur quantitativen Dramenanalyse

Impressionen vom Symposium „Visual Linguistics“

View all the data – view all the combinations – view all the angles – use all the techniques! Keep looking for any kind of pattern in the data! (Mark Richard Lauersdorf, Keynote speech at „Visual Linguistics Symposium“, November 19, 2014)

Visual Linguistics SymposiumVon 19. – 21.11.2014 fand ein Symposium auf Schloss Herrenhausen in Hannover statt, dass sich ganz dem Thema  „Visualisierung im sprachwissenschaftlichen Kontext“ widmete. Dabei wurden auch zwei Beiträge aus der Regensburger Medieninformatik vorgestellt: Thomas Wilhelm berichtete über eine Weiterentwicklung seines interaktiven Tools zu Visualisierung von Shakespeare-Dramen (mehr Informationen). Manuel Burghardt präsentierte Ergebnisse aus einer umfangreichen Evaluationsstudie zur Usability von linguistischen Annotationswerkzeugen, und ging dabei vor allem auf die Rolle von unterschiedlichen Visualisierungsmöglichkeiten ein.

Neben vielen spannenden Beiträgen von Teilnehmern aus Mannheim, Dresden, München, Moskau, Athen, und anderen Standorten, war ein besonderes Highlight die Keynote von Maximilian Schich (UT Dallas), der seinen Science-Artikel (August 2014, Vol. 345 no. 6196, pp. 558-562) „A network framework of cultural history“ vorstellte. Im Kern geht es dabei um die diachrone Visualisierung von Geburts- und Sterbeorten bekannter Persönlichkeiten.

Das vollständige Programm zu „Visual Linguistics“ finden Sie hier. Es folgt ein Überblick über einige interessante Tools und Projekte, die im Rahmen des Symposiums vorgestellt wurden:

Tools

Ressourcen

Videos / Blogs

Regensburger Beiträge auf der KONVENS 2014

Auf der diesjährigen Konvens stellen wir zwei Digital Humanities-Projekte aus Regensburg vor: Sentilyzer und WebNLP.

Sentilyzer

Sentilyzer ist ein web-basiertes Tool zur Sentimentanalyse von deutschsprachigen Nutzerkommentaren zu Facebook-Seiten. Das Tools sammelt die Kommentare über die Facebook Graph API und benutzt den TreeTagger, um die Daten zu lemmatisieren. Die so lemmatisierten Daten werden dann anhand des Sentiment-Lexikons „Berlin Affective Word List – Reloaded“ (BAWL-R) analysiert und interaktiv im Browser visualisiert. Das Tool wurde bereits erfolgreich in einer Fallstudie zur Analyse von Facebook-Kommentaren zur TV-Show „Ich bin ein Star – Holt mich hier raus“ eingesetzt.

Sentilyzer: Darstellung der Sentiment Scores zur Dschungelcamp-Kandidatin Larissa Marolt entlang der Zeitachse.

Sentilyzer: Darstellung der Sentiment Scores zur Dschungelcamp-Kandidatin “Larissa Marolt” entlang der Zeitachse.

Tool-Demo: http://dh.wappdesign.net/timeline/14
Poster als PDF via ResearchGate
Publikation: Glücker, H., Burghardt, M., & Wolff, C. (2014) Sentilyzer – A Mashup Application for the Sentiment Analysis of Facebook Pages. In Ruppenhofer, J. & Faaß, G. (eds.). Workshop proceedings of the 12th edition of the KONVENS conference, S. 58 – 61. (PDF)


WebNLP

WebNLP erlaubt es über eine Web-Schnittstelle NLP-Funktionen des Python NLTK zu nutzen, und die Ergebnisse direkt im Browser darzustellen. Die Visualisierung der Ergebnisse erfolgt durch den Web-Dienst Voyant. Zudem können die Ergebnisse zur weiteren Analyse als Text- oder XML-Datei heruntergeladen werden. WebNLP macht über seine grafische Web-Schnittstelle NLP-Funktionen für ein breiteres Publikum zugänglich, und kann somit als Beitrag in Richtung Humanist-Computer Interaction gesehen werden. In der aktuellen Fassung unterstützt WebNLP als grundlegende Funktionen Tokenisierung, POS-Tagging und Lemmatisierung für englisch-sprachige Texte. Die Architektur des Tools ist allerdings so modular angelegt, dass weitere NLP-Funktionen und weitere Sprachen sukzessive ergänzt werden können.

WebNLP

Tool-Demo: http://dh.mi.ur.de/
Poster als PDF via ResearchGate
Publikation: Burghardt, M., Pörsch, J., Tirlea, B., & Wolff, C. (2014) WebNLP – An Integrated Web-Interface for Python NLTK and Voyant. In Ruppenhofer, J. & Faaß, G. (eds.). Proceedings of the 12th edition of the KONVENS conference, S. 235 – 240. (PDF)

To See or Not to See – Visualisierung und Analyse von Shakespeare-Dramen

„To See or Not to See“ ist ein web-basiertes Interface, welches die Visualisierung und Analyse quantitativer Aspekte aus Shakespeare-Dramen erlaubt. Die Datengrundlage stellen dabei Texte aus der Folger Digital Library, welche vollständig mit strukturellem TEI-Markup versehen sind, dar. Das Interface visualisiert dabei grundlegend welcher Character was und wieviel zu einem bestimmten Zeitpunkt im Stück sagt.

Shakespeare-Slideshow

Tool-Demo: http://www.thomaswilhelm.eu/shakespeare/

Publikation: Wilhelm, T., Burghardt, M., & Wolff, C. (2013). „To See or Not to See“ – An Interactive Tool for the Visualization and Analysis of Shakespeare Plays. In Franken-Wendelstorf, R., Lindinger, E., & Sieck, J. (eds.) Kultur und Informatik: Visual Worlds & Interactive Spaces. Verlag Werner Hülsbusch, Glückstadt, S. 175-185. (PDF)