Kategorie: Tools

DATeCH 2017: Crowdsourced Transcription of Handwritten Music Scores

Author: Manuel Burghardt

I am currently attending the DATeCH 2017 conference in Göttingen, which is fully packed with interesting talks on „Digital Access to Textual Cultural Heritage“. The venue is right in the heart of the „Niedersächsische Staats- und Universitätsbibliothek Göttingen“, which is quite a decent place for a conference 🙂

Talk: Crowdsourced Transcription of Handwritten Music Scores

I will be presenting a research project that was created together with Sebastian Spanner.

Allegro: User-centered Design of a Tool for the Crowdsourced Transcription of Handwritten Music Scores

In this paper, we describe the challenge of transcribing a large corpus of handwritten music scores. We conducted an evaluation study of three existing optical music recognition (OMR) tools. The evaluation results indicate that OMR approaches do not work well for our corpus of highly heterogeneous, handwritten music scores. For this reason, we designed Allegro, a web-based crowdsourcing tool that can be used to transcribe scores. We relied on a user-centered design process throughout the development cycle of the application, to ensure a high level of usability. The interface was designed in a way it can be used intuitively, even by novices of musical notation. We describe the core features of Allegro and the basic transcription workflow. A first public beta test with 18 users shows that a crowdsourced transcription approach via the Allegro tool is a viable option for the encoding of our corpus of folk songs.

Related research from our group

Interesting tools mentioned in other DATeCH talks

*Gotta love those names 🙂

15th International Symposium of Information Science

The 15th International Symposium of Information Science (ISI) is taking place from March 13-15 at Humbold University in Berlin.

We are presenting a poster for „An Information System for the Analysis of
Color Distributions in MovieBarcodes“.

An Information System for the Analysis of Color Distributions in MovieBarcodes

Downloads:


Right after the official program of the ISI 2017 we will organize a „Satellite Workshop on the Relationship of Information Science and the Digital Humanities“. For more information please check out the workshop website: https://is-dh.tumblr.com/

Projektvorstellung auf der Journée créole 2017

Zusammen mit Dr. Evelyn Wiesinger und Dr. habil. Alexander M. Teixeira Kalkhoff aus der Romanistik, werde ich am 3. März 2017 in Regensburg auf der Journée créole ein aktuelles Projektvorhaben im Bereich der digitalen Aufbereitung und der quantitativen Analyse von Kreolsprachen – insbesondere des Créole guyanais – vorstellen.

Arbeitstitel des Vortrags/Projekts:

Digitale Aufbereitung eines Kreolkorpus: state of the art, Desiderata und technische Machbarkeit

Journée créole 2017

Ziele des Projekts

1. Überführung der MS Word-Korpusdatein in XML

Ausgangslage: Transkriptionen von Interviews mit Sprechern des Créole Guyanais wurden von Evelyn Wiesinger erstellt und liegen aktuell als MS Word-Dokumente vor.

creol corpus

Ziel: Informationsextraktion mithilfe regulärer Ausdrücke und Überführung in eine XML-Struktur

creol xml

2. Semi-automatische Glossierung der Korpusdaten

Mithilfe maschineller Lernansätze sollen anhand manuell generierter Trainingsdaten weitere Transkripte automatisiert mit Glossierungsinformationen (vgl. Leipzig Glossing Rules) annotiert werden.

creol glossing

3. Quantitative Analysen der textuellen Korpusdaten

Hier sollen Standardverfahren aus der Korpuslinguistik (Frequenzen, Konkordanzen, Kollokationen, etc.) zum Einsatz kommen.

4. Alignierung von Kreol-Audioaufnahmen und textueller Transkription

Die Alignierung von Audio und Text erfolgt zunächst mit den MAUS-Tools.

Audio Text Alignment

Im nächsten Schritt sollen in einem Web-Interface Audiospur und Transkription parallel dargestellt werden. Ein erster JavaScript-Prototyp für HTML/JS-Audio-Text-Alignierung wurde bereits vom Kollegen Alexander Bazo entwickelt: TranscriptPlayer.js

5. Web-Korpus-Interface zur Suche nach Schlüsselwörtern / Metadaten

Alle so erschlossenen Daten sollen am Ende in einem webbasierten Informationssystem mit integriertem Analyse-Dashboard und einer umfangreichen Suchfunktion verfügbar sein. Beispielhafte Suchanfragen, die mit dem System umgesetzt werden können:

  • Finde alle Sätze die aus mehr als 5 Wörtern bestehen und in denen ein frz. Wort vorkommt.
  • Finde alle Sätze von weiblichen Kreolsprecherinnen, in denen das Wort „mo“ vorkommt.

Das Ergebnis der Suchanfragen soll jeweils eine quantitative Analyse der Ergebnismenge sowie eine interaktive Darstellung der entsprechenden Text- und Audiodaten sein.

Verwandte Projekte und Literatur:

DHd 2017 in Bern

Auch in diesem Jahr ist die Regensburger Arbeitsgruppe Digital Humanities mit zwei Beiträgen auf der DHd vertreten, die erstmalig in der Schweiz stattfindet. Die DHd ist die größte Digital Humanities-Konferenz im deutschsprachigen Raum (ca. 300 Teilnehmer), und wird seit 2014 jährlich an unterschiedlichen Standorten abgehalten (2014: Passau, 2015: Graz, 2016: Leipzig, 2017: Bern).

Wir präsentieren zwei Posterbeiträge zu laufenden Digital Humanities-Projekten an der Universität Regensburg.

Den vollständigen Abstractband der Konferenz finden Sie hier als PDF-Download (33 MB).

1. Digitale Erschließung einer Sammlung von Volksliedern aus dem deutschsprachigen Raum

Dieser Beitrag beschreibt ein laufendes Projekt zur digitalen Erschließung einer großen Sammlung von Volksliedern aus dem deutschsprachigen Raum, mit dem Ziel diese später über ein öffentliches Informationssystem verfügbar zu machen. Im Poster werden Herausforderungen bei der digitalen Erschließung dieser Sammlung diskutiert. Konkret stellen wir die Ergebnisse einer OCR-Studie für die automatische Erkennung von Liedtexten sowie auch eine OMR-Studie für die Erfassung der monophonen, handschriftlichen Melodien vor. Es zeigt sich, dass OMR-Tools hier keine zufriedenstellenden Ergebnisse liefern können. Als alternativer Erschließungsansatz wurde deshalb ein webbasiertes Transkriptionstool für einen Crowdsourcing-Ansatz umgesetzt.

Allegro-Transkriptionstool: http://138.68.106.29/

liedblatt-poster_thumbnail

Downloads

  • Poster-Download über ResearchGate (PDF)
  • Paper-Download über ResearchGate (PDF)

2. PaLaFra: Entwicklung einer Annotationsumgebung für ein diachrones Korpus spätlateinischer und altfranzösischer Texte

Weiterhin stellen wir das DFG/ANR-geförderte Kooperationsprojekt PaLaFra (Vom Latein zum Französischen: Aufbau und Analyse eines digitalen Korpus spätlateinischer und altfranzösischer Texte) vor.

palafra-poster_thumbnail

Quelle Kartenausschnitt: Karte: MacKay, Angus. & Ditchburn, David. (1997). Atlas of medieval Europe. London ; New York: Routledge.

Downloads

  • Poster-Download über ResearchGate (PDF)
  • Paper-Download über ResearchGate (PDF)

 

 

DH Conference 2016: Music and Movie Analysis

krakow

Photo credit: Christian Wolff

This year, Kraków is the venue of the international Digital Humanities conference. The Media Informatics Group from Regensburg will present two projects on the computer-based analysis of music and movies.

The complete conference proceedings are available here: http://dh2016.adho.org/abstracts/

1. Computer-based Analysis of Movies

Beyond Shot Lengths – Using Language Data and Color Information as Additional Parameters for Quantitative Movie Analysis

Film studies make use of both, qualitative as well as quantitative methods. While there is a large variety of qualitative approaches to analyze movies, most quantitative attempts seem to be focused on the analysis of the length and frequency of a film’s shots. Cinemetrics been suggested as a term to describe these quantitative, shot-based approaches for analyzing movies. For a comprehensive overview of Cinemetrics-related research cf. the bibliography compiled by Mike Baxter. Cinemetrics is also the name of a large online database that contains information about shot lengths and frequencies for several thousand films.

In our  project we suggest to go „beyond shot lengths“, which means to enhance the existing, shot-focused approaches to quantitative movie analysis by considering additional parameters, such as language and color use.

color-subtitlesWe present a prototype that can be used to automatically extract and analyze these parameters from movies and that makes the results accessible in an interactive visualization.

Resources

2. Computer-based Analysis of Music

Tool-based Identification of Melodic Patterns in MusicXML Documents

Computer-based methods in musicology have been around at least since the 1980s. Typically, quantitative analyses of music rely on music information retrieval (MIR) systems, which can be used to search collections of songs according to different musicological parameters. There are many examples for existing MIR systems, all with specific strengths and weaknesses. Among the main downsides of such systems are:

  • Usability problems, i.e. tools are cumbersome to use, as they oftentimes only provide a command-line interface and also require some basic programming skills to utilize them; example: Humdrum
  • Restricted scope of querying, i.e. tools can only be used to search for musical incipits; examples: RISM, HymnQuest
  • Restricted song collection, i.e. tools can only be used for specific collections of music files; various examples of MIR tools for specific collections are described in Typke et al. (2005)

To make up for these existing downsides, we designed MusicXML Analyzer, a generic MIR system that allows for the analysis of arbitrary documents encoded in MusicXML format.

Frameworks used for MusiXML Analyzer

  • Laravel: PHP framework
  • jQuery: JavaScript framework
  • Bootstrap: CSS framework
  • D3.js: JavaScript library for visualization / diagrams
  • Typed.js: JavaScript library for status messages
  • Dropzone.js: JavaScript library for file upload
  • jsPDF: JavaScript library for PDF export
  • Vexflow: JavaScript library for the creation of virtual scores
  • Midi.js: JavaScript library for the creation of midi files

References

Typke, R., Wiering, F. and Veltkamp, R. C. (2005). A survey of music information retrieval systems. Proceedings of the 6th International Conference on Music Information Retrieval (ISMIR) 2005, pp. 153–160.

Resources

Katharsis – Ein Werkzeug für die quantitative Dramenanalyse

Von 7. – 8. Juni findet an der Universität Hamburg das Forum CA3 2016 statt, bei dem CLARIN-D seine „Angebote zum Auffinden, Auswerten und Aufbewahren von Sprachressourcen für die Forschung und Lehre in den Geistes- und Sozialwissenschaften vorstellt“. Neben einem spannenden Vortragsprogramm mit mehreren Keynotes wird es auch eine Hands-On Session zur Präsentation von digitalen Werkzeugen und Nutzerszenarien geben.

Wir stellen im Zuge dessen unseren Prototypen Katharsis vor, ein webbasiertes Tool zu quantitativen Analyse von Dramen.

katharsis-poster

Abstract (PDF):

Bibliographische Angaben: Manuel Burghardt, Katrin Dennerlein, Thomas Schmidt, Johanna Mühlenfeld & Christian Wolff (2016). Katharsis – Ein Werkzeug für die quantitative Dramenanalyse. CLARIN-D Forum CA3, 7.-8. Juni 2016, Hamburg.

Mit dem Begriff des „Distant Reading“ führt Moretti (2000) einen zentralen Begriff in den Digital Humanities ein, der zu einer anhaltenden Diskussion um quantitative Methoden in der Literatur- und Kulturwissenschaft führte. Vor diesem Hintergrund sind Dramen eine besonders interessante literarische Gattung, da sie neben dem eigentlichen Text weitere gut quantifizierbare Elemente, wie etwa ein abgeschlossenes Figureninventar sowie eine Akt-/Szenenstruktur, beinhalten. Dementsprechend finden sich frühe Belege für eine „mathematische Poetik“ (Marcus, 1970), welche interessante Ansätze für die quantitative Dramenanalyse beinhaltet. Ein zentraler Begriff ist hier die „Konfiguration“, welche im Wesentlichen die Menge aller Figurenkonstellationen innerhalb eines Stücks beschreibt. Eine typische Form der Visualisierung dafür ist die sogenannte Konfigurationsmatrix, welche das Auftreten aller Figuren in allen Szenen zusammenfassend darstellt und darüber hinaus die Berechnung einer Konfigurationsdichte als Indiz für die Populationsdichte innerhalb eines Dramas erlaubt. Auch viele Jahre nach Marcus sind quantitative Dramenanalyseansätze weiterhin populär, was u.a. durch aktuelle Digital Humanities-Projekte in diesem Bereich belegt wird (vgl. Ilsemann, 2013; Trilcke et al., 2015; Wilhelm et al. 2013).

Mit Katharsis präsentieren wir einen Prototypen, mit dem es möglich ist ein Korpus aus ca. 100 deutschen Dramen (verfügbar über das TextGrid-Repository: https://textgridrep.org/) automatisch anhand ihrer Konfigurationen zu analysieren und die Ergebnisse in einer interaktiven Webschnittstelle darzustellen. Im Ergebnis können so beliebige Dramen ausgegeben und anhand quantitativer Parameter, wie etwa der Anzahl der Akte, der Figuren, der Konfigurationsdichte, der Replikenzahl und der Replikenlänge, verglichen werden (vgl. Abb. 1 und Abb. 2). Zusätzlich kann jedes Drama mit entsprechenden Detailanalysen in Form einer interaktiven Konfigurationsmatrix dargestellt werden (vgl. Abb. 3). Erste Fallstudien mit dem Katharsis-Prototypen wurden bereits erfolgreich durchgeführt (Dennerlein, 2015).

katharsis-1Abb. 1: Quantitative Informationen für alle Dramen Friedrich Schillers (innerhalb des Katharsis-Korpus).

katharsis-2Abb. 2: Vergleichende Analyse für alle Dramen im Katharsis-Korpus.

katharsis-3Abb. 3: Ausschnitt aus der interaktiven Konfigurationsmatrix für Schillers Stück “Maria Stuart”.

Bibliographie

LREC 2016

Die 10. internationale Konferenz „Language Resources and Evaluation“ (LREC) findet in diesem Jahr von 23. – 28. Mai in Portorož (Slowenien) statt. Wie Nicoletta Calzolari (Conference Chair) in ihrer Eröffnung anmerkte, ist die LREC laut Google Scholar-Ranking nach ACL, EMNLP und NAACL die wichtigste Konferenz im Bereich Computational Linguistics. Weiterhin wurden einigen interessante Auswertungen zu den LREC 2016-Einreichungen gezeigt: So sind die in den Beiträgen mit Abstand am häufigsten beschriebenen linguistischen Resourcen Korpora und Lexika sowie auch Tagger/Parser, Treebanks, Evaluationsdatensätze, generische Software Toolkits, Annotationstools, Korpustools, Ontologien u.v.m. Über 3/4 der Ressourcen beschäftigt sich mit geschriebener Sprache, der Rest mit gesprochener Sprache, Zeichensprache oder mit multimodalen Sprachdaten.

Aus Regensburg wurde auf der LREC 2016 ein Beitrag zur Erstellung eines Dialektlexikons des Bayerischen mithilfe von Facebookgruppen präsentiert. Dabei werden die Daten automatisiert aus einer offenen Facebookgruppe, die hauptsächlich in Dialekt schreibt, extrahiert. Im nächsten Schritt übersetzen die Mitglieder dieser Gruppe mithilfe eines selbst entwickelten Crowdsourcingtools die häufigsten Dialektwörter. Der Foliensatz zum Vortrag findet sich hier:

LREC-2016-Slides-Frontpage

Der entsprechende Artikel ist über die LREC-Proceedings frei verfügbar: http://www.lrec-conf.org/proceedings/lrec2016/pdf/820_Paper.pdf

Abstract: Data acquisition in dialectology is typically a tedious task, as dialect samples of spoken language have to be collected via questionnaires or interviews. In this article, we suggest to use the “web as a corpus” approach for dialectology. We present a case study that demonstrates how authentic language data for the Bavarian dialect (ISO 639-3:bar) can be collected automatically from the social network Facebook. We also show that Facebook can be used effectively as a crowdsourcing platform, where users are willing to translate dialect words collaboratively in order to create a common lexicon of their Bavarian dialect. Key insights from the case study are summarized as “lessons learned”, together with suggestions for future enhancements of the lexicon creation approach.

Auch das Thema „Digital Humanities“ scheint auf der LREC zunehmend an Bedeutung zu gewinnen, was sich u.a. an einer eigenen DH-Session mit den folgenden Themen zeigt:

Weitere Dialekt-Ressourcen im Web: