Kategorie: Tools

Vortrag: „More Than Words – Computergestützte Erschließungsstrategien und Analyseansätze für handschriftliche Liedblätter“

Manuel Burghardt

Vortrag im Rahmen des DH-Kolloquiums der Berlin-Brandenburgischen Akademie der Wissenschaften

Abstract

Unter dem Schlagwort Digital Humanities wird gemeinhin der Einsatz digitaler Ressourcen und computergestützter Methoden in den Geisteswissenschaften zusammengefasst. Vor dem Hintergrund bestehender Methoden im Bereich der Korpus- und Computerlinguistik liegt hier bislang ein starker Fokus auf textbasierten Wissenschaften (vgl. etwa das Konzept des Distant Reading). In zunehmendem Maße rücken in den Digital Humanities nun aber auch andere geisteswissenschaftliche Disziplinen in den Fokus computergestützter Modellierungs- und Analyseversuche, etwa im Bereich der Kunstgeschichte (Bild), der Filmwissenschaft (Film) und der Musikwissenschaft (Musik). Entsprechend ist der Vortrag im Schnittfeld von Digital Humanities und Musikwissenschaft zu verorten. Dabei sollen anhand eines konkreten Projekts zur Digitalisierung einer großen Sammlung handschriftlicher Liedblätter grundlegende Möglichkeiten und Methoden zu Erschließung, Repräsentation und Analyse von notierter Musik aufgezeigt werden. Wenngleich an vielen Stellen Parallelen zu Methoden und Verfahren aus den textbasierten Geisteswissenschaften offenkundig werden, so wird doch auch deutlich, dass es sich bei „Notentext“ um mehr als nur Wörter handelt und sich somit einige Besonderheiten und Herausforderungen bei der Digitalisierung ergeben.

Zum Thema Erschließung werden im Rahmen des Vortrags zunächst bestehende Tools aus dem Bereich der optical music recognition (OMR) vorgestellt, die allerdings für handschriftlich notierte Musik nur begrenzt einsetzbar ist (Burghardt et al., 2017). Als Alternative wird ein Crowdsourcing-Ansatz zur Transkription der Melodien vorgestellt (Meier et al., 2015; Burghardt & Spanner, 2017). Weiterhin zeigt der Vortrag unterschiedliche Ebenen der Repräsentation von Melodien auf, bspw. als exakt notierte Melodie, als Abfolge von Intervallen oder als abstrakte Melodiekontur (Parsons Code). Außerdem werden bestehende Speicherformate für die Repräsentation von Musikinformation (bspw. MusicXML und MEI) vorgestellt und diskutiert. Im letzten Teil des Vortrags werden schließlich grundlegende Möglichkeiten der computergestützten Analyse digitalisierter Musikdaten aufgezeigt und dabei grundlegende Konzepte des music information retrieval, insbesondere der melodic similarity, eingeführt (Burghardt et al., 2015; Burghardt et al., 2016; Burghardt & Lamm, 2017). Darüber hinaus soll aufgezeigt werden, welche neuartigen Fragestellungen durch computergestützte Ansätze in der Musikwissenschaft bearbeitet werden können.

Literatur

  • Burghardt, M., & Lamm, L. (2017). Entwicklung eines Music Information Retrieval-Tools zur Melodic Similarity-Analyse deutsch-sprachiger Volkslieder. In M. Eibl & M. Gaedke (Eds.), INFORMATIK 2017, Lecture Notes in Informatics (LNI), Gesellschaft für Informatik – Workshop „Musik trifft Informatik“ (pp. 15–27). Bonn: Springer.
  • Burghardt, M., & Spanner, S. (2017). Allegro: User-centered Design of a Tool for the Crowdsourced Transcription of Handwritten Music Scores. In Proceedings of the DATeCH (Digital Access to Textual Cultural Heritage) conference. ACM.
  • Burghardt, M., Spanner, S., Schmidt, T., Fuchs, F., Buchhop, K., Nickl, M., & Wolff, C. (2017). Digitale Erschließung einer Sammlung von Volksliedern aus dem deutschsprachigen Raum. In Book of Abstracts, DHd 2017.
  • Burghardt, M., Lamm, L., Lechler, D., Schneider, M., & Semmelmann, T. (2016). Tool‑based Identification of Melodic Patterns in MusicXML Documents. In Book of Abstracts of the International Digital Humanities Conference (DH).
  • Burghardt, M., Lamm, L., Lechler, D., Schneider, M., & Semmelman, T. (2015). MusicXML Analyzer – Ein Analysewerkzeug für die computergestützte Identifikation von Melodie-Patterns. In Proceedings des 9. Hildesheimer Evaluierungs- und Retrievalworkshop (HiER 2015) (pp. 29–42).
  • Meier, F., Bazo, A., Burghardt, M., & Wolff, C. (2015). A Crowdsourced Encoding Approach for Handwritten Sheet Music. In J. Roland, Perry; Kepper (Ed.), Music Encoding Conference Proceedings 2013 and 2014 (pp. 127–130).

Vortrag und Ressourcen

„More than Words“ – vom Text zur Musik

Franco Morettis Konzept des „Distant Reading“ ist eine zentrale Metapher in den Digital Humanities, die sich mittlerweile auf viele weitere Bereiche ausgedehnt hat, bspw.

Ansätze zu „Distant Hearing„, also computergestützter Analyse von Musikdaten, sind bislang in der Digital Humanities-Community noch relativ selten, dafür aber im Informatikbereich unter dem Schlagwort Music Information Retrieval (MIR) schon seit vielen Jahren etabliert. Eine zentrale Organisation und gleichlautende Konferenz ist dabei die ISMIR (International Society for Music Information Retrieval).

Grundsätzlich unterscheidet man im MIR zwischen Ansätzen im Bereich der Signalverarbeitung (Audio) und der Symbolverarbeitung (Noten).

Der Vortrag fokussiert auf symbolische Musik, also Notenblätter. Konkret werden Herausforderungen und Besonderheiten („notes are more than words“) bei der computergestützten Erschließung, Modellierung und Analyse anhand der Regensburger Liedblattsammlung aufgezeigt.

Fallstudie: Regensburger Liedblattsammlung

Es handelt sich bei diesem Projekt um eine Kooperation mit der Universitätsbibliothek Regensburg, die im Besitz einer – was Umfang und Abdeckung angeht – einzigartigen Liedblattsammlung deutschsprachiger Volkslieder ist.

Die ca. 140.000 Liedblätter enthalten handschriftliche, monophone Melodien, meist mit Schreibmaschine getippte Liedtexte sowie diverse Metadaten wie etwa Archivort, Jahr und Liedblattnummer.

Weiterführende Informationen zur Liedblattsammlung:

  • Krüger, G. (2013). Das „Regensburger Volksmusik-Portal“ der Universitätsbibliothek Regensburg. Bestände – Problematiken – Perspektiven. Zwischenbericht aus einem Erschließungsprojekt. In E. R. Mohrmann (Ed.), Audioarchive – Tondokumente digitalisieren, erschließen und auswerten (p. 119–131). Münster et al.: Waxmann Verlag.

(I) Maschinenlesbare Erschließung / Digitalisierung

Übersicht zu Optical Music Recognition (OMR) Tools: http://homes.soic.indiana.edu/donbyrd/OMRSystemsTable.html

Aktuelle OMR-Tools:

Bestehende Sammlung mit Scans:

Bestehende Sammlungen mit transkribierter Musik:

Leider funktioniert OMR bei handschriftlichen Notenblättern nur sehr schlecht:

OMR for handwritten scores as a major unresolved problem (Müller, 2007)

Diese Einschätzung bestätigte sich auch durch die Evaluation von drei bestehenden OMR-Tools für die Regensburger Liedblattsammlung. Evaluationsdesign angelehnt an Bellini, Bruno & Nesi (2007). Durchschnittliche Erkennungsraten: Photoscore (36%), CapellaScan (8%) und SharpEye (4%).

Nähere Informationen zur Evaluationsstudie:

  • Burghardt, M., Spanner, S., Schmidt, T., Fuchs, F., Buchhop, K., Nickl, M., and Wolff, C. (2017). Digitale Erschließung einer Sammlung von Volksliedern aus dem deutschsprachigen Raum. In Book of Abstracts, DHd 2017.

Da OMR wegen der schlechten Ergebnisse nicht in Frage kommt, wird Crowdsourcing als alternative Erschließungsstrategie gewählt, denn Transkription zählt nach Oomen & Aroyo (2011) zu den typischen Anwendungsgebieten von Crowdsourcing:

  • Contextualization
  • Complementing collections
  • Classification
  • Co-curation
  • Crowdfunding
  • Correction and transcription

Bestehende Tools zur Transkription, die aber allesamt nicht für einen Remote-Crowdsourcing-Ansatz geeignet sind.

Name Type Source
Flat.io Web https://flat.io/
Noteflight Web https://www.noteflight.com
Sibelius Desktop http://www.avid.com/en/sibelius
MuseScore Desktop https://musescore.org/

Allegro

Entwicklung eines eigenen Crowdsourcing-Tools namens Allegro, welches die folgenden Anforderungen erfüllt:

  • webbasiert (HTML / JavaScript) und parallel von mehreren Transkriptoren benutzbar
  • einfach zu bedienen (entwickelt mithilfe eines systematischen UCD-Ansatzes), so intuitiv, dass es auch für Musik-Laien möglich ist Teanskriptionen zu erstellen

Nähere Informationen zu Allegro in:

  • Burghardt, M., & Spanner, S. (2017). Allegro: User-centered Design of a Tool for the Crowdsourced Transcription of Handwritten Music Scores. In Proceedings of the DATeCH (Digital Access to Textual Cultural Heritage) conference. ACM.

OMR-Literatur

  • Bainbridge, D. and Bell, T. (2001). The challenge of optical music recognition. In Computers and the Humanities, 35, p. 95–121.
  • Bellini, P., Bruno, I., and Nesi, P. (2007). Assessing optical music recognition tools. In Computer Music Journal, 31(1), 68–93.
  • Grachten, M., Arcos, J. L., and de Mántaras, R. L. (2002). A comparison of different approaches to melodic similarity. In Proceedings of the 2nd International Conference in Music and Artificial Intelligence (ICMAI).
  • Homenda, W. and Luckner, M. (2006). Automatic Knowledge Acquisition: Recognizing Music Notation with Methods of Centroids and Classifications Trees. In Proceedings of the IEEE International Joint Conference on Neural Network, p. 6414–6420.
  • Raphael, C. and Wang, J. (2011). New Approaches to Optical Music Recognition. In Proceedings of the 12th International Society for Music Information Retrieval Conference (ISMIR), p. 305–310.
  • Rebelo, A., Capela, G., and Cardoso, J. S. (2010). Optical recognition of music symbols. In International Journal on Document Analysis and Recognition, 13, 19–31.
  • Müller, M. (2007). Information Retrieval for Music and Motion. Berlin: Springer.

Crowdsourcing-Literatur

  • Causer, T. and Wallace, V. (2012). Building A Volunteer Community: Results and Findings from Transcribe Bentham. In Digital Humanities Quarterly, 6(2).
  • Dunn, S. and Hedges, M. (2013). Crowd-sourcing as a Component of Humanities Research Infrastructures. In International Journal of Humanities and Arts Computing, 7(1-2), 147-169.
  • Fornés, A., Lladós, J., Mas, J., Pujades, J. M. and Cabré, A. (2014). A Bimodal Crowdsourcing Platform for Demographic Historical Manuscripts. In Proceedings of the First International Conference on Digital Access to Textual Cultural Heritage, p. 103–108.
  • Holley, R. (2010). Crowdsourcing: How and why should libraries do it? D-Lib Magazine, 16(3-4).
  • Howe, J. (2006). The Rise of Crowdsourcing. Wired 14(6). Retrieved from http://archive.wired.com/wired/archive/14.06/crowds.html
  • Ipeirotis, P. G. and Gabrilovich, E. (2014). Quizz: Targeted Crowdsourcing with a Billion (Potential) Users. In Proceedings of the 23rd International Conference on World Wide Web, p.143–154.
  • Lee, T. Y., Dugan, C., Geyer, W., Ratchford, T., Rasmussen, J., Shami, N. S. and Lupushor, S. (2013). Experiments on motivational feedback for crowdsourced workers. In Proceedings of the 7th International Conference on Weblogs and Social Media (ICWSM), p. 341–350.
  • Morschheuser, B., Hamari, J. and Koivisto, J. (2016). Gamification in crowdsourcing: A review. In Proceedings of the 49th Annual Hawaii International Conference on System Sciences, p. 4375–4384.
  • Mühlberger, G., Zelger, J. and Sagmeister, D. (2014). User-Driven Correction of OCR Errors: Combining Crowdsourcing and Information Retrieval Technology. In Proceedings of the First International Conference on
  • Oomen, J. and Aroyo, L. (2011). Crowdsourcing in the Cultural Heritage Domain: Opportunities and Challenges. In Proceedings of the 5th International Conference on Communities and Technologies, p. 138–149.

(II) Modellierung und formale Repräsentation

Encoding-Formate

(III) Computergestützte Analyse

Music Information Retrieval-Definition (Downie, 2004)

Music Information Retrieval (MIR) is a multidisciplinary research endeavor that strives to develop innovative content-based searching schemes, novel interfaces, and evolving networked delivery mechanisms in an effort to make the world’s vast store of music accessible to all.

Überblick zu bestehenden MIR-Systemen im Web:

Neben der Suche nach konkreten Melodien gibt es auch abstraktere Ebenen der Melodiesuche, bspw. die Suche nach Intervallfolgen oder nach Melodiekonturen im Parsons Code.

Für die Regensburger Liedblattsammlung wurde ein erster MIR-Prototyp implementiert, der als Melodic Similarity-Maß den Mongeau-Sankhoff-Algorithmus verwendet. Es handelt sich dabei um ein edit distance-basiertes Verfahren zur Bestimmung der Ähnlichkeit von zwei Melodiesequenzen. Um Verzerrungen bei der Editierdistanz zu vermeiden wird zudem ein Ngram-Ansatz umgesetzt, d.h. die Melodie-Query wird jeweils in bestimmten Teilsequenzen (ngrams) der Liedblätter gesucht (vgl. Burghardt & Lamm, 2017). Eine Demo zur Melodic Similarity-Suche in der Regensburger Liedblattsammlung ist verfügbar unter:

Weitere Informationen:

  • Burghardt, M., & Lamm, L. (2017). Entwicklung eines Music Information Retrieval-Tools zur Melodic Similarity-Analyse deutsch-sprachiger Volkslieder. In M. Eibl & M. Gaedke (Eds.), INFORMATIK 2017, Lecture Notes in Informatics (LNI), Gesellschaft für Informatik – Workshop „Musik trifft Informatik“ (pp. 15–27). Bonn: Springer.

Literatur MIR

  • Casey, M., Veltkamp, R., Goto, M., Leman, M., Rhodes, C., & Slaney, M. (2008). Content-based music information retrieval: Current directions and future challenges. Proceedings of the IEEE, 96(4), 668-696.
  • Downie, J. S. (2004). The Scientific Evaluation of Music Information Retrieval Systems: Foundations and Future. In Computer Music Journal 28(2), 12-23.
  • Selfridge-Field, E. (1998). Conceptual and representational issues in melodic comparison. Computing in Musicology, 11, 3-64.

Literatur Melodic Similarity

  • Berenzweig, A., Logan, B., Ellis, D. P. W., & Whitman, B. (2004). A Large-Scale Evaluation of Acoustic and Subjective Music-Similarity Measures. Computer Music Journal, 28, 63–76. http://doi.org/10.1162/014892604323112257
  • Cahill, M., Cahill, M., Music, C., & Music, C. (2005). Melodic similarity algorithms – using similarity ratings for development and early evaluation. Star, 450–453.
  • Hofmann-Engl, L. (2001). Towards a cognitive model of melodic similarity. Ismir, 44(0), 143–151.
  • Grachten, M., Arcos, J. L., & Mántaras, R. L. De. (2004). Melodic Similarity: Looking for a Good Abstraction Level. Proceedings of the 5th International Society for Music Information Retrieval.
  • Grachten, M., Arcos, J. L., and de Mántaras, R. L. (2002). A comparison of different approaches to melodic similarity. In Proceedings of the 2nd International Conference in Music and Artificial Intelligence (ICMAI).
  • Miura, T., & Shioya, I. (2003). Similarity among melodies for music information retrieval. In Proceedings of the twelfth international conference on Information and knowledge management – CIKM ’03 (p. 61).
  • Mongeau, M. and Sankoff, D. (1990). Comparison of Musical Sequences. In Computers and the Humanities, 24, 161–175.
  • Müllensiefen, D., & Frieler, K. (2004). Optimizing Measures Of Melodic Similarity For The Exploration Of A Large Folk Song Database. 5th International Conference on Music Information Retrieval ISMIR 2004, 274–280.
  • Müllensiefen, D., & Frieler, K. (2004). Melodic Similarity: Approaches and Applications. In Proceedings of the 8th International Conference on Music Perception & Cognition (pp. 283–289).
  • Orio, N., & Rodá, A. (2009). A Measure of Melodic Similarity Based on a Graph Representation of the Music Structure. In Proceedings of the 10th International Society for Music Information Retrieval Conference (ISMIR 2009) (pp. 543–548).
  • Typke, R., Wiering, F., & Veltkamp, R. C. (2005). A survey of music information retrieval systems. Transition, 153–160.
  • Typke, R. (2007). Music Retrieval based on Melodic Similarity. Ph.D Thesis, (april 1973).

INFORMATIK 2017: Music Information Retrieval für deutschsprachige Volkslieder

Die 47. Jahrestagung der Gesellschaft für Informatik (GI) in Chemnitz findet in diesem Jahr unter dem Motto „Digitale Kulturen“ statt. Auch das Thema Digital Humanities wird dabei aufgegriffen, bspw. in einem dedizierten Workshop zum Thema Modellierungsfragen in den Digitalen Geisteswissenschaften. Darüber hinaus wird in weiteren thematischen Workshops der Einsatz von informatischen Methoden in anderen Disziplinen thematisiert, etwa im Workshop Musik trifft Informatik. Im Rahmen der letztgenannten Veranstaltung wurde aus Regensburg ein Beitrag vorgestellt:

  • Lamm, L. & Burghardt, M. (2017). Entwicklung eines Music Information Retrieval-Tools zur Melodic Similarity-Analyse deutschsprachiger Volkslieder. In Eibl, M. & Gaedke, M. (Hrsg.): INFORMATIK 2017, Lecture Notes in Informatics (LNI), Gesellschaft für Informatik, Bonn 2017.

Abstract: Wir präsentieren einen Beitrag zum Einsatz computergestützter Methoden für die quantitative Untersuchung einer großen Sammlung symbolisch repräsentierter Melodien deutschsprachiger Volkslieder. Im Zuge dessen wurde ein Music Information Retrieval-Tool (MIR) konzipiert, mit dem gezielt nach Liedblättern anhand bestimmter Metainformationen (z.B. Jahr, Sangesort, etc.), bestimmter Wörter in den Liedtexten oder bestimmter Sequenzen innerhalb der monophonen Melodien gesucht werden kann. Darüber hinaus kann mit dem MIR-Tool untersucht werden, ob es bspw. wiederkehrende Muster oder melodische Universalien in deutschsprachigen Volksliedern gibt. Insgesamt stehen drei Repräsentationsebenen für Suchanfragen zur Verfügung: Die Suche nach konkreten Melodiefragmenten (Tonhöhe / Tondauer), die Suche nach Intervallfolgen und die Suche nach abstrakten Melodiekonturen im Parsons-Code. Eine zentrale Herausforderung für die Umsetzung eines solchen MIR-Tools mit mehreren Repräsentationsebenen ist die Wahl einer geeigneten melodic similarity-Komponente. Wir beschreiben die Implementierung verschiedener edit distance-basierter Ansätze und präsentieren die Ergebnisse einer Evaluationsstudie für die unterschiedlichen Implementierungen. Alle Algorithmen und Converter wurden als generische Toolbox umgesetzt und stehen unter der MIT open source-Lizenz für die Nachnutzung zur freien Verfügung.

Keywords: music information retrieval, melodic similarity, edit distance, ngrams

Live-Demo und Demovideo des Tools zur Regensburger Liedblattanalyse:


Weitere Ressourcen aus dem Projektkontext:

Poster:

Weitere MIR-Systeme:

Presentations at the DCH 2017

The Interdisciplinary Conference on Digital Cultural Heritage (DCH) takes place in the Staatsbibliothek Berlin, from August 30 – September 1, 2017.

We present two recent projects from the field of museum informatics. The first project „Designing a Digital Museum Catalog App for Tailored Exhibition Experiences“ has been developed in cooperation with the „Haus der Bayerischen Geschichte“ (House of Bavarian History). The second project „Using Virtual Reality as a Means for Knowledge Transfer in Museum Exhibitions“ has been created together with the Regensburg Historic Museum.

Designing a Digital Museum Catalog App for Tailored Exhibition Experiences

  • Download Abstract
  • Demo video will be added shortly 😉

Together with the cultural institution Haus der Bayerischen Geschichte (HdBG), we are currently devel-oping digital concepts and ideas for the upcoming Museum of Bavarian History , which will open in 2018 in Regensburg. Within this project context, we designed a Digital Exhibition Catalog App (DECA) that we would like to present at the Interdisciplinary Conference on Digital Cultural Heritage (DCH) 2017.

According to Mihatsch, an exhibition catalog has two main functions: First, it can be used as a guid-ing tool during the actual visit of an exhibition („catalogue-en-acte“), as it provides useful hints about the organization and content of the exhibition. Second, it can be used as a mnemonic device after the visit of the exhibition („catalogue-document“), as it summarizes and archives all the objects shown in an exhibition. Taking a look at the existing, printed catalogs of past exhibitions of the HdBG, we found that they seem to be focused on the second function, but are rather cumbersome to use as a guiding tool during the actual visit of an exhibition because of their extent and size.

Moreover, traditional catalogs are created by an editorial team and are thus generic, pre-compiled lists of exhibition objects. These objects possibly do not reflect the individual exhibition experience of the museum visitors who may take quite different routes through an exhibition and, in the majority of cases, will not actually visit all the objects listed in the catalog. Finally, printed catalogs are obviously restricted to contain only text and images, but no multimodal content such as audio or video.

To address these issues of existing catalogs, we designed a prototype for the “Landesausstellung Bier in Bayern“ that can be used to create a tailored catalog of the visitors personal exhibition experience via a smartphone app. We implemented an iOS app that allows visitors to collect objects during their visit by means of QR codes and that motivates them to discover (and collect) further objects in the exhibition. The objects that can be collected and cataloged via the app are managed via an easy-to-use, web-based content management system. We are currently also experimenting with further gamification elements that increase the motivation of visitors to engage in the exploration and collection of digital artifacts in the museum.

As next steps, we are planning to conduct information behavior and user experience studies in a realistic exhibition environment, to investigate how users respond to such digital museum catalogs and how they like the aspect of a tailored catalog in particular.

References
Mihatsch, K. (2015). Der Ausstellungskatalog 2.0. Bielefeld: transcript.

Using Virtual Reality as a Means for Knowledge Transfer in Museum Exhibitions

  • Download Abstract
  • Demo video will be added shortly 😉

The far-reaching implications of digitization affect politics and society, and to a growing extent they also influence and change cultural heritage institutions, such as museums. Accordingly, museum informatics are concerned with the interrelation of humans, information and technology in the museum context [2]. Digital applications in the museum range from tools that facilitate the curation and management of museum objects, to entirely new types of information systems for the presentation of such objects [3]. The fast-paced technological development in the consumer electronics market provides access to new technologies like augmented reality (AR) and virtual reality (VR). This enables new concepts for the design of multimodal learning platforms in the museum context, e.g. an immersive virtual reality experience that will drag the user into the time of a cultural artifact to convey the usage or the cultural context in an intuitive way.

We present a project in the intersection of museum informatics and VR. The project is a cooperation between researchers from the Media Informatics Group (University of Regensburg) and an expert for the regional history of Bavaria (University of Augsburg). The project is funded by the Regensburg Museum of History, as part of the recent “Meisterwerke in Bewegung” campaign. The main goal of the project is to create a multimodal learning concept that relies on an extensive VR experience [cf. 1]. The VR application will present various historic aspects to the museum visitors, ranging from local history to the history of urban construction and including everyday life stories of the 16th century.

More concretely, museum visitors find themselves in a virtual visualization of the Regensburg Neupfarrplatz in 1540. After a brief VR tutorial, visitors can explore two narratives in the virtual world: The first narrative allows visitors to interactively explore the construction history of the “Neupfarrkirche”, starting from the early pilgrimage church “Zur schönen Maria” to the current architecture of the “Neupfarrkirche”. The second narrative lets them dive into an everyday life scenario that illustrates historical practices of food consumption and cooking culture, also taking place in the setting of the virtual Neupfarrplatz. We use the Unreal 4 Engine as a basic framework for our project. For the exhibition, we will use the HTC Vive VR-System.

At the end of the project, we will investigate the pedagogical benefits of such virtually enhanced experiences and are planning to conduct a series of experiments that measure the learning outcomes when using the VR system. The results will be relevant not only for the usage of VR in museum contexts, but for any application scenario that will use VR for knowledge transfer.

References

  1. Dechant, M., & Burghardt, M. (2015). Virtuelle Rekonstruktion des Regensburger Ballhauses. In Book of Abstracts, DHd 2015.
  2. Marty, P. F. & Burton Jones, K. (2008). Museum Informatics: People, Information, and Technology in Museums. New York et al.: Routledge.
  3. Mieth, K. (2010). Bildungsarbeit im Museum: Grundfragen und Perspektiven der Vermittlung von Sammlung, Forschung und Präsentation; Beiträge der Fachtagung “Bildung – Pädagogik – Vermittlung. Theorie und Praxis im Kontext Musealer Kernaufgaben” der Sächsischen Landesstell. Chemnitz: Sächsische Landesstelle für Museumswesen.

DATeCH 2017: Crowdsourced Transcription of Handwritten Music Scores

Author: Manuel Burghardt

I am currently attending the DATeCH 2017 conference in Göttingen, which is fully packed with interesting talks on „Digital Access to Textual Cultural Heritage“. The venue is right in the heart of the „Niedersächsische Staats- und Universitätsbibliothek Göttingen“, which is quite a decent place for a conference 🙂

Talk: Crowdsourced Transcription of Handwritten Music Scores

I will be presenting a research project that was created together with Sebastian Spanner.

Allegro: User-centered Design of a Tool for the Crowdsourced Transcription of Handwritten Music Scores

In this paper, we describe the challenge of transcribing a large corpus of handwritten music scores. We conducted an evaluation study of three existing optical music recognition (OMR) tools. The evaluation results indicate that OMR approaches do not work well for our corpus of highly heterogeneous, handwritten music scores. For this reason, we designed Allegro, a web-based crowdsourcing tool that can be used to transcribe scores. We relied on a user-centered design process throughout the development cycle of the application, to ensure a high level of usability. The interface was designed in a way it can be used intuitively, even by novices of musical notation. We describe the core features of Allegro and the basic transcription workflow. A first public beta test with 18 users shows that a crowdsourced transcription approach via the Allegro tool is a viable option for the encoding of our corpus of folk songs.

Related research from our group

Interesting tools mentioned in other DATeCH talks

*Gotta love those names 🙂

15th International Symposium of Information Science

The 15th International Symposium of Information Science (ISI) is taking place from March 13-15 at Humbold University in Berlin.

We are presenting a poster for „An Information System for the Analysis of
Color Distributions in MovieBarcodes“.

An Information System for the Analysis of Color Distributions in MovieBarcodes

Downloads:


Right after the official program of the ISI 2017 we will organize a „Satellite Workshop on the Relationship of Information Science and the Digital Humanities“. For more information please check out the workshop website: https://is-dh.tumblr.com/

Projektvorstellung auf der Journée créole 2017

Zusammen mit Dr. Evelyn Wiesinger und Dr. habil. Alexander M. Teixeira Kalkhoff aus der Romanistik, werde ich am 3. März 2017 in Regensburg auf der Journée créole ein aktuelles Projektvorhaben im Bereich der digitalen Aufbereitung und der quantitativen Analyse von Kreolsprachen – insbesondere des Créole guyanais – vorstellen.

Arbeitstitel des Vortrags/Projekts:

Digitale Aufbereitung eines Kreolkorpus: state of the art, Desiderata und technische Machbarkeit

Journée créole 2017

Ziele des Projekts

1. Überführung der MS Word-Korpusdatein in XML

Ausgangslage: Transkriptionen von Interviews mit Sprechern des Créole Guyanais wurden von Evelyn Wiesinger erstellt und liegen aktuell als MS Word-Dokumente vor.

creol corpus

Ziel: Informationsextraktion mithilfe regulärer Ausdrücke und Überführung in eine XML-Struktur

creol xml

2. Semi-automatische Glossierung der Korpusdaten

Mithilfe maschineller Lernansätze sollen anhand manuell generierter Trainingsdaten weitere Transkripte automatisiert mit Glossierungsinformationen (vgl. Leipzig Glossing Rules) annotiert werden.

creol glossing

3. Quantitative Analysen der textuellen Korpusdaten

Hier sollen Standardverfahren aus der Korpuslinguistik (Frequenzen, Konkordanzen, Kollokationen, etc.) zum Einsatz kommen.

4. Alignierung von Kreol-Audioaufnahmen und textueller Transkription

Die Alignierung von Audio und Text erfolgt zunächst mit den MAUS-Tools.

Audio Text Alignment

Im nächsten Schritt sollen in einem Web-Interface Audiospur und Transkription parallel dargestellt werden. Ein erster JavaScript-Prototyp für HTML/JS-Audio-Text-Alignierung wurde bereits vom Kollegen Alexander Bazo entwickelt: TranscriptPlayer.js

5. Web-Korpus-Interface zur Suche nach Schlüsselwörtern / Metadaten

Alle so erschlossenen Daten sollen am Ende in einem webbasierten Informationssystem mit integriertem Analyse-Dashboard und einer umfangreichen Suchfunktion verfügbar sein. Beispielhafte Suchanfragen, die mit dem System umgesetzt werden können:

  • Finde alle Sätze die aus mehr als 5 Wörtern bestehen und in denen ein frz. Wort vorkommt.
  • Finde alle Sätze von weiblichen Kreolsprecherinnen, in denen das Wort „mo“ vorkommt.

Das Ergebnis der Suchanfragen soll jeweils eine quantitative Analyse der Ergebnismenge sowie eine interaktive Darstellung der entsprechenden Text- und Audiodaten sein.

Verwandte Projekte und Literatur:

DHd 2017 in Bern

Auch in diesem Jahr ist die Regensburger Arbeitsgruppe Digital Humanities mit zwei Beiträgen auf der DHd vertreten, die erstmalig in der Schweiz stattfindet. Die DHd ist die größte Digital Humanities-Konferenz im deutschsprachigen Raum (ca. 300 Teilnehmer), und wird seit 2014 jährlich an unterschiedlichen Standorten abgehalten (2014: Passau, 2015: Graz, 2016: Leipzig, 2017: Bern).

Wir präsentieren zwei Posterbeiträge zu laufenden Digital Humanities-Projekten an der Universität Regensburg.

Den vollständigen Abstractband der Konferenz finden Sie hier als PDF-Download (33 MB).

1. Digitale Erschließung einer Sammlung von Volksliedern aus dem deutschsprachigen Raum

Dieser Beitrag beschreibt ein laufendes Projekt zur digitalen Erschließung einer großen Sammlung von Volksliedern aus dem deutschsprachigen Raum, mit dem Ziel diese später über ein öffentliches Informationssystem verfügbar zu machen. Im Poster werden Herausforderungen bei der digitalen Erschließung dieser Sammlung diskutiert. Konkret stellen wir die Ergebnisse einer OCR-Studie für die automatische Erkennung von Liedtexten sowie auch eine OMR-Studie für die Erfassung der monophonen, handschriftlichen Melodien vor. Es zeigt sich, dass OMR-Tools hier keine zufriedenstellenden Ergebnisse liefern können. Als alternativer Erschließungsansatz wurde deshalb ein webbasiertes Transkriptionstool für einen Crowdsourcing-Ansatz umgesetzt.

Allegro-Transkriptionstool: http://138.68.106.29/

liedblatt-poster_thumbnail

Downloads

  • Poster-Download über ResearchGate (PDF)
  • Paper-Download über ResearchGate (PDF)

2. PaLaFra: Entwicklung einer Annotationsumgebung für ein diachrones Korpus spätlateinischer und altfranzösischer Texte

Weiterhin stellen wir das DFG/ANR-geförderte Kooperationsprojekt PaLaFra (Vom Latein zum Französischen: Aufbau und Analyse eines digitalen Korpus spätlateinischer und altfranzösischer Texte) vor.

palafra-poster_thumbnail

Quelle Kartenausschnitt: Karte: MacKay, Angus. & Ditchburn, David. (1997). Atlas of medieval Europe. London ; New York: Routledge.

Downloads

  • Poster-Download über ResearchGate (PDF)
  • Paper-Download über ResearchGate (PDF)

 

 

DH Conference 2016: Music and Movie Analysis

krakow

Photo credit: Christian Wolff

This year, Kraków is the venue of the international Digital Humanities conference. The Media Informatics Group from Regensburg will present two projects on the computer-based analysis of music and movies.

The complete conference proceedings are available here: http://dh2016.adho.org/abstracts/

1. Computer-based Analysis of Movies

Beyond Shot Lengths – Using Language Data and Color Information as Additional Parameters for Quantitative Movie Analysis

Film studies make use of both, qualitative as well as quantitative methods. While there is a large variety of qualitative approaches to analyze movies, most quantitative attempts seem to be focused on the analysis of the length and frequency of a film’s shots. Cinemetrics been suggested as a term to describe these quantitative, shot-based approaches for analyzing movies. For a comprehensive overview of Cinemetrics-related research cf. the bibliography compiled by Mike Baxter. Cinemetrics is also the name of a large online database that contains information about shot lengths and frequencies for several thousand films.

In our  project we suggest to go „beyond shot lengths“, which means to enhance the existing, shot-focused approaches to quantitative movie analysis by considering additional parameters, such as language and color use.

color-subtitlesWe present a prototype that can be used to automatically extract and analyze these parameters from movies and that makes the results accessible in an interactive visualization.

Resources

2. Computer-based Analysis of Music

Tool-based Identification of Melodic Patterns in MusicXML Documents

Computer-based methods in musicology have been around at least since the 1980s. Typically, quantitative analyses of music rely on music information retrieval (MIR) systems, which can be used to search collections of songs according to different musicological parameters. There are many examples for existing MIR systems, all with specific strengths and weaknesses. Among the main downsides of such systems are:

  • Usability problems, i.e. tools are cumbersome to use, as they oftentimes only provide a command-line interface and also require some basic programming skills to utilize them; example: Humdrum
  • Restricted scope of querying, i.e. tools can only be used to search for musical incipits; examples: RISM, HymnQuest
  • Restricted song collection, i.e. tools can only be used for specific collections of music files; various examples of MIR tools for specific collections are described in Typke et al. (2005)

To make up for these existing downsides, we designed MusicXML Analyzer, a generic MIR system that allows for the analysis of arbitrary documents encoded in MusicXML format.

Frameworks used for MusiXML Analyzer

  • Laravel: PHP framework
  • jQuery: JavaScript framework
  • Bootstrap: CSS framework
  • D3.js: JavaScript library for visualization / diagrams
  • Typed.js: JavaScript library for status messages
  • Dropzone.js: JavaScript library for file upload
  • jsPDF: JavaScript library for PDF export
  • Vexflow: JavaScript library for the creation of virtual scores
  • Midi.js: JavaScript library for the creation of midi files

References

Typke, R., Wiering, F. and Veltkamp, R. C. (2005). A survey of music information retrieval systems. Proceedings of the 6th International Conference on Music Information Retrieval (ISMIR) 2005, pp. 153–160.

Resources

Katharsis – Ein Werkzeug für die quantitative Dramenanalyse

Von 7. – 8. Juni findet an der Universität Hamburg das Forum CA3 2016 statt, bei dem CLARIN-D seine „Angebote zum Auffinden, Auswerten und Aufbewahren von Sprachressourcen für die Forschung und Lehre in den Geistes- und Sozialwissenschaften vorstellt“. Neben einem spannenden Vortragsprogramm mit mehreren Keynotes wird es auch eine Hands-On Session zur Präsentation von digitalen Werkzeugen und Nutzerszenarien geben.

Wir stellen im Zuge dessen unseren Prototypen Katharsis vor, ein webbasiertes Tool zu quantitativen Analyse von Dramen.

katharsis-poster

Abstract (PDF):

Bibliographische Angaben: Manuel Burghardt, Katrin Dennerlein, Thomas Schmidt, Johanna Mühlenfeld & Christian Wolff (2016). Katharsis – Ein Werkzeug für die quantitative Dramenanalyse. CLARIN-D Forum CA3, 7.-8. Juni 2016, Hamburg.

Mit dem Begriff des „Distant Reading“ führt Moretti (2000) einen zentralen Begriff in den Digital Humanities ein, der zu einer anhaltenden Diskussion um quantitative Methoden in der Literatur- und Kulturwissenschaft führte. Vor diesem Hintergrund sind Dramen eine besonders interessante literarische Gattung, da sie neben dem eigentlichen Text weitere gut quantifizierbare Elemente, wie etwa ein abgeschlossenes Figureninventar sowie eine Akt-/Szenenstruktur, beinhalten. Dementsprechend finden sich frühe Belege für eine „mathematische Poetik“ (Marcus, 1970), welche interessante Ansätze für die quantitative Dramenanalyse beinhaltet. Ein zentraler Begriff ist hier die „Konfiguration“, welche im Wesentlichen die Menge aller Figurenkonstellationen innerhalb eines Stücks beschreibt. Eine typische Form der Visualisierung dafür ist die sogenannte Konfigurationsmatrix, welche das Auftreten aller Figuren in allen Szenen zusammenfassend darstellt und darüber hinaus die Berechnung einer Konfigurationsdichte als Indiz für die Populationsdichte innerhalb eines Dramas erlaubt. Auch viele Jahre nach Marcus sind quantitative Dramenanalyseansätze weiterhin populär, was u.a. durch aktuelle Digital Humanities-Projekte in diesem Bereich belegt wird (vgl. Ilsemann, 2013; Trilcke et al., 2015; Wilhelm et al. 2013).

Mit Katharsis präsentieren wir einen Prototypen, mit dem es möglich ist ein Korpus aus ca. 100 deutschen Dramen (verfügbar über das TextGrid-Repository: https://textgridrep.org/) automatisch anhand ihrer Konfigurationen zu analysieren und die Ergebnisse in einer interaktiven Webschnittstelle darzustellen. Im Ergebnis können so beliebige Dramen ausgegeben und anhand quantitativer Parameter, wie etwa der Anzahl der Akte, der Figuren, der Konfigurationsdichte, der Replikenzahl und der Replikenlänge, verglichen werden (vgl. Abb. 1 und Abb. 2). Zusätzlich kann jedes Drama mit entsprechenden Detailanalysen in Form einer interaktiven Konfigurationsmatrix dargestellt werden (vgl. Abb. 3). Erste Fallstudien mit dem Katharsis-Prototypen wurden bereits erfolgreich durchgeführt (Dennerlein, 2015).

katharsis-1Abb. 1: Quantitative Informationen für alle Dramen Friedrich Schillers (innerhalb des Katharsis-Korpus).

katharsis-2Abb. 2: Vergleichende Analyse für alle Dramen im Katharsis-Korpus.

katharsis-3Abb. 3: Ausschnitt aus der interaktiven Konfigurationsmatrix für Schillers Stück “Maria Stuart”.

Bibliographie

LREC 2016

Die 10. internationale Konferenz „Language Resources and Evaluation“ (LREC) findet in diesem Jahr von 23. – 28. Mai in Portorož (Slowenien) statt. Wie Nicoletta Calzolari (Conference Chair) in ihrer Eröffnung anmerkte, ist die LREC laut Google Scholar-Ranking nach ACL, EMNLP und NAACL die wichtigste Konferenz im Bereich Computational Linguistics. Weiterhin wurden einigen interessante Auswertungen zu den LREC 2016-Einreichungen gezeigt: So sind die in den Beiträgen mit Abstand am häufigsten beschriebenen linguistischen Resourcen Korpora und Lexika sowie auch Tagger/Parser, Treebanks, Evaluationsdatensätze, generische Software Toolkits, Annotationstools, Korpustools, Ontologien u.v.m. Über 3/4 der Ressourcen beschäftigt sich mit geschriebener Sprache, der Rest mit gesprochener Sprache, Zeichensprache oder mit multimodalen Sprachdaten.

Aus Regensburg wurde auf der LREC 2016 ein Beitrag zur Erstellung eines Dialektlexikons des Bayerischen mithilfe von Facebookgruppen präsentiert. Dabei werden die Daten automatisiert aus einer offenen Facebookgruppe, die hauptsächlich in Dialekt schreibt, extrahiert. Im nächsten Schritt übersetzen die Mitglieder dieser Gruppe mithilfe eines selbst entwickelten Crowdsourcingtools die häufigsten Dialektwörter. Der Foliensatz zum Vortrag findet sich hier:

LREC-2016-Slides-Frontpage

Der entsprechende Artikel ist über die LREC-Proceedings frei verfügbar: http://www.lrec-conf.org/proceedings/lrec2016/pdf/820_Paper.pdf

Abstract: Data acquisition in dialectology is typically a tedious task, as dialect samples of spoken language have to be collected via questionnaires or interviews. In this article, we suggest to use the “web as a corpus” approach for dialectology. We present a case study that demonstrates how authentic language data for the Bavarian dialect (ISO 639-3:bar) can be collected automatically from the social network Facebook. We also show that Facebook can be used effectively as a crowdsourcing platform, where users are willing to translate dialect words collaboratively in order to create a common lexicon of their Bavarian dialect. Key insights from the case study are summarized as “lessons learned”, together with suggestions for future enhancements of the lexicon creation approach.

Auch das Thema „Digital Humanities“ scheint auf der LREC zunehmend an Bedeutung zu gewinnen, was sich u.a. an einer eigenen DH-Session mit den folgenden Themen zeigt:

Weitere Dialekt-Ressourcen im Web: