Kategorie: Konferenz

INFORMATIK 2017: Music Information Retrieval für deutschsprachige Volkslieder

Die 47. Jahrestagung der Gesellschaft für Informatik (GI) in Chemnitz findet in diesem Jahr unter dem Motto „Digitale Kulturen“ statt. Auch das Thema Digital Humanities wird dabei aufgegriffen, bspw. in einem dedizierten Workshop zum Thema Modellierungsfragen in den Digitalen Geisteswissenschaften. Darüber hinaus wird in weiteren thematischen Workshops der Einsatz von informatischen Methoden in anderen Disziplinen thematisiert, etwa im Workshop Musik trifft Informatik. Im Rahmen der letztgenannten Veranstaltung wurde aus Regensburg ein Beitrag vorgestellt:

  • Lamm, L. & Burghardt, M. (2017). Entwicklung eines Music Information Retrieval-Tools zur Melodic Similarity-Analyse deutschsprachiger Volkslieder. In Eibl, M. & Gaedke, M. (Hrsg.): INFORMATIK 2017, Lecture Notes in Informatics (LNI), Gesellschaft für Informatik, Bonn 2017.

Abstract: Wir präsentieren einen Beitrag zum Einsatz computergestützter Methoden für die quantitative Untersuchung einer großen Sammlung symbolisch repräsentierter Melodien deutschsprachiger Volkslieder. Im Zuge dessen wurde ein Music Information Retrieval-Tool (MIR) konzipiert, mit dem gezielt nach Liedblättern anhand bestimmter Metainformationen (z.B. Jahr, Sangesort, etc.), bestimmter Wörter in den Liedtexten oder bestimmter Sequenzen innerhalb der monophonen Melodien gesucht werden kann. Darüber hinaus kann mit dem MIR-Tool untersucht werden, ob es bspw. wiederkehrende Muster oder melodische Universalien in deutschsprachigen Volksliedern gibt. Insgesamt stehen drei Repräsentationsebenen für Suchanfragen zur Verfügung: Die Suche nach konkreten Melodiefragmenten (Tonhöhe / Tondauer), die Suche nach Intervallfolgen und die Suche nach abstrakten Melodiekonturen im Parsons-Code. Eine zentrale Herausforderung für die Umsetzung eines solchen MIR-Tools mit mehreren Repräsentationsebenen ist die Wahl einer geeigneten melodic similarity-Komponente. Wir beschreiben die Implementierung verschiedener edit distance-basierter Ansätze und präsentieren die Ergebnisse einer Evaluationsstudie für die unterschiedlichen Implementierungen. Alle Algorithmen und Converter wurden als generische Toolbox umgesetzt und stehen unter der MIT open source-Lizenz für die Nachnutzung zur freien Verfügung.

Keywords: music information retrieval, melodic similarity, edit distance, ngrams

Live-Demo und Demovideo des Tools zur Regensburger Liedblattanalyse:


Weitere Ressourcen aus dem Projektkontext:

Poster:

Weitere MIR-Systeme:

Advertisements

MuC 2017: User Experience Mining auf Basis von Online-Produktbewertungen

Im September wurde vom Lehrstuhl für Medieninformatik in Regensburg erstmals die Mensch und Computer 2017 unter dem Motto „Spielend einfach interagieren“ mit ca. 700 Teilnehmern organisiert. Alle Einzelbeiträge finden sich in der Digital Library der GI.

Dabei wurde auch ein eigener Beitrag im Schnittfeld von User Experience-Evaluation und Text Mining bzw. Sentiment Analysis vorgestellt, der damit methodisch durchaus auch Anküpfungspunkte für die Digital Humanities bietet:

  • Lechler, D. & Burghardt, M., (2017). User Experience Mining auf Basis von Online-Produktbewertungen. In: Burghardt, M., Wimmer, R., Wolff, C. & Womser-Hacker, C. (Hrsg.), Mensch und Computer 2017 – Tagungsband. Regensburg: Gesellschaft für Informatik e.V.. (S. 49-60). (PDF)

Zusammenfassung

Der Beitrag untersucht die Grenzen und Möglichkeiten einer automatischen Erfassung der User Experience (UX) von Produkten durch die Analyse von Online-Reviews. Hierzu wurde ein Tool entwickelt, das online verfügbare Produktbewertungen sammelt und mittels Methoden des Natural Language Processing sowie der Sentiment-Analyse aufbereitet um die Ergebnisse auf die Werteskalen des User Experience Questionnaire (UEQ) abzubilden. Weiterhin präsentieren wir eine Evaluation des so erstellten Tools, indem wir die automatisch generierten Ergebnisse mit den Ergebnissen einer klassischen Benutzerstudie vergleichen. Es zeigt sich, dass automatisch erstellte UX-Analysen aus Online-Reviews zumindest eine grobe Annäherung zur UX eines Produkts zulassen – wenn auch nicht so differenziert wie ein von echten Anwendern, vollständig ausgefüllter UEQ.

Presentations at the DCH 2017

The Interdisciplinary Conference on Digital Cultural Heritage (DCH) takes place in the Staatsbibliothek Berlin, from August 30 – September 1, 2017.

We present two recent projects from the field of museum informatics. The first project „Designing a Digital Museum Catalog App for Tailored Exhibition Experiences“ has been developed in cooperation with the „Haus der Bayerischen Geschichte“ (House of Bavarian History). The second project „Using Virtual Reality as a Means for Knowledge Transfer in Museum Exhibitions“ has been created together with the Regensburg Historic Museum.

Designing a Digital Museum Catalog App for Tailored Exhibition Experiences

  • Download Abstract
  • Demo video will be added shortly 😉

Together with the cultural institution Haus der Bayerischen Geschichte (HdBG), we are currently devel-oping digital concepts and ideas for the upcoming Museum of Bavarian History , which will open in 2018 in Regensburg. Within this project context, we designed a Digital Exhibition Catalog App (DECA) that we would like to present at the Interdisciplinary Conference on Digital Cultural Heritage (DCH) 2017.

According to Mihatsch, an exhibition catalog has two main functions: First, it can be used as a guid-ing tool during the actual visit of an exhibition („catalogue-en-acte“), as it provides useful hints about the organization and content of the exhibition. Second, it can be used as a mnemonic device after the visit of the exhibition („catalogue-document“), as it summarizes and archives all the objects shown in an exhibition. Taking a look at the existing, printed catalogs of past exhibitions of the HdBG, we found that they seem to be focused on the second function, but are rather cumbersome to use as a guiding tool during the actual visit of an exhibition because of their extent and size.

Moreover, traditional catalogs are created by an editorial team and are thus generic, pre-compiled lists of exhibition objects. These objects possibly do not reflect the individual exhibition experience of the museum visitors who may take quite different routes through an exhibition and, in the majority of cases, will not actually visit all the objects listed in the catalog. Finally, printed catalogs are obviously restricted to contain only text and images, but no multimodal content such as audio or video.

To address these issues of existing catalogs, we designed a prototype for the “Landesausstellung Bier in Bayern“ that can be used to create a tailored catalog of the visitors personal exhibition experience via a smartphone app. We implemented an iOS app that allows visitors to collect objects during their visit by means of QR codes and that motivates them to discover (and collect) further objects in the exhibition. The objects that can be collected and cataloged via the app are managed via an easy-to-use, web-based content management system. We are currently also experimenting with further gamification elements that increase the motivation of visitors to engage in the exploration and collection of digital artifacts in the museum.

As next steps, we are planning to conduct information behavior and user experience studies in a realistic exhibition environment, to investigate how users respond to such digital museum catalogs and how they like the aspect of a tailored catalog in particular.

References
Mihatsch, K. (2015). Der Ausstellungskatalog 2.0. Bielefeld: transcript.

Using Virtual Reality as a Means for Knowledge Transfer in Museum Exhibitions

  • Download Abstract
  • Demo video will be added shortly 😉

The far-reaching implications of digitization affect politics and society, and to a growing extent they also influence and change cultural heritage institutions, such as museums. Accordingly, museum informatics are concerned with the interrelation of humans, information and technology in the museum context [2]. Digital applications in the museum range from tools that facilitate the curation and management of museum objects, to entirely new types of information systems for the presentation of such objects [3]. The fast-paced technological development in the consumer electronics market provides access to new technologies like augmented reality (AR) and virtual reality (VR). This enables new concepts for the design of multimodal learning platforms in the museum context, e.g. an immersive virtual reality experience that will drag the user into the time of a cultural artifact to convey the usage or the cultural context in an intuitive way.

We present a project in the intersection of museum informatics and VR. The project is a cooperation between researchers from the Media Informatics Group (University of Regensburg) and an expert for the regional history of Bavaria (University of Augsburg). The project is funded by the Regensburg Museum of History, as part of the recent “Meisterwerke in Bewegung” campaign. The main goal of the project is to create a multimodal learning concept that relies on an extensive VR experience [cf. 1]. The VR application will present various historic aspects to the museum visitors, ranging from local history to the history of urban construction and including everyday life stories of the 16th century.

More concretely, museum visitors find themselves in a virtual visualization of the Regensburg Neupfarrplatz in 1540. After a brief VR tutorial, visitors can explore two narratives in the virtual world: The first narrative allows visitors to interactively explore the construction history of the “Neupfarrkirche”, starting from the early pilgrimage church “Zur schönen Maria” to the current architecture of the “Neupfarrkirche”. The second narrative lets them dive into an everyday life scenario that illustrates historical practices of food consumption and cooking culture, also taking place in the setting of the virtual Neupfarrplatz. We use the Unreal 4 Engine as a basic framework for our project. For the exhibition, we will use the HTC Vive VR-System.

At the end of the project, we will investigate the pedagogical benefits of such virtually enhanced experiences and are planning to conduct a series of experiments that measure the learning outcomes when using the VR system. The results will be relevant not only for the usage of VR in museum contexts, but for any application scenario that will use VR for knowledge transfer.

References

  1. Dechant, M., & Burghardt, M. (2015). Virtuelle Rekonstruktion des Regensburger Ballhauses. In Book of Abstracts, DHd 2015.
  2. Marty, P. F. & Burton Jones, K. (2008). Museum Informatics: People, Information, and Technology in Museums. New York et al.: Routledge.
  3. Mieth, K. (2010). Bildungsarbeit im Museum: Grundfragen und Perspektiven der Vermittlung von Sammlung, Forschung und Präsentation; Beiträge der Fachtagung “Bildung – Pädagogik – Vermittlung. Theorie und Praxis im Kontext Musealer Kernaufgaben” der Sächsischen Landesstell. Chemnitz: Sächsische Landesstelle für Museumswesen.

Symposium: „Film rechnen – Computergestützte Methoden in der Filmanalyse“

Das Thema Bild- und Bewegtbildanalyse gewinnt auch in der – bis dato stark auf Text fokussierten – Digital Humanities Community immer mehr an Bedeutung. So wurde etwa Anfang des Jahres eine dedizierte Arbeitsgruppe beim deutschsprachigen DH-Verband (DHd) gegründet.

Mit dem Symposium in Regensburg, am 3. Juli 2017, soll eine Bestandsaufnahme bestehender Ansätze zur computerbasierten Filmanalyse erfolgen und dabei Grenzen und Möglichkeiten solch digitaler Analyseverfahren diskutiert werden.

Programm

Eröffnung durch den Prodekan (Prof. Dr. Christian Wolff)

MANUEL BURGHARDT
Medieninformatik, Universität Regensburg
“Digitale Methoden für die Filmanalyse – Zwischen Berechnung und Exploration” Vortrag Manuel Burghardt Computerbasierte Filmanalyse

ADELHEID HEFTBERGER
Brandenburgisches Zentrum für Medienwissenschaften, Potsdam
“Computergestützte Analyse für die Filmgeschichte – Erfahrungen und Potentiale”

NIELS-OLIVER WALKOWSKI
Berlin-Brandenburgische Akademie der Wissenschaften
“Perspektiven der filmwissenschaftlichen Interpretierbarkeit von Ergebnissen computergestützter Farbanalyse”

MATTHIAS ZEPPELZAUER
Fachhochschule St. Pölten, Österreich
“Automated Analysis, Retrieval and Annotation of Video and Film”

Slides Matthias Zeppelzauer

Ressourcen und Projekte

Literatur

  1. Burghardt, M., Hafner, K., Edel, L., Kenaan, S., & Wolff, C. (2017). An Information System for the Analysis of Color Distributions in MovieBarcodes. In Proceedings of the 15th International Symposium of Information Science (ISI 2017).
  2. Burghardt, M., Kao, M., & Wolff, C. (2016). Beyond Shot Lengths – Using Language Data and Color Information as Additional Parameters for Quantitative Movie Analysis. In Book of Abstracts of the International Digital Humanities Conference (DH).
  3. Burghardt, M., & Wolff, C. (2016). Digital Humanities in Bewegung: Ansätze für die computergestützte Filmanalyse. In Book of Abstracts of the 3rd DHd Conference.
  4. Heftberger, A. (2012). Ask Not What Your Web Can Do For You – Ask What You Can Do For Your Web! Some Speculations about Film Studies in the Age of the Digital Humanities. In Frames Cinema Journal.
  5. Heftberger, A. (2014). Film archives and digital humanities – An impossible match? New job descriptions and the challenges of the digital era. In MedieKultur: Journal of media and communication research 30(57).
  6. Heftberger, A. (2012). Do Computers Dream of Cinema? Film Data for Computer Analysis and Visualisation. In Berry, D. M. (ed.): Understanding Digital Humanities, p. 210-223.
  7. Walkowski, N. & Pause, J. (2017). The Colorized Dead: Computerunterstützte Analysen der Farblichkeit von Filmen in den Digital Humanities am Beispiel von Zombiefilmen. Book of Abstracts DHd 2017 (Bern), S. 200-204.
  8. Zeppelzauer, M., Mitrovic, D., and Breiteneder, C., (2011). Cross-Modal Analysis of Audio Visual Film Montage. Proceedings of 20th International Conference on Computer Communications and Networks, Maui, USA.
  9. Mitrovic, D., Zeppelzauer, M., Zaharieva, M., and Breiteneder, C. (2011). Retrieval of VisualComposition in Film. Proceedings of the 12th International Workshop on Image Analysis for Multimedia Interactive Services, April 13-15, Delft, The Netherlands.
  10. Seidl, M., Zeppelzauer, M., and Breiteneder, C. (2010). A Study Of Gradual Transition Detection in Historic Film Material. In Proceedings of the ACM Multimedia 2010, Workshop – Electronic Heritage and Digital Art Preservation (eHeritage), pp. 13-18. Firenze, Italy.
  11. Zeppelzauer, M., Mitrovic, D. and Breiteneder, C. (2008). Analysis of Historical Artistic Documentaries. In Proceedings of the 9th International Workshop on Image Analysis for Multimedia Interactive Services, pages 201-206, Klagenfurt, Austria.
  12. Zaharieva, M., Zeppelzauer, M., Breiteneder, C., and Mitrovic, D. (2010). Camera Take Reconstruction. In Proceedings of IEEE Multimedia Modeling Conference, Jan 6-8, 2010, Chongqing, China, pp. 379-388.
  13. Zeppelzauer, M., Zaharieva, M., Mitrovic, D., and Breiteneder, C. (2010). A Novel Trajectory Clustering Approach for Motion Segmentation. In Proceedings of Multimedia Modeling Conference, pp. 433-443. Jan 6-8, (2010), Chongqing, China.
  14. Mitrovic D., Hartlieb, S., Zeppelzauer, M., and Zaharieva, M. (2010). Scene Segmentation in Artistic Archive Documentaries. HCI in Work and Learning, Life and Leisure, LNCS, vol. 6389, pp 400-410. Springer, Berlin/Heidelberg.
  15. Zaharieva, M., Zeppelzauer, M., Mitrovic, D. and Breiteneder, C. (2009). Finding the Missing Piece: Content-Based Video Comparison. In Proceedings of the 11th IEEE International Symposium on Multimedia (ISM 2009), pages 330-335, San Diego, USA.
  16. Seidl, M., Zeppelzauer, M., Mitrovic, D., and Breiteneder, C. (2011). Gradual Transition Detection in Historic Film Material – A Systematic Study. ACM Journal on Computing and Cultural Heritage, 4(3).
  17. Zeppelzauer, M., Zaharieva, M., Mitrovic, D., and Breiteneder, C. (2011). Retrieval of Motion Composition in Film. Digital Creativity, 22(4):219-234.
  18. Zaharieva, M., Zeppelzauer, M., Mitrovic, D. and Breiteneder, C. (2010). Archive lm comparison. International Journal of Multimedia Data Engineering and Management, 1(3):41-56.
  19. Zaharieva, M., Mitrovic, D., Zeppelzauer, M., and Breiteneder, C. (2010). Film Analysis of Archive Documentaries. IEEE Multimedia, 18(2):38-47, February, 2011.
  20. Zeppelzauer, M., Mitrovic, D., and Breiteneder C. (2012). Archive Film Material – A novel Challenge for Automated Film Analysis. In: Frames Cinema Journal, Issue 1, ed. Catherine Grant.

 

DATeCH 2017: Crowdsourced Transcription of Handwritten Music Scores

Author: Manuel Burghardt

I am currently attending the DATeCH 2017 conference in Göttingen, which is fully packed with interesting talks on „Digital Access to Textual Cultural Heritage“. The venue is right in the heart of the „Niedersächsische Staats- und Universitätsbibliothek Göttingen“, which is quite a decent place for a conference 🙂

Talk: Crowdsourced Transcription of Handwritten Music Scores

I will be presenting a research project that was created together with Sebastian Spanner.

Allegro: User-centered Design of a Tool for the Crowdsourced Transcription of Handwritten Music Scores

In this paper, we describe the challenge of transcribing a large corpus of handwritten music scores. We conducted an evaluation study of three existing optical music recognition (OMR) tools. The evaluation results indicate that OMR approaches do not work well for our corpus of highly heterogeneous, handwritten music scores. For this reason, we designed Allegro, a web-based crowdsourcing tool that can be used to transcribe scores. We relied on a user-centered design process throughout the development cycle of the application, to ensure a high level of usability. The interface was designed in a way it can be used intuitively, even by novices of musical notation. We describe the core features of Allegro and the basic transcription workflow. A first public beta test with 18 users shows that a crowdsourced transcription approach via the Allegro tool is a viable option for the encoding of our corpus of folk songs.

Related research from our group

Interesting tools mentioned in other DATeCH talks

*Gotta love those names 🙂

15th International Symposium of Information Science

The 15th International Symposium of Information Science (ISI) is taking place from March 13-15 at Humbold University in Berlin.

We are presenting a poster for „An Information System for the Analysis of
Color Distributions in MovieBarcodes“.

An Information System for the Analysis of Color Distributions in MovieBarcodes

Downloads:


Right after the official program of the ISI 2017 we will organize a „Satellite Workshop on the Relationship of Information Science and the Digital Humanities“. For more information please check out the workshop website: https://is-dh.tumblr.com/

Projektvorstellung auf der Journée créole 2017

Zusammen mit Dr. Evelyn Wiesinger und Dr. habil. Alexander M. Teixeira Kalkhoff aus der Romanistik, werde ich am 3. März 2017 in Regensburg auf der Journée créole ein aktuelles Projektvorhaben im Bereich der digitalen Aufbereitung und der quantitativen Analyse von Kreolsprachen – insbesondere des Créole guyanais – vorstellen.

Arbeitstitel des Vortrags/Projekts:

Digitale Aufbereitung eines Kreolkorpus: state of the art, Desiderata und technische Machbarkeit

Journée créole 2017

Ziele des Projekts

1. Überführung der MS Word-Korpusdatein in XML

Ausgangslage: Transkriptionen von Interviews mit Sprechern des Créole Guyanais wurden von Evelyn Wiesinger erstellt und liegen aktuell als MS Word-Dokumente vor.

creol corpus

Ziel: Informationsextraktion mithilfe regulärer Ausdrücke und Überführung in eine XML-Struktur

creol xml

2. Semi-automatische Glossierung der Korpusdaten

Mithilfe maschineller Lernansätze sollen anhand manuell generierter Trainingsdaten weitere Transkripte automatisiert mit Glossierungsinformationen (vgl. Leipzig Glossing Rules) annotiert werden.

creol glossing

3. Quantitative Analysen der textuellen Korpusdaten

Hier sollen Standardverfahren aus der Korpuslinguistik (Frequenzen, Konkordanzen, Kollokationen, etc.) zum Einsatz kommen.

4. Alignierung von Kreol-Audioaufnahmen und textueller Transkription

Die Alignierung von Audio und Text erfolgt zunächst mit den MAUS-Tools.

Audio Text Alignment

Im nächsten Schritt sollen in einem Web-Interface Audiospur und Transkription parallel dargestellt werden. Ein erster JavaScript-Prototyp für HTML/JS-Audio-Text-Alignierung wurde bereits vom Kollegen Alexander Bazo entwickelt: TranscriptPlayer.js

5. Web-Korpus-Interface zur Suche nach Schlüsselwörtern / Metadaten

Alle so erschlossenen Daten sollen am Ende in einem webbasierten Informationssystem mit integriertem Analyse-Dashboard und einer umfangreichen Suchfunktion verfügbar sein. Beispielhafte Suchanfragen, die mit dem System umgesetzt werden können:

  • Finde alle Sätze die aus mehr als 5 Wörtern bestehen und in denen ein frz. Wort vorkommt.
  • Finde alle Sätze von weiblichen Kreolsprecherinnen, in denen das Wort „mo“ vorkommt.

Das Ergebnis der Suchanfragen soll jeweils eine quantitative Analyse der Ergebnismenge sowie eine interaktive Darstellung der entsprechenden Text- und Audiodaten sein.

Verwandte Projekte und Literatur: