Syllabus – Introduction to DH and Text Analysis

I have recently adjusted the syllabus of my course on digital humanities and text analysis and wanted to share some of the methods, tools and resources that I currently use. For some great tutorials and exercises on computer-based text analysis, you might want to check out the following:

Preliminary remarks

The target audience for the course are students in the media informatics Master’s program, i.e. students have a background in programming and data modelling. The course is divided in 3 phases: During phases 1+2, students spend 2×2 hours per week in class and learn the fundamentals of digital humanities and text analysis. Phase 3 is a free project phase, where groups of students work on their individual digital humanities projects and regularly meet with the lecturer to discuss the progress of their project.

Phase 1: Introduction to Digital Humanities

Week 1a

  • General introduction to the course
  • Introducing the DSH reading challenge: throughout the course, each student will present a preselected paper from the Digital Scholarship in the Humanities journal by summarizing its basic research goals, methods and results in 5 minutes (+5 minutes of general discussion)

Reading assignment: Prensky, M. (2001). Digital Natives, Digital Immigrants Part I. On the Horizon, 9(6), 1–6.

Week 1b

  • Discussing the „digital“ and its implications, as in digital revolution, digital society, digital culture, digital natives,

Reading assignment: Snow, C. P. (1959). The Two Cultures. London: Cambridge University Press.

Week 2a

  • Discussing „humanities“
  • What is special / challenging about digital humanities? Can you adopt the idea of digital natives and digital immigrants to scholarly disciplines?

Reading assignment: Michel, J.-B., Shen, Y. K., Aiden, A. P., Veres, A., Gray, M. K., Pickett, J. P., … Aiden, E. L. (2011). Quantitative analysis of culture using millions of digitized books. Science (New York, N.Y.), 331(6014), 176–82.

Week2b

Reading assignment: Svensson, P. (2010). The Landscape of Digital Humanities. Digital Humanities Quarterly, 4(1), 1–31.

Week3a

  • Defining the digital humanities: Overview and discussion of existing definitions
  • Working definition for the course:
    (1) DH as use of digital tools / methods / resources in the humanities, and
    (2) DH as humanities, investigating digital culture.

Week3b

  • Basic introduction to literary studies
  • Overview of literary theories and typical research questions in that field
  • Exercise: Analyzing “Every breath you take” in class

Reading assignment: Moretti, F. (2000). Conjectures on world literature. New Left Review, (Jan / Feb), 54–68.

Phase 2: How to do digital humanities? A hands-on introduction to computer-based text analysis.

Week4a

  • Introduction to (close and) distant reading
  • Examples for the application of distant reading approaches
  • Tools for distant reading (Voyant, To See or Not to See)

Week4b

Week5a

  • Introduction to data cleaning with the bash command line and regular expressions
  • Tools: UnixShell, CygWin

Week5b

  • Beyond raw text – annotating with XML / TEI
  • Utilizing document markup with XSLT

Week6a

Week6b

  • Analyzing text: frequencies, concordances and collocations
  • Tools: Voyant, AntConc

Week7a

  • How to interpret frequencies ­– Introduction to statistics
  • Tool: R studio

Week7b

  • Introducion to stylometry
  • Tool: R Stylo

Week8a

  • Introduction to topic modeling
  • Tool: MALLET

Week8b

  • Distant reading the DSH: throughout the course, students have “close read” and discussed typical articles from the DSH journal – at the end of the course, we apply frequency lists and topic modeling to a larger corpus of DSH articles.

Phase 3: DH projects

Students work on their own research projects and apply text analysis techniques

Example topics:

  • Stylistic change in the different editions of the fairytales by brothers Grimm’s
  • Intertextuality: Shakespeare in literature / film / lyrics
  • Quantitative analysis of drama according to speakers, structure, speech, etc.
  • etc.

 

Masterstudiengang „Digital Humanities“ an der Universität Regensburg

Im Rahmen des Förderprogramms „Digitaler Campus Bayern“ fördert das Bayerische Ministerium für Bildung und Kultus, Wissenschaft und Kunst ein kooperatives Studienprogramm der Universitäten Regensburg, Erlangen-Nürnberg und München im Bereich „Digital Humanities“. In Regensburg wird dabei ein Masterstudiengang „Digital Humanities“ entstehen, der zum WS 2017/2018 startet.

Ausführliche Informationen finden sich in der offiziellen Pressemitteilung (Originalquelle).

Pressemitteilung vom 10. Oktober 2016

Für die Jahre 2016 bis 2020 hat das Bayerische Ministerium für Bildung und Kultus, Wissenschaft und Kunst für ein von den Universitäten Regensburg, Erlangen-Nürnberg und München geplantes, kooperatives Studienangebot im Bereich Digital Humanities eine Anschubfinanzierung von bis zu 3,6 Millionen Euro genehmigt. Finanziert wird diese Förderung aus dem Innovationsprogramm „Digitaler Campus Bayern“ der Bayerischen Staatsregierung; dessen Ziel ist es, die bayerischen Hochschulen beim Aufbau von informationstechnischer Infrastruktur oder der Einrichtung von neuen Studienangeboten in den digitalen Technologien zu unterstützen.

Das kooperative Studienangebot bezieht den Forschungsbereich der Digital Humanities unter Beteiligung der Social Sciences in die Lehre ein. Digital Humanities umschreibt das Vorgehen, in den Geistes- und Kulturwissenschaften moderne Informationstechnologien und digitale Ressourcen für die wissenschaftliche Arbeit zu verwenden. Die Kooperation der drei Universitäten sieht dabei die Einrichtung bzw. den Ausbau von Studiengängen an den drei Standorten vor. Dabei profitieren die Studierenden in besonderer Weise von standortübergreifenden Veranstaltungen wie z.B. jährlichen Summer Schools, und der Öffnung von Lehrangeboten über die Standorte und Studiengänge hinweg.
Im Einzelnen entwickeln die Studiengänge unterschiedliche inhaltliche Schwerpunkte und richten sich an je spezifische Zielgruppen:

In Regensburg werden Prof. Dr. Christian Wolff, Inhaber des Lehrstuhls für Medieninformatik, und Prof. Dr. Bernd Ludwig vom Lehrstuhl für Informationswissenschaft den Master-Studiengang „Digitale Medien in den Geistes- und Kulturwissenschaften“ einrichten. Der Studiengang startet voraussichtlich im Wintersemester 2017/18 und richtet sich insbesondere an Lehramtsstudierende in den geistes- und kulturwissenschaftlichen Fächern. Absolventen des Fachs sollen in der Lage sein, Tätigkeiten mit IT-Bezug und fachlicher Nähe zu den B.A.-Studienfächern außerhalb des Lehramts zu übernehmen. Innerhalb des Lehramts sollen sie digitale Arbeitstechniken über das bisherige Maß hinaus in die jeweiligen Fächer einbringen können.

Die Gesamtkoordination des kooperativen Studienangebots liegt bei Prof. Dr. Heidrun Stein-Kecks vom Institut für Kunstgeschichte an der Friedrich-Alexander Universität Erlangen-Nürnberg. Sie ist zugleich Sprecherin des Interdisziplinären Zentrums Digitale Geistes- und Sozialwissenschaften, das für Konzept und Durchführung des Studiengangs verantwortlich zeichnet.
In Erlangen wird der grundständige Bachelor-Studiengang „Digitale Geistes- und Sozialwissenschaften“, der bisher nur im Zweitfach studierbar war, ausgebaut. Der Studiengang ist breit gefächert angelegt und führt in interdisziplinärer Vernetzung in das neue Forschungsfeld ein. Durch die Kooperation mit der Technischen Fakultät gewinnt der Studiengang ein ausgeprägtes informationstechnologisches Profil. Besondere thematische Schwerpunkte liegen in den Bereichen Bild und Medien, Sprache und Text sowie Raum und Gesellschaft. Praxis- und projektorientierte Module zielen auf eine anwendungsorientierte Verzahnung der Informatik und der Digitalen Geistes- und Sozialwissenschaften, wobei ein besonderes Augenmerk auch auf die Reflexion der Auswirkungen der Digitalisierung auf Gesellschaft und Wissenschaft gelegt wird. Individuelle Schwerpunktsetzungen in einem freien Wahlbereich führen zu spezifischen Vertiefungen, auch im Hinblick auf die Kombination mit einem weiteren Fach aus dem Studienangebot der großen Philosophischen Fakultät und Fachbereich Theologie. Die fundierten fachlichen und methodischen Kompetenzen im Umgang mit digitalen Technologien in Wissenschaft und Gesellschaft eröffnen den Studierenden attraktive Perspektiven in dynamisch wachsenden Forschungs- und Arbeitsfeldern an den Schnittstellen von Technologie, Gesellschaft und Kultur.

In München ist Dr. Christian Riepl, Leiter der IT-Gruppe Geisteswissenschaften, Ansprechpartner für das Projekt. Zusammen mit den sprachwissenschaftlichen Disziplinen koordiniert er die Einrichtung des optionalen BA-Nebenfaches „Digital Humanities – Sprachwissenschaften“ an der Fakultät für Sprach- und Literaturwissenschaften der LMU: die Förderung im Rahmen des„Digitalen Campus Bayern“ bietet hier die Möglichkeit, das seit vielen Jahren in der Forschung und forschungsnahen Lehre unter anderem in den Bereichen Korpuslinguistik, Geolinguistik, perzeptive Linguistik und Sprachgeschichte gewonnene IT-Wissen grundlegend und systematisch zu sammeln, im Rahmen eines optionalen Nebenfaches „Digital Humanities – Sprachwissenschaften“ in bestehende BA-Studiengänge der großen sprachwissenschaftlichen Disziplinen (Anglistik, Germanistik, Romanistik,) zu integrieren und fachnah in der sprachwissenschaftlichen Praxis zu vermitteln. Das Vorhaben kann in München an ein bereits in der ersten Antragsrunde des „Digitalen Campus Bayern“ bewilligtes Projekt „IT-for-all: Digitale Datenanalyse in den Geschichts- und Kunstwissenschaften“ anknüpfen und die dort entstandene digitale Lehr- und Forschungsinfrastruktur DH-VLab technisch weiterentwickeln und fachlich ausbauen.

DH Conference 2016: Music and Movie Analysis

krakow

Photo credit: Christian Wolff

This year, Kraków is the venue of the international Digital Humanities conference. The Media Informatics Group from Regensburg will present two projects on the computer-based analysis of music and movies.

The complete conference proceedings are available here: http://dh2016.adho.org/abstracts/

1. Computer-based Analysis of Movies

Beyond Shot Lengths – Using Language Data and Color Information as Additional Parameters for Quantitative Movie Analysis

Film studies make use of both, qualitative as well as quantitative methods. While there is a large variety of qualitative approaches to analyze movies, most quantitative attempts seem to be focused on the analysis of the length and frequency of a film’s shots. Cinemetrics been suggested as a term to describe these quantitative, shot-based approaches for analyzing movies. For a comprehensive overview of Cinemetrics-related research cf. the bibliography compiled by Mike Baxter. Cinemetrics is also the name of a large online database that contains information about shot lengths and frequencies for several thousand films.

In our  project we suggest to go „beyond shot lengths“, which means to enhance the existing, shot-focused approaches to quantitative movie analysis by considering additional parameters, such as language and color use.

color-subtitlesWe present a prototype that can be used to automatically extract and analyze these parameters from movies and that makes the results accessible in an interactive visualization.

Resources

2. Computer-based Analysis of Music

Tool-based Identification of Melodic Patterns in MusicXML Documents

Computer-based methods in musicology have been around at least since the 1980s. Typically, quantitative analyses of music rely on music information retrieval (MIR) systems, which can be used to search collections of songs according to different musicological parameters. There are many examples for existing MIR systems, all with specific strengths and weaknesses. Among the main downsides of such systems are:

  • Usability problems, i.e. tools are cumbersome to use, as they oftentimes only provide a command-line interface and also require some basic programming skills to utilize them; example: Humdrum
  • Restricted scope of querying, i.e. tools can only be used to search for musical incipits; examples: RISM, HymnQuest
  • Restricted song collection, i.e. tools can only be used for specific collections of music files; various examples of MIR tools for specific collections are described in Typke et al. (2005)

To make up for these existing downsides, we designed MusicXML Analyzer, a generic MIR system that allows for the analysis of arbitrary documents encoded in MusicXML format.

Frameworks used for MusiXML Analyzer

  • Laravel: PHP framework
  • jQuery: JavaScript framework
  • Bootstrap: CSS framework
  • D3.js: JavaScript library for visualization / diagrams
  • Typed.js: JavaScript library for status messages
  • Dropzone.js: JavaScript library for file upload
  • jsPDF: JavaScript library for PDF export
  • Vexflow: JavaScript library for the creation of virtual scores
  • Midi.js: JavaScript library for the creation of midi files

References

Typke, R., Wiering, F. and Veltkamp, R. C. (2005). A survey of music information retrieval systems. Proceedings of the 6th International Conference on Music Information Retrieval (ISMIR) 2005, pp. 153–160.

Resources

Kooperationsvereinbarung mit dem Haus der Bayerischen Geschichte

Das Haus der Bayerischen Geschichte arbeitet mit den Medieninformatik-Lehrstühlen der Universität Regensburg und der Ostbayerischen Technischen Hochschule (OTH) Amberg-Weiden zusammen, um Geschichte innovativ und digital zu erzählen.

Am 15. Juni 2016 wurde nun durch Dr. Ludwig Spaenle, bayerischer Staatsminister für Bildung und Kultus, Wissenschaft und Kunst, Prof. Dr. Udo Hebel, Präsident der Universität Regensburg und Prof. Dr. Andrea Klug, Präsidentin der OTH Amberg- Weiden, feierlich eine Kooperationsvereinbarung unterzeichnet.

kooperationsvereinbarung

Unterzeichnung der Kooperationsvereinbarung mit dem Haus der Bayerischen Geschichte.

Unsere Digital Humanities-Arbeitsgruppe wird in dieser Kooperation das Haus der Bayerischen Geschichte mit innovativen Ideen und Konzepten im Bereich „digitales Museum“ unterstützten. Erste Prototypen, etwa ein interaktives Dialektquiz, liegen bereits vor, weitere Projekte werden im laufenden Medieninformatik-Forschungsseminar (SS 2016) „Kulturinformatik: Museum digital, Kulturportale“ entwickelt.

Katharsis – Ein Werkzeug für die quantitative Dramenanalyse

Von 7. – 8. Juni findet an der Universität Hamburg das Forum CA3 2016 statt, bei dem CLARIN-D seine „Angebote zum Auffinden, Auswerten und Aufbewahren von Sprachressourcen für die Forschung und Lehre in den Geistes- und Sozialwissenschaften vorstellt“. Neben einem spannenden Vortragsprogramm mit mehreren Keynotes wird es auch eine Hands-On Session zur Präsentation von digitalen Werkzeugen und Nutzerszenarien geben.

Wir stellen im Zuge dessen unseren Prototypen Katharsis vor, ein webbasiertes Tool zu quantitativen Analyse von Dramen.

katharsis-poster

Abstract (PDF):

Bibliographische Angaben: Manuel Burghardt, Katrin Dennerlein, Thomas Schmidt, Johanna Mühlenfeld & Christian Wolff (2016). Katharsis – Ein Werkzeug für die quantitative Dramenanalyse. CLARIN-D Forum CA3, 7.-8. Juni 2016, Hamburg.

Mit dem Begriff des „Distant Reading“ führt Moretti (2000) einen zentralen Begriff in den Digital Humanities ein, der zu einer anhaltenden Diskussion um quantitative Methoden in der Literatur- und Kulturwissenschaft führte. Vor diesem Hintergrund sind Dramen eine besonders interessante literarische Gattung, da sie neben dem eigentlichen Text weitere gut quantifizierbare Elemente, wie etwa ein abgeschlossenes Figureninventar sowie eine Akt-/Szenenstruktur, beinhalten. Dementsprechend finden sich frühe Belege für eine „mathematische Poetik“ (Marcus, 1970), welche interessante Ansätze für die quantitative Dramenanalyse beinhaltet. Ein zentraler Begriff ist hier die „Konfiguration“, welche im Wesentlichen die Menge aller Figurenkonstellationen innerhalb eines Stücks beschreibt. Eine typische Form der Visualisierung dafür ist die sogenannte Konfigurationsmatrix, welche das Auftreten aller Figuren in allen Szenen zusammenfassend darstellt und darüber hinaus die Berechnung einer Konfigurationsdichte als Indiz für die Populationsdichte innerhalb eines Dramas erlaubt. Auch viele Jahre nach Marcus sind quantitative Dramenanalyseansätze weiterhin populär, was u.a. durch aktuelle Digital Humanities-Projekte in diesem Bereich belegt wird (vgl. Ilsemann, 2013; Trilcke et al., 2015; Wilhelm et al. 2013).

Mit Katharsis präsentieren wir einen Prototypen, mit dem es möglich ist ein Korpus aus ca. 100 deutschen Dramen (verfügbar über das TextGrid-Repository: https://textgridrep.org/) automatisch anhand ihrer Konfigurationen zu analysieren und die Ergebnisse in einer interaktiven Webschnittstelle darzustellen. Im Ergebnis können so beliebige Dramen ausgegeben und anhand quantitativer Parameter, wie etwa der Anzahl der Akte, der Figuren, der Konfigurationsdichte, der Replikenzahl und der Replikenlänge, verglichen werden (vgl. Abb. 1 und Abb. 2). Zusätzlich kann jedes Drama mit entsprechenden Detailanalysen in Form einer interaktiven Konfigurationsmatrix dargestellt werden (vgl. Abb. 3). Erste Fallstudien mit dem Katharsis-Prototypen wurden bereits erfolgreich durchgeführt (Dennerlein, 2015).

katharsis-1Abb. 1: Quantitative Informationen für alle Dramen Friedrich Schillers (innerhalb des Katharsis-Korpus).

katharsis-2Abb. 2: Vergleichende Analyse für alle Dramen im Katharsis-Korpus.

katharsis-3Abb. 3: Ausschnitt aus der interaktiven Konfigurationsmatrix für Schillers Stück “Maria Stuart”.

Bibliographie

LREC 2016

Die 10. internationale Konferenz „Language Resources and Evaluation“ (LREC) findet in diesem Jahr von 23. – 28. Mai in Portorož (Slowenien) statt. Wie Nicoletta Calzolari (Conference Chair) in ihrer Eröffnung anmerkte, ist die LREC laut Google Scholar-Ranking nach ACL, EMNLP und NAACL die wichtigste Konferenz im Bereich Computational Linguistics. Weiterhin wurden einigen interessante Auswertungen zu den LREC 2016-Einreichungen gezeigt: So sind die in den Beiträgen mit Abstand am häufigsten beschriebenen linguistischen Resourcen Korpora und Lexika sowie auch Tagger/Parser, Treebanks, Evaluationsdatensätze, generische Software Toolkits, Annotationstools, Korpustools, Ontologien u.v.m. Über 3/4 der Ressourcen beschäftigt sich mit geschriebener Sprache, der Rest mit gesprochener Sprache, Zeichensprache oder mit multimodalen Sprachdaten.

Aus Regensburg wurde auf der LREC 2016 ein Beitrag zur Erstellung eines Dialektlexikons des Bayerischen mithilfe von Facebookgruppen präsentiert. Dabei werden die Daten automatisiert aus einer offenen Facebookgruppe, die hauptsächlich in Dialekt schreibt, extrahiert. Im nächsten Schritt übersetzen die Mitglieder dieser Gruppe mithilfe eines selbst entwickelten Crowdsourcingtools die häufigsten Dialektwörter. Der Foliensatz zum Vortrag findet sich hier:

LREC-2016-Slides-Frontpage

Der entsprechende Artikel ist über die LREC-Proceedings frei verfügbar: http://www.lrec-conf.org/proceedings/lrec2016/pdf/820_Paper.pdf

Abstract: Data acquisition in dialectology is typically a tedious task, as dialect samples of spoken language have to be collected via questionnaires or interviews. In this article, we suggest to use the “web as a corpus” approach for dialectology. We present a case study that demonstrates how authentic language data for the Bavarian dialect (ISO 639-3:bar) can be collected automatically from the social network Facebook. We also show that Facebook can be used effectively as a crowdsourcing platform, where users are willing to translate dialect words collaboratively in order to create a common lexicon of their Bavarian dialect. Key insights from the case study are summarized as “lessons learned”, together with suggestions for future enhancements of the lexicon creation approach.

Auch das Thema „Digital Humanities“ scheint auf der LREC zunehmend an Bedeutung zu gewinnen, was sich u.a. an einer eigenen DH-Session mit den folgenden Themen zeigt:

Weitere Dialekt-Ressourcen im Web:

DH-Blockseminar für angehende Bibliothekare

dh-books-header
Am 18.4.2016 wurde von Manuel Burghardt und Christian Wolff ein 6-stündiger Digital Humanities-Blockkurs an der Fachhochschule für öffentliche Verwaltung und Rechtspflege (FHVR) im Fachbereich Archiv- und Bibliothekswesen (München) abgehalten. Dabei wurden zum einen Geschichte und Entwicklung sowie zentrale Konzepte und Herausforderungen der Digital Humanities vorgestellt, und zum anderen in einer praktischen Übung computer-basierte Textanalysen mit dem Online-Tool Voyant mit den Seminarteilnehmern erprobt.

Aus dem offiziellen Kurskommentar:

Die Durchdringung aller Wissenschaftsbereiche durch Informationstechnologie prägt auch die geistes- und kulturwissenschaftlichen Fächer. Neben der Unterstützung der wissenschaftlichen Arbeit durch geeignete Werkzeuge verändern sich auch die Methoden und Fragestellungen. Unter dem Schlagwort „Digital Humanities“ werden diese Entwicklungen gemeinhin zusammengefasst.

Der Blockkurs zeigt in zwei Vorlesungsblöcken kurz die Geschichte und die rasante Entwicklung der Digital Humanities auf und macht dabei deutlich, warum der Einsatz computergestützter Methoden in den Geisteswissenschaften – anders als etwa in den Naturwissenschaften – besondere Herausforderungen mit sich bringt. Durch zahlreiche praktische Beispiele wird das breite Spektrum der aktuellen Digital Humanities-Landschaft anschaulich gemacht und ein kurzer Überblick zu bestehenden Tools und Methoden in den Digital Humanities gegeben.

In einer gemeinsamen Übung wird schließlich ein exemplarisches Tool zur computergestützten Textanalyse vorgestellt und zusammen mit den Kursteilnehmern erprobt.

Für alle Interessierten finden sich hier die entsprechenden Kursmaterialien:

Online-Ressourcen: