Kategorie: Tools

LREC 2016

Die 10. internationale Konferenz „Language Resources and Evaluation“ (LREC) findet in diesem Jahr von 23. – 28. Mai in Portorož (Slowenien) statt. Wie Nicoletta Calzolari (Conference Chair) in ihrer Eröffnung anmerkte, ist die LREC laut Google Scholar-Ranking nach ACL, EMNLP und NAACL die wichtigste Konferenz im Bereich Computational Linguistics. Weiterhin wurden einigen interessante Auswertungen zu den LREC 2016-Einreichungen gezeigt: So sind die in den Beiträgen mit Abstand am häufigsten beschriebenen linguistischen Resourcen Korpora und Lexika sowie auch Tagger/Parser, Treebanks, Evaluationsdatensätze, generische Software Toolkits, Annotationstools, Korpustools, Ontologien u.v.m. Über 3/4 der Ressourcen beschäftigt sich mit geschriebener Sprache, der Rest mit gesprochener Sprache, Zeichensprache oder mit multimodalen Sprachdaten.

Weiterlesen

DH-Blockseminar für angehende Bibliothekare

dh-books-header
Am 18.4.2016 wurde von Manuel Burghardt und Christian Wolff ein 6-stündiger Digital Humanities-Blockkurs an der Fachhochschule für öffentliche Verwaltung und Rechtspflege (FHVR) im Fachbereich Archiv- und Bibliothekswesen (München) abgehalten. Dabei wurden zum einen Geschichte und Entwicklung sowie zentrale Konzepte und Herausforderungen der Digital Humanities vorgestellt, und zum anderen in einer praktischen Übung computer-basierte Textanalysen mit dem Online-Tool Voyant mit den Seminarteilnehmern erprobt.

Aus dem offiziellen Kurskommentar:

Die Durchdringung aller Wissenschaftsbereiche durch Informationstechnologie prägt auch die geistes- und kulturwissenschaftlichen Fächer. Neben der Unterstützung der wissenschaftlichen Arbeit durch geeignete Werkzeuge verändern sich auch die Methoden und Fragestellungen. Unter dem Schlagwort „Digital Humanities“ werden diese Entwicklungen gemeinhin zusammengefasst.

Der Blockkurs zeigt in zwei Vorlesungsblöcken kurz die Geschichte und die rasante Entwicklung der Digital Humanities auf und macht dabei deutlich, warum der Einsatz computergestützter Methoden in den Geisteswissenschaften – anders als etwa in den Naturwissenschaften – besondere Herausforderungen mit sich bringt. Durch zahlreiche praktische Beispiele wird das breite Spektrum der aktuellen Digital Humanities-Landschaft anschaulich gemacht und ein kurzer Überblick zu bestehenden Tools und Methoden in den Digital Humanities gegeben.

In einer gemeinsamen Übung wird schließlich ein exemplarisches Tool zur computergestützten Textanalyse vorgestellt und zusammen mit den Kursteilnehmern erprobt.

Für alle Interessierten finden sich hier die entsprechenden Kursmaterialien:

Online-Ressourcen:

Weiterlesen

Textanalysewerkzeuge und ihr Einsatz in den Digitalen Geisteswissenschaften

Manuel Burghardt und Christian Wolff sprechen im Rahmen der DH-Summerschool in München, am 29.7.2015 zum Thema „Textanalysewerkzeuge und ihr Einsatz in den Digitalen Geisteswissenschaften“. Dieser Blogpost soll einerseits den Teilnehmenden der Summerschool als Plattform zum Download bzw. zur Verlinkung relevanter Ressourcen dienen, und mag andererseits auch für all diejenigen interessant sein, die sich erstmals mit dem Thema automatische Textanalyse beschäftigen.

Foliensatz

summerschool-2015-slides

Voyant-Übung

Im Rahmen dieser Übung wird ein digitalisierter Text mit dem frei verfügbaren Web-Tool Voyant automatisch analysiert. Dabei sollen die folgenden Fragen Schritt für Schritt beantwortet werden:

  1. Aus wie vielen types und tokens besteht der Text?
  2. Welche Wörter (Lemmata) kommen am häufigsten vor (mit und ohne Stoppwortliste)?
  3. Welche Wortarten kommen am häufigsten vor?
  4. Welche Adjektive (Lemmata) kommen am häufigsten vor?
  5. Welche Kollokationen kommen im Text vor?

Zuletzt soll schließlich noch gezeigt werden, wie mit Voyant mehrere Texte anhand der oben genannten Parameter verglichen werden können

Download des Übungstexts

Als Übungstext wird das erste Kapitel von Franz Kafkas „Der Prozess“ verwendet, welcher über Projekt Gutenberg-DE frei verfügbar ist.

  • Eine grundlegend normalisierte Version des Texts finden Sie hier: kafka.txt

Foto 2

1. Aus wie vielen types und tokens besteht der Text?

Schritt 1 – Aufruf des Tools

Navigieren Sie nun zum Web-Tool Voyant: http://voyant-tools.org/

Hinweis: Für die weitere Vertiefung finden Sie ein Tutorial zum Tool unter „Voyant Getting started

Schritt 2 – Importieren des Übungstexts

Importieren Sie den Kafka-Text in Voyant indem Sie …

  • die heruntergeladene Datei „kafka.txt“ über den Upload-Dialog hochladen,
  • oder die heruntergeladene Datei „kafka.txt“ öffnen, und den Text über copy-paste in das Formularfeld einfügen,
  • oder den Link zur TXT-Datei „kafka.txt“ in das Formularfeld kopieren.

Schritt 3 – Analyse des Texts auf Types und Tokens

Betrachten Sie die Standard-Analyse von Voyant:

  • Was ist grundlegend zu sehen?
  • Aus wie vielen tokens besteht der Text?
  • Aus wie vielen types besteht der Text, und was hat es in Voyant mit sog. „unique words“ auf sich?

Beobachtung

Um types auszählen lassen zu können, müssen die Wörter zunächst auf ihre Grundformen (Lemmata) reduziert werden.

Zwischenschritt (wurde bereits vorbereitet)

Für die Beantwortung der weiteren Fragen ist eine grundlegende Wortartenannotation und Grundformenreduktion nötig. Der Übungstext wurde mit dem TreeTagger automatisch lemmatisiert und nach Wortarten annotiert (Tagset: STTS). Das Ergebnis der Annotation wurde als XML-Datei gespeichert.

Ein vollständiges Tutorial zur Erstellung eigener annotierter Ressourcen mit dem Onlinedienst WebLicht finden Sie hier: WebLicht-Tutorial

  • Download: Den Kafka-Text mit grundlegender POS-Annotation und Lemmatisierung finden Sie hier: kafka.xml

2. Welche Wörter (Lemmata) kommen am häufigsten vor (mit und ohne Stoppwortliste)?

Schritt 1 – Betrachten der XML-Datei „kafka.xml“

Öffnen Sie die XML-Datei „kafka.xml“ in einem beliebigen Editor, und betrachten Sie deren grundlegende Struktur.

  • Welche Informationen sind als Annotationen im Dokument hinzugefügt worden?

Exkurs – Selektion spezifischer Dokumentteile mit XPath

XPath ist ein einfacher Selektionsmechanismus, mit dem Sie spezifische Dokumentteile in einem XML-Dokument auswählen können.

XPath-Beispiel-01

Schritt 2 – Hochladen der XML-Datei auf Voyant und Definition eines XPath-Ausdrucks

Navigieren Sie abermals zur Startseite von Voyant. Nun soll allerdings nicht der gesamte Text eingelesen werden, sondern nur die Wörter, die innerhalb eines <lemma>-Tags stehen. Klicken Sie hierzu auf das kleine Zahnrad und definieren Sie im Feld „XPath to content“ den folgenden XPath-Ausdruck:

/DocumentElement/Table1/lemma

XPath-Voyant-01Laden Sie nun über den Upload-Dialog die Datei „kafka.xml“ hoch. Das Ergebnis ist eine Voyant-Analyse über der Lemma-Teilmenge des Dokuments, also ausschließlich der Grundformen.

Beobachtung

Nicht ganz unerwartet sind in unserem Übungstext bestimmte und unbestimmte Artikel, Konjunktionen, Personalpronomen, etc. besonders hochfrequent. Da solche Wörter typischerweise keine oder nur geringe semantische Aussagekraft haben – man spricht auch von sogenannten Synsemantika – werden sie meist mithilfe von Stoppwortlisten von der Korpusanalyse ausgenommen. Auch Voyant stellt solche Stoppwortlisten bereit, die bei Bedarf an spezifische Anwendungszwecke angepasst werden können.

Schritt 3 – Anwendung der deutschen Stoppwortliste

Wenden Sie die deutsche Stoppwortliste in Voyant (Wordcloud-Fenster > „Zahnrad-Icon“ > „Stop Word Lists“ > „German“) auf das Lemma-Teilkorpus an. Markieren Sie außerdem die Checkbox „Apply Stop Words Globally“, damit die Stoppwortliste auch für andere Analysedarstellungen in Voyant angewendet wird, und Sie eine konsistente Analyse bekommen.

Voyant-Stopwords

Nach Anwendung der Stoppwortliste zeigt sich, dass relativ viele „unknowns“ im Text sind.

Zur Erläuterung: Wo sich der TreeTagger nicht sicher ist, wie das Lemma oder die Wortart eines Wortes lautet, trägt das Programm den Wert „unknown“ ein.

Schritt 4 – XPath-Ausdruck zur Analyse der unknowns

Formulieren Sie nun in Voyant einen XPath-Ausdruck, der den Inhalt aller Wort-Elemente selektiert, welche im Lemma-Tag den Wert „unknown“ haben:

/DocumentElement/Table1[lemma='unknown']/word
  • Ist plausibel warum der TreeTagger gerade diese Wörter nicht erkannt hat?

3. Welche Wortarten kommen am häufigsten vor?

Nachdem bereits XPath-Abfragen zur Lemma-Information einzelner Wörter erstellt wurden, soll nun die Wortarten-Information abgefragt werden. Definieren Sie in Voyant einen XPath-Ausdruck der alle Wortarten-Werte selektiert:

/DocumentElement/Table1/pos

Die Wortarten sind mithilfe der Kürzel aus dem STTS getaggt worden. Es zeigt sich, dass „normale Nomen“ (NN), „Personalpronomen“ (PPER), und „Adverbien“ (ADV) zu den drei häufigsten Wortarten gehören.

4. Welche Adjektive (Lemmata) kommen am häufigsten vor?

Definieren Sie nun in Voyant einen XPath-Ausdruck, der alle Lemmata selektiert die Adjektive sind:

/DocumentElement/Table1[pos='ADJD']/lemma

5. Welche Kollokationen kommen im Text vor?

Voyant hält eine Vielzahl unterschiedlicher Analysetools und Visualisierungen bereit.

Eine ausführliche Erklärung all dieser Tools finden Sie hier: http://docs.voyant-tools.org/tools/

Schritt 1

Laden Sie wiederum den Kafka-Text (kafka.xml) hoch und selektieren Sie alle Lemmata (siehe Aufgabe 2).

/DocumentElement/Table1/lemma

Schritt 2

Wenden Sie die deutsche Stoppwortliste an, und ergänzen Sie das Wort „unknown“, um alle unbekannten Lemmata aus der Analyse auszunehmen.

Schritt 3

Öffnen Sie nun das Tool „Collocate Clusters“ im Fenster links, Mitte  („Summary“) über das Diskettensymbol > „URL for a different tool / skin and current data“ > „Collocate Cluster“ > „Open this URL in a new window“.

collocate-clustersSchritt 4

Analyse der Kollokationen

 6. Vergleich von mehreren Texten

Schritt 1 – Herunterladen weiterer Kafka-Texte

Nun sollen mehrere Texte miteinander verglichen werden. Laden Sie sich hierzu zwei weitere Kafka-Texte herunter:

Originalquelle Projekt Gutenberg-DE:

Download der normalisierten Textdateien:

Der Einfachheit halber können Sie einfach die folgenden Links in das Voyant-Formular kopieren:

https://dl.dropboxusercontent.com/u/4194636/kafka.txt
https://dl.dropboxusercontent.com/u/4194636/kafka2.txt
https://dl.dropboxusercontent.com/u/4194636/kafka3.txt

 Schritt 2 – Vergleichende Analyse der Texte

voyant-textvergleichOnline-Version der obigen Analyse.

Digitale Textsammlungen im Web

Digitale Textanalysewerkzeuge

Natural Language Processing Tools zur „Vorverarbeitung

Literaturhinweise / Weblinks

Workshop zur computer-basierten Dramenanalyse

Von 12.-13. März fand in München, an der Bayerischen Akademie der Wissenschaften, ein Workshop statt, der sich ganz der computer-basierten, quantitativen Analyse von Dramen widmete. Den offiziellen Workshop-Call finden Sie hier. Nach einer Einführung in den aktuellen Stand und die Geschichte quantitativer Dramenanalyse durch die Workshopveranstalterin Katrin Dennerlein (Uni Würzburg), folgten eine ganze Reihe von spannenden Vorträgen, die sowohl neue Ressourcen als auch eigene Analysestudien und Tools thematisierten.

Workshop Schedule

Ein weiteres Highlight war unter anderem auch die Anwesenheit von Franco Moretti, der am Stanford Literary Lab zahlreiche spannende DH-Projekte leitet, und vor allem durch sein Konzept des „Distant Reading“ Bekanntheit über die Grenzen der Digital Humanities hinaus erlangte.

Der Regensburger Beitrag von Manuel Burghardt und Thomas Wilhelm päsentierte ein Shakespeare-Visualisierungstool. Darüber hinaus wurde ein neues, gerade entstehendes Kooperationsprojekt mit Katrin Dennerlein vorgestellt, welches flexibler angelegt ist, und versucht Dramen aus dem TextGrid-Repository quantitativ zu analysieren, und die Ergebnisse dieser Analyse interaktiv in einem einfach zu bedienenden Web-Interface für Geisteswissenschaftler verfügbar zu machen. Dabei werden insbesondere quantitative Aspekte wie die Konfigurationsdichte sowie auch die Replikenlänge und Replikenanzahl von Dramentexten berücksichtigt. Den Foliensatz zum Vortrag finden Sie hier.

Foliensatz "Tools für die quantitative Dramenanalyse"

Foliensatz „Tools für die quantitative Dramenanalyse“

Interessante Tools und Ressourcen

Tools und Methoden zur quantitativen Dramenanalyse

Impressionen vom Symposium „Visual Linguistics“

View all the data – view all the combinations – view all the angles – use all the techniques! Keep looking for any kind of pattern in the data! (Mark Richard Lauersdorf, Keynote speech at „Visual Linguistics Symposium“, November 19, 2014)

Visual Linguistics SymposiumVon 19. – 21.11.2014 fand ein Symposium auf Schloss Herrenhausen in Hannover statt, dass sich ganz dem Thema  „Visualisierung im sprachwissenschaftlichen Kontext“ widmete. Dabei wurden auch zwei Beiträge aus der Regensburger Medieninformatik vorgestellt: Thomas Wilhelm berichtete über eine Weiterentwicklung seines interaktiven Tools zu Visualisierung von Shakespeare-Dramen (mehr Informationen). Manuel Burghardt präsentierte Ergebnisse aus einer umfangreichen Evaluationsstudie zur Usability von linguistischen Annotationswerkzeugen, und ging dabei vor allem auf die Rolle von unterschiedlichen Visualisierungsmöglichkeiten ein.

Neben vielen spannenden Beiträgen von Teilnehmern aus Mannheim, Dresden, München, Moskau, Athen, und anderen Standorten, war ein besonderes Highlight die Keynote von Maximilian Schich (UT Dallas), der seinen Science-Artikel (August 2014, Vol. 345 no. 6196, pp. 558-562) „A network framework of cultural history“ vorstellte. Im Kern geht es dabei um die diachrone Visualisierung von Geburts- und Sterbeorten bekannter Persönlichkeiten.

Das vollständige Programm zu „Visual Linguistics“ finden Sie hier. Es folgt ein Überblick über einige interessante Tools und Projekte, die im Rahmen des Symposiums vorgestellt wurden:

Tools

Ressourcen

Videos / Blogs

Regensburger Beiträge auf der KONVENS 2014

Auf der diesjährigen Konvens stellen wir zwei Digital Humanities-Projekte aus Regensburg vor: Sentilyzer und WebNLP.

Sentilyzer

Sentilyzer ist ein web-basiertes Tool zur Sentimentanalyse von deutschsprachigen Nutzerkommentaren zu Facebook-Seiten. Das Tools sammelt die Kommentare über die Facebook Graph API und benutzt den TreeTagger, um die Daten zu lemmatisieren. Die so lemmatisierten Daten werden dann anhand des Sentiment-Lexikons „Berlin Affective Word List – Reloaded“ (BAWL-R) analysiert und interaktiv im Browser visualisiert. Das Tool wurde bereits erfolgreich in einer Fallstudie zur Analyse von Facebook-Kommentaren zur TV-Show „Ich bin ein Star – Holt mich hier raus“ eingesetzt.

Sentilyzer: Darstellung der Sentiment Scores zur Dschungelcamp-Kandidatin Larissa Marolt entlang der Zeitachse.

Sentilyzer: Darstellung der Sentiment Scores zur Dschungelcamp-Kandidatin “Larissa Marolt” entlang der Zeitachse.

Tool-Demo: http://dh.wappdesign.net/timeline/14
Poster als PDF via ResearchGate
Publikation: Glücker, H., Burghardt, M., & Wolff, C. (2014) Sentilyzer – A Mashup Application for the Sentiment Analysis of Facebook Pages. In Ruppenhofer, J. & Faaß, G. (eds.). Workshop proceedings of the 12th edition of the KONVENS conference, S. 58 – 61. (PDF)


WebNLP

WebNLP erlaubt es über eine Web-Schnittstelle NLP-Funktionen des Python NLTK zu nutzen, und die Ergebnisse direkt im Browser darzustellen. Die Visualisierung der Ergebnisse erfolgt durch den Web-Dienst Voyant. Zudem können die Ergebnisse zur weiteren Analyse als Text- oder XML-Datei heruntergeladen werden. WebNLP macht über seine grafische Web-Schnittstelle NLP-Funktionen für ein breiteres Publikum zugänglich, und kann somit als Beitrag in Richtung Humanist-Computer Interaction gesehen werden. In der aktuellen Fassung unterstützt WebNLP als grundlegende Funktionen Tokenisierung, POS-Tagging und Lemmatisierung für englisch-sprachige Texte. Die Architektur des Tools ist allerdings so modular angelegt, dass weitere NLP-Funktionen und weitere Sprachen sukzessive ergänzt werden können.

WebNLP

Tool-Demo: http://dh.mi.ur.de/
Poster als PDF via ResearchGate
Publikation: Burghardt, M., Pörsch, J., Tirlea, B., & Wolff, C. (2014) WebNLP – An Integrated Web-Interface for Python NLTK and Voyant. In Ruppenhofer, J. & Faaß, G. (eds.). Proceedings of the 12th edition of the KONVENS conference, S. 235 – 240. (PDF)

Streetartfinder – Web-Anwendung zur Dokumentation und Kartierung von Streetart

Unter Streetart versteht man selbstautorisiert angebrachte Zeichen aller Art im urbanen Raum, die mit einem weiteren Personenkreis kommunizieren wollen. (Wikipedia-Definition zu Streetart)

Mit dem Streetartfinder liegt eine Web-Anwendung vor, die es ermöglicht Streetart-Bilder auf eine gemeinsame Plattform hochzuladen. Dabei werden Informationen zur Geolocation erfasst, welche es der Anwendung erlauben eine interaktive Karte der hochgeladenen Streetartbilder zu erstellen.

Streetart-Slideshow

Zusätzlich werden Informationen zum Uploader, zum Datum des Uploads sowie zur Streetart-Kategorie gespeichert. Zu diesen Kategorien gehören Graffiti, Stencil, Painting, Paste-Up, Installation und Sonstiges. Ziel ist der Aufbau einer umfangreichen digitalen Ressource zum Thema „Streetart“, welche in Folgestudien mit kunsthistorischen, soziologischen und kulturwissenschaftlichen Ansätzen näher untersucht werden können.


Webseite: http://streetartfinder.de/
Artikel bei kult: http://www.kult.de/neu-in-regensburg/kleine-kunstwerke-sichtbar-machen/150/11/1030914/
Facebook: https://www.facebook.com/streetartfinder

Publikation (Poster DHd 2015): „StreetartFinder – Eine Datenbank zur Dokumentation von Kunst im urbanen Raum“ (Download Poster + Extended Abstract)

To See or Not to See – Visualisierung und Analyse von Shakespeare-Dramen

„To See or Not to See“ ist ein web-basiertes Interface, welches die Visualisierung und Analyse quantitativer Aspekte aus Shakespeare-Dramen erlaubt. Die Datengrundlage stellen dabei Texte aus der Folger Digital Library, welche vollständig mit strukturellem TEI-Markup versehen sind, dar. Das Interface visualisiert dabei grundlegend welcher Character was und wieviel zu einem bestimmten Zeitpunkt im Stück sagt.

Shakespeare-Slideshow

Tool-Demo: http://www.thomaswilhelm.eu/shakespeare/

Publikation: Wilhelm, T., Burghardt, M., & Wolff, C. (2013). „To See or Not to See“ – An Interactive Tool for the Visualization and Analysis of Shakespeare Plays. In Franken-Wendelstorf, R., Lindinger, E., & Sieck, J. (eds.) Kultur und Informatik: Visual Worlds & Interactive Spaces. Verlag Werner Hülsbusch, Glückstadt, S. 175-185. (PDF)