Kategorie: Linguistik

Projektvorstellung auf der Journée créole 2017

Zusammen mit Dr. Evelyn Wiesinger und Dr. habil. Alexander M. Teixeira Kalkhoff aus der Romanistik, werde ich am 3. März 2017 in Regensburg auf der Journée créole ein aktuelles Projektvorhaben im Bereich der digitalen Aufbereitung und der quantitativen Analyse von Kreolsprachen – insbesondere des Créole guyanais – vorstellen.

Arbeitstitel des Vortrags/Projekts:

Digitale Aufbereitung eines Kreolkorpus: state of the art, Desiderata und technische Machbarkeit

Journée créole 2017

Ziele des Projekts

1. Überführung der MS Word-Korpusdatein in XML

Ausgangslage: Transkriptionen von Interviews mit Sprechern des Créole Guyanais wurden von Evelyn Wiesinger erstellt und liegen aktuell als MS Word-Dokumente vor.

creol corpus

Ziel: Informationsextraktion mithilfe regulärer Ausdrücke und Überführung in eine XML-Struktur

creol xml

2. Semi-automatische Glossierung der Korpusdaten

Mithilfe maschineller Lernansätze sollen anhand manuell generierter Trainingsdaten weitere Transkripte automatisiert mit Glossierungsinformationen (vgl. Leipzig Glossing Rules) annotiert werden.

creol glossing

3. Quantitative Analysen der textuellen Korpusdaten

Hier sollen Standardverfahren aus der Korpuslinguistik (Frequenzen, Konkordanzen, Kollokationen, etc.) zum Einsatz kommen.

4. Alignierung von Kreol-Audioaufnahmen und textueller Transkription

Die Alignierung von Audio und Text erfolgt zunächst mit den MAUS-Tools.

Audio Text Alignment

Im nächsten Schritt sollen in einem Web-Interface Audiospur und Transkription parallel dargestellt werden. Ein erster JavaScript-Prototyp für HTML/JS-Audio-Text-Alignierung wurde bereits vom Kollegen Alexander Bazo entwickelt: TranscriptPlayer.js

5. Web-Korpus-Interface zur Suche nach Schlüsselwörtern / Metadaten

Alle so erschlossenen Daten sollen am Ende in einem webbasierten Informationssystem mit integriertem Analyse-Dashboard und einer umfangreichen Suchfunktion verfügbar sein. Beispielhafte Suchanfragen, die mit dem System umgesetzt werden können:

  • Finde alle Sätze die aus mehr als 5 Wörtern bestehen und in denen ein frz. Wort vorkommt.
  • Finde alle Sätze von weiblichen Kreolsprecherinnen, in denen das Wort „mo“ vorkommt.

Das Ergebnis der Suchanfragen soll jeweils eine quantitative Analyse der Ergebnismenge sowie eine interaktive Darstellung der entsprechenden Text- und Audiodaten sein.

Verwandte Projekte und Literatur:

DHd 2017 in Bern

Auch in diesem Jahr ist die Regensburger Arbeitsgruppe Digital Humanities mit zwei Beiträgen auf der DHd vertreten, die erstmalig in der Schweiz stattfindet. Die DHd ist die größte Digital Humanities-Konferenz im deutschsprachigen Raum (ca. 300 Teilnehmer), und wird seit 2014 jährlich an unterschiedlichen Standorten abgehalten (2014: Passau, 2015: Graz, 2016: Leipzig, 2017: Bern).

Wir präsentieren zwei Posterbeiträge zu laufenden Digital Humanities-Projekten an der Universität Regensburg.

Den vollständigen Abstractband der Konferenz finden Sie hier als PDF-Download (33 MB).

1. Digitale Erschließung einer Sammlung von Volksliedern aus dem deutschsprachigen Raum

Dieser Beitrag beschreibt ein laufendes Projekt zur digitalen Erschließung einer großen Sammlung von Volksliedern aus dem deutschsprachigen Raum, mit dem Ziel diese später über ein öffentliches Informationssystem verfügbar zu machen. Im Poster werden Herausforderungen bei der digitalen Erschließung dieser Sammlung diskutiert. Konkret stellen wir die Ergebnisse einer OCR-Studie für die automatische Erkennung von Liedtexten sowie auch eine OMR-Studie für die Erfassung der monophonen, handschriftlichen Melodien vor. Es zeigt sich, dass OMR-Tools hier keine zufriedenstellenden Ergebnisse liefern können. Als alternativer Erschließungsansatz wurde deshalb ein webbasiertes Transkriptionstool für einen Crowdsourcing-Ansatz umgesetzt.

Allegro-Transkriptionstool: http://138.68.106.29/

liedblatt-poster_thumbnail

Downloads

  • Poster-Download über ResearchGate (PDF)
  • Paper-Download über ResearchGate (PDF)

2. PaLaFra: Entwicklung einer Annotationsumgebung für ein diachrones Korpus spätlateinischer und altfranzösischer Texte

Weiterhin stellen wir das DFG/ANR-geförderte Kooperationsprojekt PaLaFra (Vom Latein zum Französischen: Aufbau und Analyse eines digitalen Korpus spätlateinischer und altfranzösischer Texte) vor.

palafra-poster_thumbnail

Quelle Kartenausschnitt: Karte: MacKay, Angus. & Ditchburn, David. (1997). Atlas of medieval Europe. London ; New York: Routledge.

Downloads

  • Poster-Download über ResearchGate (PDF)
  • Paper-Download über ResearchGate (PDF)

 

 

LREC 2016

Die 10. internationale Konferenz „Language Resources and Evaluation“ (LREC) findet in diesem Jahr von 23. – 28. Mai in Portorož (Slowenien) statt. Wie Nicoletta Calzolari (Conference Chair) in ihrer Eröffnung anmerkte, ist die LREC laut Google Scholar-Ranking nach ACL, EMNLP und NAACL die wichtigste Konferenz im Bereich Computational Linguistics. Weiterhin wurden einigen interessante Auswertungen zu den LREC 2016-Einreichungen gezeigt: So sind die in den Beiträgen mit Abstand am häufigsten beschriebenen linguistischen Resourcen Korpora und Lexika sowie auch Tagger/Parser, Treebanks, Evaluationsdatensätze, generische Software Toolkits, Annotationstools, Korpustools, Ontologien u.v.m. Über 3/4 der Ressourcen beschäftigt sich mit geschriebener Sprache, der Rest mit gesprochener Sprache, Zeichensprache oder mit multimodalen Sprachdaten.

Aus Regensburg wurde auf der LREC 2016 ein Beitrag zur Erstellung eines Dialektlexikons des Bayerischen mithilfe von Facebookgruppen präsentiert. Dabei werden die Daten automatisiert aus einer offenen Facebookgruppe, die hauptsächlich in Dialekt schreibt, extrahiert. Im nächsten Schritt übersetzen die Mitglieder dieser Gruppe mithilfe eines selbst entwickelten Crowdsourcingtools die häufigsten Dialektwörter. Der Foliensatz zum Vortrag findet sich hier:

LREC-2016-Slides-Frontpage

Der entsprechende Artikel ist über die LREC-Proceedings frei verfügbar: http://www.lrec-conf.org/proceedings/lrec2016/pdf/820_Paper.pdf

Abstract: Data acquisition in dialectology is typically a tedious task, as dialect samples of spoken language have to be collected via questionnaires or interviews. In this article, we suggest to use the “web as a corpus” approach for dialectology. We present a case study that demonstrates how authentic language data for the Bavarian dialect (ISO 639-3:bar) can be collected automatically from the social network Facebook. We also show that Facebook can be used effectively as a crowdsourcing platform, where users are willing to translate dialect words collaboratively in order to create a common lexicon of their Bavarian dialect. Key insights from the case study are summarized as “lessons learned”, together with suggestions for future enhancements of the lexicon creation approach.

Auch das Thema „Digital Humanities“ scheint auf der LREC zunehmend an Bedeutung zu gewinnen, was sich u.a. an einer eigenen DH-Session mit den folgenden Themen zeigt:

Weitere Dialekt-Ressourcen im Web:

DH-Blockseminar für angehende Bibliothekare

dh-books-header
Am 18.4.2016 wurde von Manuel Burghardt und Christian Wolff ein 6-stündiger Digital Humanities-Blockkurs an der Fachhochschule für öffentliche Verwaltung und Rechtspflege (FHVR) im Fachbereich Archiv- und Bibliothekswesen (München) abgehalten. Dabei wurden zum einen Geschichte und Entwicklung sowie zentrale Konzepte und Herausforderungen der Digital Humanities vorgestellt, und zum anderen in einer praktischen Übung computer-basierte Textanalysen mit dem Online-Tool Voyant mit den Seminarteilnehmern erprobt.

Aus dem offiziellen Kurskommentar:

Die Durchdringung aller Wissenschaftsbereiche durch Informationstechnologie prägt auch die geistes- und kulturwissenschaftlichen Fächer. Neben der Unterstützung der wissenschaftlichen Arbeit durch geeignete Werkzeuge verändern sich auch die Methoden und Fragestellungen. Unter dem Schlagwort „Digital Humanities“ werden diese Entwicklungen gemeinhin zusammengefasst.

Der Blockkurs zeigt in zwei Vorlesungsblöcken kurz die Geschichte und die rasante Entwicklung der Digital Humanities auf und macht dabei deutlich, warum der Einsatz computergestützter Methoden in den Geisteswissenschaften – anders als etwa in den Naturwissenschaften – besondere Herausforderungen mit sich bringt. Durch zahlreiche praktische Beispiele wird das breite Spektrum der aktuellen Digital Humanities-Landschaft anschaulich gemacht und ein kurzer Überblick zu bestehenden Tools und Methoden in den Digital Humanities gegeben.

In einer gemeinsamen Übung wird schließlich ein exemplarisches Tool zur computergestützten Textanalyse vorgestellt und zusammen mit den Kursteilnehmern erprobt.

Für alle Interessierten finden sich hier die entsprechenden Kursmaterialien:

Online-Ressourcen:

Textanalysewerkzeuge und ihr Einsatz in den Digitalen Geisteswissenschaften

Manuel Burghardt und Christian Wolff sprechen im Rahmen der DH-Summerschool in München, am 29.7.2015 zum Thema „Textanalysewerkzeuge und ihr Einsatz in den Digitalen Geisteswissenschaften“. Dieser Blogpost soll einerseits den Teilnehmenden der Summerschool als Plattform zum Download bzw. zur Verlinkung relevanter Ressourcen dienen, und mag andererseits auch für all diejenigen interessant sein, die sich erstmals mit dem Thema automatische Textanalyse beschäftigen.

Foliensatz

summerschool-2015-slides

Voyant-Übung

Im Rahmen dieser Übung wird ein digitalisierter Text mit dem frei verfügbaren Web-Tool Voyant automatisch analysiert. Dabei sollen die folgenden Fragen Schritt für Schritt beantwortet werden:

  1. Aus wie vielen types und tokens besteht der Text?
  2. Welche Wörter (Lemmata) kommen am häufigsten vor (mit und ohne Stoppwortliste)?
  3. Welche Wortarten kommen am häufigsten vor?
  4. Welche Adjektive (Lemmata) kommen am häufigsten vor?
  5. Welche Kollokationen kommen im Text vor?

Zuletzt soll schließlich noch gezeigt werden, wie mit Voyant mehrere Texte anhand der oben genannten Parameter verglichen werden können

Download des Übungstexts

Als Übungstext wird das erste Kapitel von Franz Kafkas „Der Prozess“ verwendet, welcher über Projekt Gutenberg-DE frei verfügbar ist.

  • Eine grundlegend normalisierte Version des Texts finden Sie hier: kafka.txt

Foto 2

1. Aus wie vielen types und tokens besteht der Text?

Schritt 1 – Aufruf des Tools

Navigieren Sie nun zum Web-Tool Voyant: http://voyant-tools.org/

Hinweis: Für die weitere Vertiefung finden Sie ein Tutorial zum Tool unter „Voyant Getting started

Schritt 2 – Importieren des Übungstexts

Importieren Sie den Kafka-Text in Voyant indem Sie …

  • die heruntergeladene Datei „kafka.txt“ über den Upload-Dialog hochladen,
  • oder die heruntergeladene Datei „kafka.txt“ öffnen, und den Text über copy-paste in das Formularfeld einfügen,
  • oder den Link zur TXT-Datei „kafka.txt“ in das Formularfeld kopieren.

Schritt 3 – Analyse des Texts auf Types und Tokens

Betrachten Sie die Standard-Analyse von Voyant:

  • Was ist grundlegend zu sehen?
  • Aus wie vielen tokens besteht der Text?
  • Aus wie vielen types besteht der Text, und was hat es in Voyant mit sog. „unique words“ auf sich?

Beobachtung

Um types auszählen lassen zu können, müssen die Wörter zunächst auf ihre Grundformen (Lemmata) reduziert werden.

Zwischenschritt (wurde bereits vorbereitet)

Für die Beantwortung der weiteren Fragen ist eine grundlegende Wortartenannotation und Grundformenreduktion nötig. Der Übungstext wurde mit dem TreeTagger automatisch lemmatisiert und nach Wortarten annotiert (Tagset: STTS). Das Ergebnis der Annotation wurde als XML-Datei gespeichert.

Ein vollständiges Tutorial zur Erstellung eigener annotierter Ressourcen mit dem Onlinedienst WebLicht finden Sie hier: WebLicht-Tutorial

  • Download: Den Kafka-Text mit grundlegender POS-Annotation und Lemmatisierung finden Sie hier: kafka.xml

2. Welche Wörter (Lemmata) kommen am häufigsten vor (mit und ohne Stoppwortliste)?

Schritt 1 – Betrachten der XML-Datei „kafka.xml“

Öffnen Sie die XML-Datei „kafka.xml“ in einem beliebigen Editor, und betrachten Sie deren grundlegende Struktur.

  • Welche Informationen sind als Annotationen im Dokument hinzugefügt worden?

Exkurs – Selektion spezifischer Dokumentteile mit XPath

XPath ist ein einfacher Selektionsmechanismus, mit dem Sie spezifische Dokumentteile in einem XML-Dokument auswählen können.

Ein grundlegendes Tutorial zu XPath finden Sie hier: http://www.w3schools.com/xsl/xpath_intro.asp

XPath-Beispiel-01

Schritt 2 – Hochladen der XML-Datei auf Voyant und Definition eines XPath-Ausdrucks

Navigieren Sie abermals zur Startseite von Voyant. Nun soll allerdings nicht der gesamte Text eingelesen werden, sondern nur die Wörter, die innerhalb eines <lemma>-Tags stehen. Klicken Sie hierzu auf das kleine Zahnrad und definieren Sie im Feld „XPath to content“ den folgenden XPath-Ausdruck:

/DocumentElement/Table1/lemma

XPath-Voyant-01Laden Sie nun über den Upload-Dialog die Datei „kafka.xml“ hoch. Das Ergebnis ist eine Voyant-Analyse über der Lemma-Teilmenge des Dokuments, also ausschließlich der Grundformen.

Beobachtung

Nicht ganz unerwartet sind in unserem Übungstext bestimmte und unbestimmte Artikel, Konjunktionen, Personalpronomen, etc. besonders hochfrequent. Da solche Wörter typischerweise keine oder nur geringe semantische Aussagekraft haben – man spricht auch von sogenannten Synsemantika – werden sie meist mithilfe von Stoppwortlisten von der Korpusanalyse ausgenommen. Auch Voyant stellt solche Stoppwortlisten bereit, die bei Bedarf an spezifische Anwendungszwecke angepasst werden können.

Schritt 3 – Anwendung der deutschen Stoppwortliste

Wenden Sie die deutsche Stoppwortliste in Voyant (Wordcloud-Fenster > „Zahnrad-Icon“ > „Stop Word Lists“ > „German“) auf das Lemma-Teilkorpus an. Markieren Sie außerdem die Checkbox „Apply Stop Words Globally“, damit die Stoppwortliste auch für andere Analysedarstellungen in Voyant angewendet wird, und Sie eine konsistente Analyse bekommen.

Voyant-Stopwords

Nach Anwendung der Stoppwortliste zeigt sich, dass relativ viele „unknowns“ im Text sind.

Zur Erläuterung: Wo sich der TreeTagger nicht sicher ist, wie das Lemma oder die Wortart eines Wortes lautet, trägt das Programm den Wert „unknown“ ein.

Schritt 4 – XPath-Ausdruck zur Analyse der unknowns

Formulieren Sie nun in Voyant einen XPath-Ausdruck, der den Inhalt aller Wort-Elemente selektiert, welche im Lemma-Tag den Wert „unknown“ haben:

/DocumentElement/Table1[lemma='unknown']/word
  • Ist plausibel warum der TreeTagger gerade diese Wörter nicht erkannt hat?

3. Welche Wortarten kommen am häufigsten vor?

Nachdem bereits XPath-Abfragen zur Lemma-Information einzelner Wörter erstellt wurden, soll nun die Wortarten-Information abgefragt werden. Definieren Sie in Voyant einen XPath-Ausdruck der alle Wortarten-Werte selektiert:

/DocumentElement/Table1/pos

Die Wortarten sind mithilfe der Kürzel aus dem STTS getaggt worden. Es zeigt sich, dass „normale Nomen“ (NN), „Personalpronomen“ (PPER), und „Adverbien“ (ADV) zu den drei häufigsten Wortarten gehören.

4. Welche Adjektive (Lemmata) kommen am häufigsten vor?

Definieren Sie nun in Voyant einen XPath-Ausdruck, der alle Lemmata selektiert die Adjektive sind:

/DocumentElement/Table1[pos='ADJD']/lemma

5. Welche Kollokationen kommen im Text vor?

Voyant hält eine Vielzahl unterschiedlicher Analysetools und Visualisierungen bereit.

Eine ausführliche Erklärung all dieser Tools finden Sie hier: http://docs.voyant-tools.org/tools/

Schritt 1

Laden Sie wiederum den Kafka-Text (kafka.xml) hoch und selektieren Sie alle Lemmata (siehe Aufgabe 2).

/DocumentElement/Table1/lemma

Schritt 2

Wenden Sie die deutsche Stoppwortliste an, und ergänzen Sie das Wort „unknown“, um alle unbekannten Lemmata aus der Analyse auszunehmen.

Schritt 3

Öffnen Sie nun das Tool „Collocate Clusters“ im Fenster links, Mitte  („Summary“) über das Diskettensymbol > „URL for a different tool / skin and current data“ > „Collocate Cluster“ > „Open this URL in a new window“.

collocate-clustersSchritt 4

Analyse der Kollokationen

 6. Vergleich von mehreren Texten

Schritt 1 – Herunterladen weiterer Kafka-Texte

Nun sollen mehrere Texte miteinander verglichen werden. Laden Sie sich hierzu zwei weitere Kafka-Texte herunter:

Originalquelle Projekt Gutenberg-DE:

Download der normalisierten Textdateien:

Der Einfachheit halber können Sie einfach die folgenden Links in das Voyant-Formular kopieren:

https://dl.dropboxusercontent.com/u/4194636/kafka.txt
https://dl.dropboxusercontent.com/u/4194636/kafka2.txt
https://dl.dropboxusercontent.com/u/4194636/kafka3.txt

 Schritt 2 – Vergleichende Analyse der Texte

voyant-textvergleichOnline-Version der obigen Analyse.

Digitale Textsammlungen im Web

Digitale Textanalysewerkzeuge

Natural Language Processing Tools zur „Vorverarbeitung

Literaturhinweise / Weblinks

DH-Projektstelle in Regensburg zu besetzen

Für das DFG-Projekt „PaLaFra“ ist ab April 2015 eine Stelle im Bereich Computerlinguistik / Informatik zu besetzen.

Sie unterstützen eine interdisziplinäre Forschungsgruppe aus Romanisten, Korpus- und Computerlinguisten bei der Erforschung des Übergangs vom Latein zum Altfranzösischen. Typische Aufgaben umfassen die automatische Satzsegmentierung, Tokenisierung, Lemmatisierung, morpho-syntaktische und syntaktische Annotation sowie die Alignierung unterschiedlicher Texte als Parallelkorpus. Auf Basis dieser Vorverarbeitungsschritte sollen Heuristiken entworfen werden, die es erlauben, mithilfe von maschinellen Lernverfahren Annotationsvorschläge für eine weiterreichende, diskurspragmatische Annotation zu entwickeln. Schließlich soll das annotierte Korpus unter Berücksichtigung bestehender Analyse-Tools, wie etwa der TXM-Plattform, ausgewertet werden, und über eine Weboberfläche verfügbar gemacht werden. Die Projektstelle bietet die Möglichkeit einer wissenschaftlichen Weiterqualifikation im Rahmen einer Promotion.

Weitere Details zur Stellenausschreibung finden Sie hier.

Deutsch-französische Kooperation im Bereich der Digital Humanities: PaLaFra

Die drei Regensburger Wissenschaftler, Prof. Maria Selig, Dr. Rembert Eufe (beide Institut für Romanistik) und Prof. Christian Wolff (Institut für Information und Medien, Sprache und Kultur) haben gemeinsam mit französischen Kolleginnen und Kollegen von der École Normale Supérieure in Lyon und der Universität Lille einen Erfolg bei der Deutschen Forschungsgemeinschaft und der Agence Nationale de Recherche errungen. Ihr gemeinsames Projekt PaLaFra (Le passage du latin au français) bereitet die Publikation eines im Netz frei konsultierbaren Korpus von spätlateinischen und altfranzösischen Texten vor und wird mit einem Finanzvolumen von etwa 750 000 Euro (Laufzeit 36 Monate) gefördert. Die Vorbereitung dieser deutsch-französischen Kooperation wurde vom Bayerisch-Französischen Hochschulzentrum (BFHZ) unterstützt. Die Projektarbeit soll im April 2015 starten.

Die Kooperation wird dazu beitragen, die Internationalisierung der Regensburger Universität im Bereich der Forschung voranzutreiben und den an beiden Lehrstühlen bereits bestehenden Schwerpunkt im Bereich der historischen Korpuslinguistik weiter auszubauen. In Zusammenarbeit mit den französischen Kollegen, die im Bereich der Digital Humanities und der elektronisch unterstützten Korpuslinguistik bereits seit langem ausgewiesen sind, werden neuartige digitale Ressourcen bereitgestellt, die an die Regensburger Forschungen im Bereich des Textmining und des Usability Engineerings anschließen. Ziel ist es, ein Korpus aufzubauen, das durch die Kombination von Lemmatisierung, syntaktischer Annotation und diskurspragmatischen und texttypologischen Deskriptoren komplexe Abfragestrategien ermöglicht, die eine qualitativ neuartige Nutzung der Texte bei der Rekonstruktion des lateinisch-romanischen Sprachwandels garantieren.

Ansprechpartner: Prof. Christian Wolff