Maschinelles Lernen Mit Python

Transcript

Maschinelles Lernen mit Python Thomas Proisl 2015-09-16 Professur für Korpuslinguistik Überblick Ziele dieses Tutorials • Mini-Einführung in maschinelles Lernen • Problemstellungen • Lernverfahren • Vorgehensweisen • Machine learning demystified • Funktionsweise eines einfachen Klassifikationsverfahrens • Merkmalsextraktion • Bag-of-words model • DARIAH NLP-Pipeline • Maschinelles Lernen mit scikit-learn • Klassifikation • Clustering • Folien und Quellcode und Beispieldaten online verfügbar: http://www.linguistik.fau.de/~tsproisl/share/Maschinelles_ Lernen_mit_Python.zip 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 3 Maschinelles Lernen – was ist das? Maschinelles Lernen (ML) Maschinelle Lernverfahren können überall eingesetzt werden, wo „Wissen“ aus Daten gewonnen werden kann: • Spielen (Backgammon, Dame) • Erkennen gesprochener Sprache (Diktiersoftware, Komponenten in sprachgesteuerter Software) • Astronomische Strukturen klassifizieren • Kreditkartenbetrug erkennen • Zielgruppenspezifische Werbung anzeigen • Trends an den Finanzmärkten vorhersagen • Krankheiten diagnostizieren • Auto fahren (Google Self-Driving Car) 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 5 ML für textuelle Daten • Maschinelle Lernverfahren operieren auf Merkmalen von Texten1 um Aussagen über die Eigenschaften von unbekannten Texten machen zu können. • Dafür werden Texte in der Regel als Vektoren quantifizierbarer Merkmale betrachtet (→ Merkmalsextraktion). Grobe Übersicht über typische Problemstellungen: • Überwachtes Lernen (supervised learning) • Klassifikation • Regression • Unüberwachtes Lernen (unsupervised learning) • Clustering • Dimensionsreduktion 1 Text: Alle textuellen Daten, vom ganzen Roman bis hin zu einzelnen Absätzen oder Sätzen 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 6 Überwachtes Lernen Wir haben annotierte Trainingsdaten und wollen weitere Daten automatisch annotieren. Klassifikation: Es handelt sich um kategorische Annotation, d.h. jeder Trainingstext ist einer Kategorie oder Klasse zugeordnet. Beispiele: Sprache, Autor, Genre Regression: Es handelt sich um numerische Annotation, d.h. jedem Trainingstext ist eine Zahl zugeordnet. Beispiele: Bewertungen, Noten, Polarität 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 7 Unüberwachtes Lernen Wir haben unannotierte Daten und wollen Strukturen darin finden. Clustering: Entdecken von Gruppen ähnlicher Texte, bspw. Texte des gleichen Autors, inhaltlich ähnliche Texte Dimensionsreduktion: Hochdimensionale Repräsentation der Texte in einen niederdimensionalen Raum projizieren, bspw. für Visualisierung, topic modelling 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 8 Vorgehensweise bei überwachtem Lernen 1. Daten sammeln und annotieren 2. Daten in ein Trainingsset und ein Testset aufteilen 3. Quantifizierbare Merkmale aus Daten extrahieren 4. Abhängig von Art der Annotation, Anzahl der Merkmale und Menge der Trainingsdaten ein Lernverfahren auswählen 5. Lernverfahren auf Trainingsdaten trainieren (lernen); Ergebnis: Modell 6. Modell auf Testset anwenden und prognostizierte Annotation mit tatsächlicher Annotation vergleichen (evaluieren) 7. Modell auf unbekannte Daten anwenden Anstelle von Trainings- und Testset kann auch Kreuzvalidierung verwendet werden. 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 9 Vorgehensweise bei Clustering 1. Daten sammeln 2. Quantifizierbare Merkmale aus Daten extrahieren 3. Abhängig von Eigenschaften des gewünschten Clusterings, Anzahl der Merkmale und Menge der Trainingsdaten ein Clusteringverfahren auswählen 4. Daten clustern; Ergebnis: Clustering und Modell 5. Optional: Modell auf unbekannte Daten anwenden Evaluation: Clustern von annotierten Daten 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 10 Welche Art von Lernverfahren eignet sich für welches der folgende Szenarien? • Wir haben eine Menge von Filmrezensionen, die eine Gesamtbewertung des Films mit einer Schulnote zwischen 1 und 6 enthalten. Wir möchten eine Sammlung alter Filmrezensionen automatisch mit einer solchen Gesamtbewertung versehen. • Wir möchten automatisch erkennen, ob es sich bei einer E-Mail um Spam handelt. • Bei einer Mitarbeiterumfrage wird in einem Freitextfeld nach dem Kantinenessen gefragt. Wir möchten automatisch die Zufriedenheit der Mitarbeiter erkennen. • Wir möchten den wahren Autor eines unter Pseudonym geschriebenen Romans herausfinden. 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 11 Scikit-learn cheat-sheet 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 12 Naive Bayes: Ein sehr einfacher Klassifikator Bedingte Wahrscheinlichkeiten und der Satz von Bayes (1) Spam • Wir haben 75 Emails • 30 von 75 Mails sind Spam als markiert • 50 von 75 Mails enthalten das Wort „Viagra“ • 20 Mails, die das Wort „Viagra“ enthalten, sind als Spam markiert Viagra • Frage: Wie hoch ist die Wahrscheinlichkeit, dass eine neue Mail, die das Wort „Viagra“ enthält, eine Spammail ist? P (A|B ) = 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python P (A ∩ B ) P (B |A)P (A) = P (B ) P (B ) 14 Bedingte Wahrscheinlichkeiten und der Satz von Bayes (2) • Antwort: P (Viagra|Spam) · P (Spam) P (Viagra) 20 30 · 30 75 = 50 75 20 = 50 = 0.4 • Wir schätzen die Wahrscheinlichkeiten aus den Daten (relative Häufigkeiten). • Simples Beispiel, für das wir den Satz von Bayes eigentlich noch nicht gebraucht hätten. P (Spam|Viagra) = 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 15 Bedingte Wahrscheinlichkeiten und der Satz von Bayes (3) • Je mehr Wörter wir betrachten (= Merkmale), desto komplexere bedingte Wahrscheinlichkeiten müssen wir abschätzen: P (Spam|Viagra) = P (Spam|Viagra, Sex) = P (Spam|Viagra, Sex, Penis) = P (Viagra|Spam)P (Spam) P (Viagra) P (Sex|Spam, Viagra)P (Viagra|Spam)P (Spam) P (Sex|Viagra)P (Viagra) P (Penis|Spam, Viagra, Sex)P (Sex|Spam, Viagra)P (Viagra|Spam)P (Spam) P (Penis|Viagra, Sex)P (Sex|Viagra)P (Viagra) • Jedes zusätzliche Wort steigert die Komplexität der Berechnung. 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 16 Naive-Bayes-Annahme • Vereinfachende Annahme (Naive-Bayes-Annahme): Vorkommen von Wörtern sind vollkommen unabhängig voneinander. • Berechnung wird einfacher: P (Viagra|Spam)P (Sex|Spam)P (Penis|Spam) P (Spam|Viagra, Sex, Penis) = P (Viagra)P (Sex)P (Penis) • Zum Abschätzen der Wahrscheinlichkeiten müssen wir nur Worthäufigkeiten in Klassen bestimmen. • Annahme ist zwar offensichtlich falsch, darauf aufbauende Klassifikation funktioniert aber überraschend gut. 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 17 Naive-Bayes-Klassifikator • Grundlegende Idee: Wir ordnen einen Text der wahrscheinlichsten Kategorie zu: P (Spam|Viagra, Sex, Penis) = P (Viagra|Spam)P (Sex|Spam)P (Penis|Spam) P (Viagra)P (Sex)P (Penis) P (Ham|Viagra, Sex, Penis) = P (Viagra|Ham)P (Sex|Ham)P (Penis|Ham) P (Viagra)P (Sex)P (Penis) • Nenner ist für alle Kategorien gleich und kann weggelassen werden. • Naive-Bayes-Klassifikator verwendet die Wörter eines Textes. • Für jede mögliche Kategorie: Multiplikation der relativen Häufigkeiten dieser Wörter in den Trainingsdaten • Zuordnung der Kategorie mit dem höchsten Wert • „Lernen“ ist die Abschätzung der bedingten Wahrscheinlichkeiten aus den Trainingsdaten 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 18 Merkmalsextraktion Das Bag-of-words-Modell (1) • Maschinelle Lernverfahren operieren in der Regel auf Vektoren von numerischen Merkmalen. • Wir müssen unsere Texte also durch quantifizierbare Merkmale repräsentieren. • Einfachste Methode ist das Bag-of-words-Modell: • Annahme: Ein Text ist eine ungeordnete Menge von Wörtern, d.h. genaue Position oder Reihenfolge der Wörter kann vernachlässigt werden. • Ausschlaggebend ist nur die Häufigkeit der Wörter. • Text wird auf seine Frequenzliste reduziert. Beispiel 1 Der Satz „Rose is a rose is a rose is a rose“ wird, unter Vernachlässigung der Groß-/Kleinschreibung, so dargestellt: {"a": 3, "is": 3, "rose": 4} 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 20 Das Bag-of-words-Modell (2) • Die Sätze „Der Hund beißt den Mann“ und „Der Mann beißt den Hund“ sind für das Bag-of-words-Modell identisch. • Einfache Erweiterung, die ein klein wenig Syntax in das Modell bringt: Verwendung von N-Grammen. Beispiel 3 Durch Hinzunahme von Bigrammen können die beiden Sätze unterschieden werden: {"beißt": 1, "der hund": {"beißt": 1, "der mann": 2015-09-16 "den": 1, "der": 1, "hund beißt": "den": 1, "der": 1, "mann beißt": | Thomas Proisl | Professur für Korpuslinguistik | 1, 1, 1, 1, "hund": 1, "mann": 1, "beißt den": 1, "den mann": 1} "hund": 1, "mann": 1, "beißt den": 1, "den hund": 1} Maschinelles Lernen mit Python 21 Wie kann der Output der DARIAH NLP-Pipeline integriert werden? Annotationsebenen: • Segmentierung: • Absätze • Sätze • Tokens • Linguistische Annotation: • • • • • • Lemmata Part-of-Speech-Tags und vereinfachte POS-Tags Morphologie: Kasus, Numerus, Genus, Person, . . . Dependenzstruktur Named Entities Konstituentenstruktur 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 22 Ein paar Ideen • Lemmata anstatt oder zusätzlich zu Tokens • Filtern nach POS-Tag (bspw. nur Inhaltswörter) • Häufigkeiten von POS-Tags • Häufigkeiten von Named Entities • Häufigkeiten von bestimmten morphologischen Informationen, bspw. für Verben Person und Numerus, Tempus • Kombination von Lemma und vereinfachtem POS-Tag: „der_ART“, „hund_NN“, „beißen_V“, „der_ART“, „mann_NN“ • Kombination von bestimmten Lemmata mit bestimmten morphologischen Informationen, bspw. Numerus für alle Substantive: „mann_sg“ • Über Dependenzrelation verbundene Tokens an Stelle von Bigrammen: „hund der“, „beißt hund“, „beißt mann“, „mann den“ • Optional mit Label: „NK(hund, der)“, „SB(beißt, hund)“, „OA(beißt, mann)“, „OA(mann, den)“ 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 23 Weitere einfach zu extrahierende Merkmale • Häufigkeiten von bestimmten Interpunktionszeichen (!?) • Häufigkeit von wörtlicher Rede • Durchschnittliche Satz- und Absatzlänge • Type-Token-Verhältnis • Verhältnis von Interpunktionszeichen zu Wörtern 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 24 Maschinelles Lernen mit scikit-learn Installation • Installationsanweisungen unter http://scikit-learn.org/stable/install.html, bspw.: pip install -U numpy scipy scikit-learn 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 26 Datenorganisation • Für unsere Beispiele: Alle Texte einer Klasse in einem Unterverzeichnis; Verzeichnisname = Klassenname; Dateiname egal Daten/ |-- Klasse_1 | |-- 01.txt | |-- 02.txt | ‘-- 03.txt |-- Klasse_2 | |-- 04.txt | |-- 05.txt | ‘-- 06.txt |-- Klasse_3 | |-- 07.txt | |-- 08.txt 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 27 Unser Spielzeugdatenset • Je acht Romane von sechs verschiedenen Autoren • Plaintext (8x6) • Ausgabe der DARIAH NLP-Pipeline (8x6_output) 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 28 Laden der Daten • Datenset laden, dabei Kodierung richtig angeben: from sklearn.datasets import load_files corpus = load_files("data/8x6", encoding="utf-8") • corpus ist ein „Bunch“, eine Menge von Datenfeldern: • • • • filenames: Liste der Dateinamen (reproduzierbar gemischt) data: Liste von Strings mit den Dateiinhalten target_names: Liste der Namen aller Klassen target: Liste der den Dateien zugeordneten Klassen • Liste der Felder: print(corpus.keys()) • Kann als Dictionary oder als Objekt angesprochen werden: print(corpus["target_names"]) print(corpus.target) 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 29 Aufteilung in Trainings- und Testset • Reproduzierbare Aufteilung in ein Trainings- und Testset • n_iter: Anzahl der verschiedenen Aufteilungen; wir wollen nur eine • test_size: Welcher Anteil der Daten soll zum Testen verwendet werden (50%) • random_state: Wenn nicht None ist die Aufteilung reproduzierbar from sklearn.cross_validation import StratifiedShuffleSplit sss = StratifiedShuffleSplit(corpus.target, n_iter=1, test_size=0.5, random_state=0) • sss ist ein Iterator, uns interessiert nur die erste mögliche Aufteilung: train_index, test_index = list(sss)[0] • data und target aufteilen (corpus.target ist ein numpy Array): data_train = [corpus.data[_] for _ in train_index] data_test = [corpus.data[_] for _ in test_index] target_train = corpus.target[train_index] target_test = corpus.target[test_index] 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 30 Merkmalsextraktion • Tokenisierung und Bag-of-words-Modell from sklearn.feature_extraction.text import CountVectorizer count_vect = CountVectorizer() data_train_counts = count_vect.fit_transform(data_train) • Relative statt absolute Häufigkeiten (term-frequencies) • norm="l1": Termfrequenzen summieren sich zu 1 • norm="l2": Dokumentvektor hat die euklidische Länge 1 (Standardwert) from sklearn.feature_extraction.text import TfidfTransformer tfidf_transformer = TfidfTransformer(norm="l2", use_idf=False) data_train_tfidf = tfidf_transformer.fit_transform(data_train_counts) • Testdaten transformieren (transform() statt fit_transform()!) data_test_counts = count_vect.transform(data_test) data_test_tfidf = tfidf_transformer.transform(data_test_counts) 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 31 Tf-Idf • Abkürzung für term frequency-inverse document frequency • tf : Häufigkeit eines Wortes in einem Text • df : In wie vielen Texten kommt ein Wort vor • idf = Anzahldf Texte • Intuition: Ein Wort ist wichtig für einen Text, wenn es in diesem Text oft vorkommt (hohe tf ), und unwichtig, wenn es selten vorkommt (niedrige tf . Ein Wort ist wichtig (spezifisch), wenn es in wenigen Texten vorkommt (hohe idf ), und unwichtig wenn es in vielen verschiedenen oder allen Texten vorkommt (niedrige idf ). • Multiplikation von tf und idf 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 32 Klassifikator trainieren und evaluieren • Naive-Bayes-Klassifikator trainieren: from sklearn.naive_bayes import MultinomialNB clf = MultinomialNB() clf.fit(data_train_tfidf, target_train) • Testdaten klassifizieren: predicted = clf.predict(data_test_tfidf) • Ergebnis evaluieren: from sklearn import metrics print(metrics.accuracy_score(target_test, predicted)) print(metrics.classification_report(target_test, predicted, target_names=corpus.target_names)) print(metrics.confusion_matrix(target_test, predicted)) 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 33 Schnittstellen sind immer gleich • fit(): Modell wird angepasst • transform(): Modell wird auf Daten angewandt • fit_transform(): Kombination von fit() und transform() • predict(): Anstelle von transform() bei Lernern 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 34 Pipelines Pipelines • Mit Pipelines können mehrere Verarbeitungsschritte einfach kombiniert werden. • Pipeline konfigurieren: text_clf = Pipeline([(’vect’, CountVectorizer()), (’tfidf’, TfidfTransformer(norm="l2", use_idf=False)), (’clf’, MultinomialNB()), ]) • Pipeline trainieren: text_clf.fit(data_train, target_train) • Testdaten klassifizieren: predicted = text_clf.predict(data_test) 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 36 Komponenten hinzufügen und austauschen • Einzelne Komponenten können dank einheitlicher Schnittstellen leicht hinzugefügt oder ausgetauscht werden. • Naive Bayes kommt nicht gut mit extrem vielen Merkmalen zurecht, Beschränkung auf 200 beste Merkmale: text_clf = Pipeline([(’vect’, CountVectorizer()), (’tfidf’, TfidfTransformer(norm="l2", use_idf=False)), (’kbest’, SelectKBest(chi2, k=200)), (’clf’, MultinomialNB()), ]) • SVMs kommen gut mit sehr vielen Merkmalen zurecht: Verwenden von Uni- und Bigrammen, lineare Support Vector Machine: from sklearn.svm import LinearSVC text_clf = Pipeline([(’vect’, CountVectorizer(ngram_range=(1, 2))), (’tfidf’, TfidfTransformer(norm="l2", use_idf=False)), (’clf’, LinearSVC()), ]) 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 37 Verwendung der DARIAH NLP-Pipeline • Das Ausgabeformat muss geparst werden: class DARIAHAnnotationExtractor(BaseEstimator, TransformerMixin): """Convert tab-separated values with header line to dict of columns""" def fit(self, x, y=None): return self def transform(self, texts): features = collections.defaultdict(list) for text in texts: # parse tsv format (list of rows) table = [[c for c in r.split("\t")] for r in text.splitlines()] # extract header line header = table[0] # convert to list of columns columns = list(zip(*table[1:])) # store in dict for name, column in zip(header, columns): features[name].append(column) return features 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 38 Kombination von Merkmalen • Verwendung von beliebigen Tupeln von Merkmalen (auch 1-Tupel): class FeatureCombiner(BaseEstimator, TransformerMixin): """Convert to dictionary of feature tuples""" def __init__(self, keys=[]): self.keys = keys def fit(self, x, y=None): return self def transform(self, data_dict): # extract desired columns (features) columns = [data_dict[k] for k in self.keys] # combine features into tuples return [collections.Counter(zip(*text)) for text in zip(*columns)] 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 39 Beispielpipelines • Bag-of-words-Modell mit Tokens: text_clf = Pipeline([(’extractor’, DARIAHAnnotationExtractor()), (’combiner’, FeatureCombiner(["Token"])), (’vect’, DictVectorizer()), (’tfidf’, TfidfTransformer()), (’clf’, LinearSVC()), ]) • Hier mit (Lemma, CPOS)-Tupeln (Kombination von Lemma und CPOS in ein einziges Merkmal): text_clf = Pipeline([(’extractor’, DARIAHAnnotationExtractor()), (’combiner’, FeatureCombiner(["Lemma", "CPOS"])), (’vect’, DictVectorizer()), (’tfidf’, TfidfTransformer()), (’clf’, LinearSVC()), ]) 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 40 FeatureUnion (1) • FeatureUnion kombiniert mehrere unabhängige Transformer in einen • Transformer werden unabhängig voneinander ausgeführt, Ausgabe wird konkateniert 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 41 FeatureUnion (2) text_clf = Pipeline([(’extractor’, DARIAHAnnotationExtractor()), (’union’, FeatureUnion( transformer_list=[ # Bag-of-words-Modell (’bow’, Pipeline([ (’combiner’, FeatureCombiner(["Lemma", "CPOS"])), (’vect’, DictVectorizer()), (’tfidf’, TfidfTransformer()), ])), # POS-Tags (’bopos’, Pipeline([ (’combiner’, FeatureCombiner(["POS"])), (’vect’, DictVectorizer()), (’tfidf’, TfidfTransformer(use_idf=False)), ])), ])), (’normalizer’, Normalizer()), (’clf’, LinearSVC()), ]) 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 42 Verwendung von Dependenzrelationen (1) • Wir wollen Tripel bestehend aus Dependenzrelation, Governor und Dependent • Eigene Transformer-Klasse erstellen: class DependencyTupleCombiner(BaseEstimator, TransformerMixin): """Convert to dictionary of (relation, governor, dependent) tuples""" def __init__(self, lemma=True): self.lemma = lemma def fit(self, x, y=None): return self 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 43 Verwendung von Dependenzrelationen (2) • Fortsetzung: def transform(self, data_dict): features = [] # use tokens or lemmata lemma_or_token = "Lemma" if self.lemma else "Token" # extract necessary columns columns = [data_dict[k] for k in ["TokenId", lemma_or_token, "DependencyHead", "DependencyRelation"]] for text in zip(*columns): # convert to rows rows = list(zip(*text)) # do some arithmetic and extract token/lemma for DependencyHead dependency_tuples = [(r[3], rows[i + (int(r[2]) - int(r[0]))][1], r[1]) for i, r in enumerate(rows) if r[2] != "_"] features.append(collections.Counter(dependency_tuples)) return features 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 44 Clustering k-Means (1) • Daten müssen nur geladen werden, Aufteilung in Trainings- und Testset nicht zwingend nötig: corpus = load_files("data/8x6_output", encoding="utf-8") • Anstelle eines Klassifikators kann ein Clusterverfahren in die Pipeline eingebunden werden, bspw. k-Means. • k-Means teilt die Daten in k Gruppen auf, d.h. Anzahl der Cluster muss vorher bekannt sein (oder durch Probieren gefunden werden). 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 46 k-Means (2) text_clst = Pipeline([(’extractor’, DARIAHAnnotationExtractor()), (’union’, FeatureUnion( transformer_list=[ # Bag-of-words-Modell (’bow’, Pipeline([ (’combiner’, FeatureCombiner(["Lemma", "CPOS"])), (’vect’, DictVectorizer()), (’tfidf’, TfidfTransformer()), ])), # POS-Tags (’bopos’, Pipeline([ (’combiner’, FeatureCombiner(["POS"])), (’vect’, DictVectorizer()), (’tfidf’, TfidfTransformer(use_idf=False)), ])), ])), (’normalizer’, Normalizer()), (’clst’, KMeans(n_clusters=6)) ]) 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 47 Hierarchisches Clustering • Anfangs ist jeder Text in einem eigenen Cluster. • Schrittweise werden die ähnlichsten Cluster verschmolzen. • Verschiedene Ähnlichkeitsmaße möglich. • Implementierung in scikit-learn verlangt vorgegebene Anzahl Cluster (scipy.cluster.hierarchy kann auch explorativ verwendet werden). • AgglomerativeClustering() 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 48 Delta-Maße • Auswahl der n häufigsten Wörter, Skalierung ($z$-Werte), optional Normalisierung, Abstandsmaß • Burrows’s Delta: Keine Normalisierung, Manhattan-Distanz • Burrows’s Delta mit Vektornormalisierung: L1-Normalisierung, Manhattan-Distanz • Cosine Delta: Keine Normalisierung, Cosinus-Distanz AgglomerativeClustering(n_clusters=6, affinity="cosine", linkage="complete") 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 49 Visualisierung mit matplotlib (1) 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 50 Visualisierung mit matplotlib (2) • Zweidimensionale Repräsentation der Daten durch Multidimensional Scaling (MDS); MDS versucht euklidische Abstände beizubehalten: from sklearn import manifold twodim = manifold.MDS().fit_transform(data) • Daten plotten; Farben markieren Cluster, Beschriftungen tatsächliche Klassen: import matplotlib.pyplot as plt fig, ax = plt.subplots() ax.scatter(twodim[:, 0], twodim[:, 1], c=clusters) for i, target in enumerate(corpus.target): ax.annotate(corpus.target_names[target].split(",")[0], (twodim[:, 0][i], twodim[:, 1][i]), fontsize="small") plt.savefig("clustering.png") 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 51 Weitere Features von scikit-learn Features • Merkmalsextraktion: CountVectorizer kann weitreichend konfiguriert werden • Merkmalsauswahl: Varianz, rekursive Merkmalseliminierung, Merkmalsauswahl mit Hilfe linearer Modelle (bspw. lineare SVM) • Dimensionsreduktion: Hauptkomponentenanalyse (PCA), Manifold Learning • Weitere überwachte Lernverfahren: Generalisierte lineare Modelle, Diskriminanzanalyse, SVMs mit verschiedenen Kerneln, Nearest Neighbors, Entscheidungsbäume, . . . • Ensemble-Methoden um mehrere überwachte Modelle zu kombinieren, bspw. Random Forests • Kreuzvalidierung • Parameter Tuning: Systematisches Durchprobieren von Parameterkombinationen mit GridSearchCV 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 53 Andere interessante Module • gensim für Topic Modelling: Latent Semantic Indexing, Latent Dirichlet Allocation, Hierarchical Dirichlet Processes, Deep Learning (word2vec, paragraph2vec) • matplotlib für die Visualisierung • PyStruct für strukturiertes Lernen • seqlearn für Sequenzklassifikation 2015-09-16 | Thomas Proisl | Professur für Korpuslinguistik | Maschinelles Lernen mit Python 54