Vorlesung Wissensentdeckung in Datenbanken - SVM -- Textkategorisierung

(Joachims 2002) R2 n+ 1 a+ 2b+ c ac− b2 a = ∑s i=1 p2i fi = 5.41 b = ∑s i=1 p2ini fi = 2.326 c = ∑s i=1 n2 i fi = 5.952 R2 = ∑d r=1 ( c (r+k)φ )2 ≤ 37 Nach 1000 Beispielen erwarteter Fehler ≤ 2.2% Tatsächlicher [...] VVEND VVINKPRL . . . 16423 4 1 2 2 1946 1998 295.29 16423 4 1 2 2 1946 1998 295.29 16423 4 5 2 0 1946 2028 0 16423 5 3 2 0 1946 2028 0 16423 4 1 2 2 1946 1998 295.29 16423 5 3 2 0 1946 1998 0 3 VVSTACD 4 VVPRFIN [...] Fehler einer SVM ist nach oben beschränkt durch: R2 n+ 1 a+ 2b+ c ac− b2 a = ∑s i=1 p2i fi b = ∑s i=1 p2ini fi c = ∑s i=1 n2 i fi R2 = ∑d r=1 ( v (r+k)φ )2 Es gibt l Wörter, s Merkmalsmengen, für einige i: …

5MLVsvm3.pdf

(Joachims 2002) R2 n+ 1 a+ 2b+ c ac− b2 a = s i=1 p2i fi = 5.41 b = s i=1 p2ini fi = 2.326 c = s i=1 n2 i fi = 5.952 R2 = d r=1 c (r+k)φ 2 ≤ 37 Nach 1000 Beispielen erwarteter Fehler ≤ 2.2% Tatsächlicher [...] VVEND VVINKPRL . . . 16423 4 1 2 2 1946 1998 295.29 16423 4 1 2 2 1946 1998 295.29 16423 4 5 2 0 1946 2028 0 16423 5 3 2 0 1946 2028 0 16423 4 1 2 2 1946 1998 295.29 16423 5 3 2 0 1946 1998 0 3 VVSTACD 4 VVPRFIN [...] Fehler einer SVM ist nach oben beschränkt durch: R2 n+ 1 a+ 2b+ c ac− b2 a = s i=1 p2i fi b = s i=1 p2ini fi c = s i=1 n2 i fi R2 = d r=1 v (r+k)φ 2 Es gibt l Wörter, s Merkmalsmengen, für einige i: pi …

5DMVsvm3_4p

(Joachims 2002) R2 n + 1 a + 2b + c ac− b2 a = ∑s i=1 p2 i fi = 5.41 b = ∑s i=1 p2 i ni fi = 2.326 c = ∑s i=1 n2 i fi = 5.952 R2 = ∑d r=1 ( c (r+k)φ )2 ≤ 37 Nach 1000 Beispielen erwarteter Fehler ≤ 2.2% Tatsächlicher [...] VVEND VVINKPRL . . . 16423 4 1 2 2 1946 1998 295.29 16423 4 1 2 2 1946 1998 295.29 16423 4 5 2 0 1946 2028 0 16423 5 3 2 0 1946 2028 0 16423 4 1 2 2 1946 1998 295.29 16423 5 3 2 0 1946 1998 0 3 VVSTACD 4 VVPRFIN [...] Fehler einer SVM ist nach oben beschränkt durch: R2 n + 1 a + 2b + c ac− b2 a = ∑s i=1 p2 i fi b = ∑s i=1 p2 i ni fi c = ∑s i=1 n2 i fi R2 = ∑d r=1 ( v (r+k)φ )2 Es gibt l Wörter, s Merkmalsmengen, für einige …

Vorlesung Maschinelles Lernen - SVM – Textkategorisierung

(Joachims 2002) R2 n+ 1 a+ 2b+ c ac− b2 a = ∑s i=1 p2i fi = 5.41 b = ∑s i=1 p2ini fi = 2.326 c = ∑s i=1 n2 i fi = 5.952 R2 = ∑d r=1 ( c (r+k)φ )2 ≤ 37 Nach 1000 Beispielen erwarteter Fehler ≤ 2.2% Tatsächlicher [...] VVEND VVINKPRL . . . 16423 4 1 2 2 1946 1998 295.29 16423 4 1 2 2 1946 1998 295.29 16423 4 5 2 0 1946 2028 0 16423 5 3 2 0 1946 2028 0 16423 4 1 2 2 1946 1998 295.29 16423 5 3 2 0 1946 1998 0 3 VVSTACD 4 VVPRFIN [...] Fehler einer SVM ist nach oben beschränkt durch: R2 n+ 1 a+ 2b+ c ac− b2 a = ∑s i=1 p2i fi b = ∑s i=1 p2ini fi c = ∑s i=1 n2 i fi R2 = ∑d r=1 ( v (r+k)φ )2 Es gibt l Wörter, s Merkmalsmengen, für einige i: …

→ φ(x) ∈ V Christian Pölitz Einführung in das maschinelle Lernen Beispiel φ((x1, x2)) = (x21 , x 2 2 , √ 2 · x1 · x2) ∈ V = <3 Christian Pölitz Einführung in das maschinelle Lernen Beispiel Abbildung: [...] Christian Pölitz Einführung in das maschinelle Lernen Beispiel Zwei Teilmengen A1 und A2 einer Menge Ω k(A1,A2) = 2|A1∩A2| ist ein inneres Produkt der Abbildung: φ(A)U = { 1,U ⊆ A 0,otherwise (7) U sind Teilmengen [...] maschinelle Lernen Formalisierung als Optimierungsaufgabe max γ (1) s.t. yi · (< β, φ(xi ) > +β0) ≥ γ (2) ||β||2 = 1 (3) Christian Pölitz Einführung in das maschinelle Lernen Formalisierung als Optimierungsaufgabe …

→ φ(x) ∈ V Christian Pölitz Einführung in das maschinelle Lernen Beispiel φ((x1, x2)) = (x21 , x 2 2 , √ 2 · x1 · x2) ∈ V = <3 Christian Pölitz Einführung in das maschinelle Lernen Beispiel Abbildung: [...] Christian Pölitz Einführung in das maschinelle Lernen Beispiel Zwei Teilmengen A1 und A2 einer Menge Ω k(A1,A2) = 2|A1∩A2| ist ein inneres Produkt der Abbildung: φ(A)U = { 1,U ⊆ A 0,otherwise (7) U sind Teilmengen [...] maschinelle Lernen Formalisierung als Optimierungsaufgabe max γ (1) s.t. yi · (< β, φ(xi ) > +β0) ≥ γ (2) ||β||2 = 1 (3) Christian Pölitz Einführung in das maschinelle Lernen Formalisierung als Optimierungsaufgabe …

Non-linear SVM and the Kernel Trick – Lecture Notes

\(\vec{x} = (x_1,x_2) \in \mathbb {R}^2\) transformation \(\phi (\vec{x})=(1, \sqrt{2}\; x_1, \sqrt{2}\; x_2, x_1^2, x_2^2, \sqrt{2}\; x_1 x_2) \in \mathbb {R}^6\) Nonlinear SVM [ BoGuVa92 ] /2 Computation of [...] \smash {\tfrac {\left\lVert \vec{x_i} - \vec{x_j}\right\rVert ^2}{2 \sigma ^2}}} = e^{- \gamma \left\lVert \vec{x_i} - \vec{x_j}\right\rVert ^2}\] ➜ sigmoid kernel with scaling \(\gamma\) and constant term [...] Lagrangian with slack variables and \(k=1\) : \[L = \underbrace{ \tfrac {1}{2} \left\lVert \smash {\vec{w}}\mathstrut \right\rVert ^2 \vphantom{\sum \nolimits _i^N} }_{\mathclap {\text{original objective}}} …