Yfirlit

• Línuleg föll
• Aðhvarfsmódel
• Norm
• Fjarlægðir

Fallið \(f: \mathbf{R}^n \to \mathbf{R}\) er vörpun/fall frá \(n\)-vigrum til talna.

• \(\mathbf{R}^n\) er mengi allra \(n\)-vigra
• Fallið \(f\) er línulegt ef \[ f(\alpha x + \beta y) = \alpha f(x) + \beta f(y) \]
• takið eftir að \(+\) er á milli vigra annars vegar og talna hins vegar

Ef \(a\) er \(n\)-vigur þá er fallið \[ f(x) = a^Tx = a_1x_1 + \ldots + a_nx_n \] innfeldisfallið fyrir \(a\)

• \(f(x)\) er vigtuð summa af stökunum í \(x\)
• \(f(x)\) er línulegt fall

Öll línuleg föll eru innfeldisföll!

• Ef \(f: \mathbf{R}^n \to \mathbf{R}\) er línulegt fall
• Þá er til \(a\) þ.a. \(f(x) = a^Tx\)
• \(a_i = f(e_i)\) þar sem \(e_i\) er \(i\)-ti einingavigurinn.
• Leiðir beint af því að skrifa \(x\) sem línulega samantekt af einingavigrunum og því að \(f\) er línulegt.

Vildarföll (e. affine function).

Tökum eftir að \[ f(\mathbf{0}_n) = f(0\cdot \mathbf{1}_n) = 0\cdot f(\mathbf{1}_n) = 0 \]

• Öll línuleg föll varpa núllvigrinum í núll.
• Fall \(g(x)\) er kallað vildarfall (e. affine) ef \[ g(x) = f(x) + b \]
• þar sem \(f\) er línulegt fall og \(b\) er fasti.

Aðhvarfsmódel

Vildarföll koma aðallega fyrir í aðhvarfsmódelum

\[ \hat{y} = x^T\beta + v \]

Þar sem \(x,\beta\) eru \(n\)-vigrar og \(v\) er tala.

• \(x\) er eiginleikavigur fyrir gögn
• \(x_i\) er kölluð skýribreyta
• \(\beta\) eru vigtir
• \(v\) er
• \(\hat{y}\) er spágildi

Aðhvarfsmódel

Eru notuð til að finna formúlur og spá fyrir um niðurstöður gagna út frá breytum.

Fasteignamat 2016

Línulegt aðhvarfsmódel fyrir \(log(verð)\)

Norm

Evklíðska normið af \(n\)-vigrinum \(x\) er \[ ||x|| = \sqrt{x_1^2+\ldots+x_n^2} = \sqrt{x^Tx} \]

• Norm mælir "stærð" vigursins
• Einnig kallað \(L_2\) norm eða \(||x||_2\)
• Það eru til fleiri norm, t.d. \[ ||x||_1 = \sum_{i=1}^n |x_i| \]

Eiginleikar norma

• \(||\beta x|| = |\beta|\cdot ||x||\)
• \(||x+y|| \le ||x||+||y||\) - þríhyrningsójafnan
• \(||x|| \ge 0\)
• \(||x||=0\) þá og því aðeins að \(x=0\)

RMS (Root-mean-square)

• ferningsmeðaltal \(x\) er \[ \frac{x_1^2+\ldots+x_n^2}{n} = \frac{||x||^2}{n} \]

• ferningsmeðaltalsrót \(x\) er \[ rms(x) = \sqrt{\frac{x_1^2+\ldots+x_n^2}{n}} = \frac{||x||}{\sqrt{n}} \]

• \(rms(x)\) gefur dæmigert gildi á \(x_i\)

• RMS er gott til að bera saman mislanga vigra, leiðréttir fyrir fjölda staka

Evklíðsk fjarlægð

Formúlan fyrir fjarlægð í 1,2 og 3 víddum er \[ dist(a,b) = ||a-b|| \] við skilgreinum því fjarlægð milli tveggja \(n\)-vigra með þessari formúlu.

• Ef \(x\) og \(y\) eru gögn þá táknar \(||x-y||\) fjarlægð milli gagnanna, þ.e. mælikvarði á hve ólík þau eru
• Ef \(x\) og \(y\) eru orðavigrar fyrir tvö skjöl þá er \(||x-y||\) mælikvarði á hve lík þau eru, skjöl sem nota sömu orð svipað oft eru sögð lík en innbyrðis röð orða skiptir ekki máli.
• Ef \(\hat{x}\) eru spágildi, t.d. fyrir hitastig og \(x\) eru raunmælingar þá er \(||x-\hat{x}||\) mat á skekkjunni í spágildunum, \(rms(x,\hat{x})\) er ferningsmeðalsrót skekkjunnar.

Þríhyrningsójafnan

• Gildir um fjarlægðir milli vigra \(a,b,c\) \[ ||a-c|| = ||(a-b) + (b-a)|| \le ||a-b|| + ||b-a|| \]
• Það er styttra að fara frá \(c\) til \(a\) heldur en að fara frá \(c\) til \(a\) í gegnum \(b\).

Staðalfrávik

• Fyrir \(n\)-vigur \(x\) látum við \(avg(x) = \mathbf{1}^Tx/n\)
• Hliðraði vigurinn \(\tilde{x} = x - avg(x)\mathbf{1}\) hefur meðaltal \(0\).

• Staðalfrávik er skilgreint sem \[ std(x) = rms(\tilde{x}) = \frac{||x-(\mathbf{1}^Tx/n)\mathbf{1}||}{\sqrt{n}} \]

• \(std(x)\) gefur meðalfjarlægð \(x_i\) frá meðaltalinu
• \(std(x)=0\) gildir bara ef öll gildin eru eins, þ.e. \(x = \alpha \mathbf{1}\)

• Handhæg formúla \[ rms(x)^2 = avg(x)^2 + std(x)^2 \]

Cauchy-Schwarz ójafnan

• Fyrir tvo \(n\)-vigra \(a,b\) gildir \(|a^Tb| \le ||a||\cdot ||b||\)
• Innfeldið getur ekki orðið stærra en margfeldi lengdanna
• Útvíkkað \[ |a_1b_1+\ldots+a_nb_n| \le (a_1^2+\ldots+a_n^2)^\frac{1}{2} (b_1^2+\ldots+b_n^2)^\frac{1}{2} \]
• Notað til að sanna þríhyrningsójöfnuna \[ ||a+b|| \le ||a||+||b|| \]

Horn milli vigra

Cauchy-Schwarz ójafnan sýnir að stærðin \(\frac{a^Tb}{||a|| ||b||}\) er á milli -1 og 1.

• Skilgreinum horn á milli vigra sem

\[ \angle(a,b) = \cos^{-1}(\frac{a^Tb}{||a|| ||b||}) \]

\(\cos^{-1}\) er líka kallað arccos. Hornið er alltaf á bilinu \([0,\pi]\) og uppfyllir

\[ a^Tb = ||a|| ||b|| \cos(\angle(a,b)) \]

Flokkun horna

Látum \(\theta = \angle(a,b)\)

• Ef \(\theta = \pi/2\) eru \(a\) og \(b\) hornréttir, þ.e. \(a^Tb = 0\)
• Ef \(\theta = 0\) eru \(a\) og \(b\) samstefna, \(a = \alpha b\) fyrir eitthvert \(\alpha\ge 0\)
• Ef \(\theta = \pi\) þá stefna þeir í öfuga átt, þ.e. \(a = -\alpha b\) fyrir eitthvert \(\alpha \ge 0\).
• Ef \(\theta \le \pi/2\) er hornið hvasst
• Ef \(\theta \ge \pi/2\) er hornið gleitt

Fylgnistuðull

Látum \(a\) og \(b\) vera vigra og hliðrum þeim til að þeir hafi meðaltalið \(0\). \(\tilde{a} = a - avg(a)\mathbf{1}, \tilde{b} = b - avg(b)\mathbf{1}\).

Fylgnistuðullinn milli \(a\) og \(b\) (með \(\tilde{a}\neq 0, \tilde{b}\neq 0\)) er \[ \rho = \frac{\tilde{a}^T\tilde{b}}{||\tilde{a}|| ||\tilde{b}||} \]

Túlkun á fylgnistuðlum

• \(\rho = 0\): \(a\) og \(b\) hafa enga fylgni
• \(\rho > 0.8\): \(a\) og \(b\) hafa mikla fylgni
• \(\rho < -0.8\): \(a\) og \(b\) hafa mikla and-fylgni
• Há fylgni þýðir að \(a_i\) og \(b_i\) eru svipað mikið fyrir ofan/neðan sín meðaltöl.

Fylgnistuðlar

http://guessthecorrelation.com/

Fyrir næstu viku

Lesa kafla 4 um clustering. Fyrsta verkefnið verður úr þessum kafla