Strojno učenje grana je umjetne inteligencije koja omogućuje strojevima analizu podataka i predviđanja. Međutim, ako model strojnog učenja nije točan, može uzrokovati pogreške u predviđanju, a te su pogreške u predviđanju obično poznate kao pristranost i varijanca. U strojnom učenju te će pogreške uvijek biti prisutne jer uvijek postoji mala razlika između predviđanja modela i stvarnih predviđanja. Glavni cilj analitičara ML/podatkovne znanosti je smanjiti te pogreške kako bi se dobili točniji rezultati. U ovoj temi raspravljat ćemo o pristranosti i varijanci, kompromisu između pristranosti i varijance, premalom i pretjeranom uklapanju. Ali prije nego počnemo, prvo shvatimo što su pogreške u strojnom učenju?
Pogreške u strojnom učenju?
U strojnom učenju, pogreška je mjera koliko točno algoritam može napraviti predviđanja za prethodno nepoznat skup podataka. Na temelju tih pogrešaka odabire se model strojnog učenja koji može najbolje funkcionirati na određenom skupu podataka. Postoje uglavnom dvije vrste pogrešaka u strojnom učenju, a to su:
bez obzira na to koji je algoritam korišten. Uzrok ovih grešaka su nepoznate varijable čija se vrijednost ne može smanjiti.
Što je Bias?
Općenito, model strojnog učenja analizira podatke, pronalazi uzorke u njima i daje predviđanja. Tijekom obuke, model uči te obrasce u skupu podataka i primjenjuje ih na testiranje podataka za predviđanje. Tijekom predviđanja dolazi do razlike između vrijednosti predviđanja koje je napravio model i stvarnih vrijednosti/očekivanih vrijednosti , a ta je razlika poznata kao pogreške pristranosti ili pogreške zbog pristranosti . Može se definirati kao nemogućnost algoritama strojnog učenja kao što je linearna regresija da uhvate pravi odnos između podatkovnih točaka. Svaki algoritam počinje s određenom količinom pristranosti jer se pristranost javlja iz pretpostavki u modelu, što ciljnu funkciju čini jednostavnom za naučiti. Model ima ili:
zeenat aman glumac
Općenito, linearni algoritam ima visoku pristranost jer omogućuje brzo učenje. Što je algoritam jednostavniji, to će vjerojatno biti uvedena veća pristranost. Dok nelinearni algoritam često ima nisku pristranost.
Neki primjeri algoritama strojnog učenja s malom pristranošću su Decision Trees, k-Nearest Neighbors i Support Vector Machines . U isto vrijeme, algoritam s visokom pristranošću je Linearna regresija, linearna diskriminantna analiza i logistička regresija.
Načini smanjenja visoke pristranosti:
Visoka pristranost uglavnom se javlja zbog mnogo jednostavnog modela. U nastavku su navedeni neki od načina za smanjenje velike pristranosti:
- Povećajte ulazne značajke jer je model nedovoljno opremljen.
- Smanjite period regularizacije.
- Koristite složenije modele, kao što je uključivanje nekih polinomskih značajki.
Što je pogreška varijance?
Varijanca bi odredila količinu varijacije u predviđanju ako su korišteni različiti podaci o obuci. Jednostavnim riječima, varijanca govori koliko se slučajna varijabla razlikuje od svoje očekivane vrijednosti. Idealno, model se ne bi trebao previše razlikovati od jednog skupa podataka za obuku do drugog, što znači da bi algoritam trebao biti dobar u razumijevanju skrivenog mapiranja između ulaznih i izlaznih varijabli. Pogreške varijance su jedno od niska varijanca ili visoka varijanca.
Logika 1. reda
Mala varijanca znači da postoji mala varijacija u predviđanju ciljne funkcije s promjenama u skupu podataka za obuku. U isto vrijeme, Visoka varijanca pokazuje veliku varijaciju u predviđanju ciljne funkcije s promjenama u skupu podataka za obuku.
Model koji pokazuje veliku varijancu uči puno i ima dobre rezultate s skupom podataka za obuku, a ne generalizira dobro s nevidljivim skupom podataka. Kao rezultat toga, takav model daje dobre rezultate sa skupom podataka za obuku, ali pokazuje visoke stope pogrešaka na testnom skupu podataka.
Budući da s visokom varijancom model uči previše iz skupa podataka, to dovodi do pretjeranog prilagođavanja modela. Model s velikom varijancom ima sljedeće probleme:
- Model s velikim odstupanjem dovodi do prekomjernog opremanja.
- Povećajte složenost modela.
Obično nelinearni algoritmi imaju veliku fleksibilnost da bi se prilagodili modelu, imaju veliku varijancu.
Neki primjeri algoritama strojnog učenja s malom varijancom su, Linearna regresija, logistička regresija i linearna diskriminantna analiza . U isto vrijeme, algoritmi s velikom varijancom su stablo odlučivanja, stroj potpornih vektora i K-najbliži susjedi.
Načini za smanjenje velike varijance:
- Smanjite ulazne značajke ili broj parametara jer je model previše opremljen.
- Nemojte koristiti previše složen model.
- Povećajte podatke o treningu.
- Povećajte rok regularizacije.
Različite kombinacije varijance pristranosti
Postoje četiri moguće kombinacije pristranosti i odstupanja, koje su predstavljene dijagramom u nastavku:
Kombinacija niske pristranosti i niske varijance pokazuje idealan model strojnog učenja. Međutim, to praktično nije moguće.
Uz veliku pristranost i veliku varijancu, predviđanja su nedosljedna i u prosjeku netočna.
Kako prepoznati visoku varijancu ili veliku pristranost?
Visoka varijanca može se identificirati ako model ima:
- Mala pogreška treninga i visoka pogreška testa.
Visoka pristranost može se identificirati ako model ima:
jquery roditelj
- Visoka pogreška uvježbavanja i pogreška testa gotovo je slična pogrešci uvježbavanja.
Kompromis pristranosti i varijance
Dok gradite model strojnog učenja, jako je važno voditi računa o pristranosti i varijanci kako biste izbjegli pretjerano i nedovoljno uklapanje u model. Ako je model vrlo jednostavan s manje parametara, može imati nisku varijancu i veliku pristranost. Dok, ako model ima velik broj parametara, imat će veliku varijancu i nisku pristranost. Dakle, potrebno je napraviti ravnotežu između pogreške pristranosti i pogreške varijance, a ta ravnoteža između pogreške pristranosti i pogreške varijance poznata je kao kompromis Bias-Variance.
Za točno predviđanje modela, algoritmi trebaju nisku varijancu i nisku pristranost. Ali to nije moguće jer su pristranost i varijanca međusobno povezani:
- Ako smanjimo varijancu, to će povećati pristranost.
- Ako smanjimo pristranost, to će povećati varijancu.
Kompromis pristranosti i varijance središnje je pitanje u nadziranom učenju. U idealnom slučaju, potreban nam je model koji točno bilježi pravilnosti podataka o obuci i istovremeno se dobro generalizira s nevidljivim skupom podataka. Nažalost, to nije moguće učiniti istovremeno. Budući da algoritam visoke varijance može dobro funkcionirati s podacima o obuci, ali može dovesti do pretjeranog prilagođavanja podacima s šumom. S druge strane, algoritam visoke pristranosti generira vrlo jednostavan model koji možda čak i ne uhvati važne pravilnosti u podacima. Dakle, moramo pronaći najbolju točku između pristranosti i varijance kako bismo napravili optimalan model.
Stoga, Kompromis pristranosti i varijance je pronalaženje najbolje točke za uspostavljanje ravnoteže između pristranosti i pogrešaka varijance.