Hiperparametri u strojnom učenju su oni parametri koje eksplicitno definira korisnik za kontrolu procesa učenja. Ti se hiperparametri koriste za poboljšanje učenja modela, a njihove se vrijednosti postavljaju prije početka procesa učenja modela.

U ovoj temi raspravljat ćemo o jednom od najvažnijih koncepata strojnog učenja, tj. o hiperparametrima, njihovim primjerima, podešavanju hiperparametara, kategorijama hiperparametara, kako se hiperparametar razlikuje od parametra u strojnom učenju? Ali prije nego što počnemo, prvo shvatimo Hiperparametar.

Što su hiperparametri?

U strojnom/dubinskom učenju model je predstavljen svojim parametrima. Nasuprot tome, proces obuke uključuje odabir najboljih/optimalnih hiperparametara koji se koriste u algoritmima učenja kako bi se dobio najbolji rezultat. Dakle, koji su to hiperparametri? Odgovor je, ' Hiperparametri su definirani kao parametri koje je eksplicitno definirao korisnik za kontrolu procesa učenja.'

Ovdje prefiks 'hiper' sugerira da su parametri parametri najviše razine koji se koriste u kontroli procesa učenja. Vrijednost hiperparametra odabire i postavlja inženjer strojnog učenja prije nego što algoritam za učenje počne trenirati model. Stoga su one vanjske u odnosu na model i njihove se vrijednosti ne mogu mijenjati tijekom procesa obuke .

sve velika slova prečac excel

Neki primjeri hiperparametara u strojnom učenju

• K u kNN ili algoritmu K-najbližeg susjeda
• Brzina učenja za treniranje neuronske mreže
• Omjer podjele trening-test
• Veličina serije
• Broj epoha
• Grane u stablu odlučivanja
• Broj klastera u algoritmu klasteriranja

Razlika između parametra i hiperparametra?

Uvijek postoji velika zbrka između parametara i hiperparametara ili hiperparametara modela. Dakle, kako bismo razjasnili ovu zabunu, shvatimo razliku između njih dvoje i kako su međusobno povezani.

Parametri modela:

Parametri modela su konfiguracijske varijable koje su unutar modela, a model ih sam uči. Na primjer , W Ponderi ili koeficijenti nezavisnih varijabli u modelu linearne regresije . ili Ponderi ili koeficijenti nezavisnih varijabli u SVM, ponderi i pristranosti neuronske mreže, središte klastera u klasteriranju. Neke ključne točke za parametre modela su sljedeće:

• Model ih koristi za izradu predviđanja.
• Model ih uči iz samih podataka
• Oni se obično ne postavljaju ručno.
• To je dio modela i ključ za algoritam strojnog učenja.

Hiperparametri modela:

Hiperparametri su oni parametri koje je eksplicitno definirao korisnik za kontrolu procesa učenja. Neke ključne točke za parametre modela su sljedeće:

• Obično ih ručno definira inženjer strojnog učenja.
• Ne može se znati točna najbolja vrijednost za hiperparametre za dati problem. Najbolja vrijednost može se odrediti ili pravilom palca ili pokušajem i pogreškom.
• Neki primjeri hiperparametara su stopa učenja za treniranje neuronske mreže, K u KNN algoritmu,

Kategorije hiperparametara

Općenito, hiperparametri se mogu podijeliti u dvije kategorije koje su navedene u nastavku:

Hiperparametar za optimizaciju Hiperparametar za određene modele

Hiperparametar za optimizaciju

Proces odabira najboljih hiperparametara za korištenje poznat je kao ugađanje hiperparametara, a proces ugađanja također je poznat kao optimizacija hiperparametara. Za optimizaciju modela koriste se parametri optimizacije.

Neki od popularnih parametara optimizacije navedeni su u nastavku:

Stopa učenja:Stopa učenja je hiperparametar u algoritmima optimizacije koji kontrolira koliko se model treba promijeniti kao odgovor na procijenjenu pogrešku za svaki put kada se težine modela ažuriraju. To je jedan od ključnih parametara pri izgradnji neuronske mreže, a također određuje učestalost unakrsne provjere s parametrima modela. Odabir optimizirane stope učenja izazovan je zadatak jer ako je stopa učenja vrlo niska, to može usporiti proces obuke. S druge strane, ako je stopa učenja prevelika, možda neće pravilno optimizirati model.

Napomena: Stopa učenja ključni je hiperparametar za optimizaciju modela, pa ako postoji zahtjev za podešavanjem samo jednog hiperparametra, predlaže se podešavanje stope učenja.

Veličina serije:Kako bi se povećala brzina procesa učenja, skup za obuku je podijeljen u različite podskupove, koji su poznati kao serija. Broj epoha: Epoha se može definirati kao potpuni ciklus za obuku modela strojnog učenja. Epoha predstavlja iterativni proces učenja. Broj epoha varira od modela do modela, a razni modeli nastaju s više od jedne epohe. Da bi se odredio pravi broj epoha, u obzir se uzima pogreška provjere valjanosti. Broj epoha se povećava sve dok se ne smanji greška provjere valjanosti. Ako nema poboljšanja u pogrešci redukcije za uzastopne epohe, to znači da treba prestati povećavati broj epoha.

Hiperparametar za određene modele

Hiperparametri koji su uključeni u strukturu modela poznati su kao hiperparametri za specifične modele. One su navedene u nastavku:

Nekoliko skrivenih jedinica:Skrivene jedinice dio su neuronskih mreža, koje se odnose na komponente koje se sastoje od slojeva procesora između ulaznih i izlaznih jedinica u neuronskoj mreži.

Važno je specificirati hiperparametar broja skrivenih jedinica za neuronsku mrežu. Trebao bi biti između veličine ulaznog sloja i veličine izlaznog sloja. Točnije, broj skrivenih jedinica trebao bi biti 2/3 veličine ulaznog sloja, plus veličina izlaznog sloja.

Za složene funkcije potrebno je odrediti broj skrivenih jedinica, ali ne smije pretjerano odgovarati modelu.

Broj slojeva:Neuronska mreža se sastoji od okomito raspoređenih komponenti koje se nazivaju slojevi. Postoje uglavnom ulazne slojeve, skrivene slojeve i izlazne slojeve . 3-slojna neuronska mreža daje bolje performanse od 2-slojne mreže. Za konvolucionarnu neuronsku mrežu, veći broj slojeva čini bolji model.

Zaključak

Hiperparametri su parametri koji su eksplicitno definirani za kontrolu procesa učenja prije primjene algoritma strojnog učenja na skup podataka. Oni se koriste za određivanje kapaciteta učenja i složenosti modela. Neki od hiperparametara koriste se za optimizaciju modela, kao što je veličina serije, stopa učenja itd., a neki su specifični za modele, kao što je broj skrivenih slojeva itd.