MSE-tab bruges til regressionsopgaver. Som navnet antyder, beregnes dette tab ved at tage gennemsnittet af kvadrerede forskelle mellem faktiske(mål) og forudsagte værdier.
eksempel
for eksempel har vi et neuralt netværk, der tager husdata og forudsiger huspris. I dette tilfælde kan du bruge MSE tabet. Dybest set, hvis udgangen er et reelt tal, skal du bruge denne tabsfunktion.
binær Crossentropi
BCE-tab bruges til de binære klassificeringsopgaver. Hvis du bruger BCE tabsfunktion, har du bare brug for en outputnode for at klassificere dataene i to klasser. Outputværdien skal føres gennem en sigmoid-aktiveringsfunktion, og outputområdet er (0 – 1).
eksempel
for eksempel har vi et neuralt netværk, der tager atmosfæredata og forudsiger, om det vil regne eller ej. Hvis outputtet er større end 0,5, klassificerer netværket det som rain, og hvis outputtet er mindre end 0,5, klassificerer netværket det som not rain. (det kan være modsat afhængigt af hvordan du træner netværket). Mere sandsynligheden score værdi, jo mere er chancen for at regne.
under træning af netværket skal målværdien, der tilføres netværket, være 1, hvis det regner ellers 0.
Note 1
en vigtig ting, hvis du bruger BCE tabsfunktion, skal nodens udgang være mellem (0-1). Det betyder, at du skal bruge en sigmoid aktiveringsfunktion på din endelige output. Da sigmoid konverterer enhver reel værdi i området mellem (0-1).
Note 2
hvad hvis du ikke bruger sigmoid-aktivering på det sidste lag? Derefter kan du videregive et argument kaldet from logits som true til tabsfunktionen, og det vil internt anvende sigmoid til outputværdien.
kategorisk Crossentropi
når vi har en klassificeringsopgave i flere klasser, er en af tabsfunktionen, du kan gå videre, denne. Hvis du bruger CCE tabsfunktion, skal der være det samme antal outputnoder som klasserne. Og det endelige lagudgang skal føres gennem en softmaks-aktivering, så hver node udsender en sandsynlighedsværdi mellem (0-1).
eksempel
for eksempel har vi et neuralt netværk, der tager et billede og klassificerer det i en kat eller hund. Hvis katten node har en høj sandsynlighed score derefter billedet er klassificeret i en kat ellers hund. Grundlæggende, uanset hvilken klasseknude der har den højeste sandsynlighedsscore, klassificeres billedet i den klasse.
til fodring af målværdien på træningstidspunktet skal vi en-hot kode dem. Hvis billedet er af kat, ville målvektoren være (1, 0), og hvis billedet er af hund, ville målvektoren være (0, 1). Grundlæggende ville målvektoren være af samme størrelse som antallet af klasser, og indekspositionen svarende til den faktiske klasse ville være 1, og alle andre ville være nul.
Bemærk
hvad hvis vi ikke bruger softmaks-aktivering på det sidste lag? Derefter kan du sende et argument kaldet from logits som true til tabsfunktionen, og det vil internt anvende softmaks til outputværdien. Samme som i ovenstående tilfælde.
sparsom kategorisk Crossentropi
denne tabsfunktion svarer næsten til CCE bortset fra en ændring.
når vi bruger SCCE tabsfunktion, behøver du ikke at en hot kode målvektoren. Hvis målbilledet er af en kat, passerer du blot 0, ellers 1. Dybest set, uanset hvilken klasse du er, passerer du bare indekset for den klasse.