MSE-förlust används för regressionsuppgifter. Som namnet antyder beräknas denna förlust genom att ta medelvärdet av kvadrerade skillnader mellan faktiska(mål) och förutsagda värden.
exempel
till exempel har vi ett neuralt nätverk som tar husdata och förutspår huspris. I det här fallet kan du använda MSE – förlusten. I grund och botten, om utgången är ett reellt tal, bör du använda denna förlustfunktion.
binär Crossentropy
BCE förlust används för binära klassificeringsuppgifter. Om du använder BCE förlustfunktion behöver du bara en utgångsnod för att klassificera data i två klasser. Utgångsvärdet ska passera genom en sigmoidaktiveringsfunktion och utmatningsområdet är (0 – 1).
exempel
till exempel har vi ett neuralt nätverk som tar atmosfärdata och förutsäger om det kommer att regna eller inte. Om utgången är större än 0,5 klassificerar nätverket det som rain och om utgången är mindre än 0,5 klassificerar nätverket det som not rain. (det kan vara motsatt beroende på hur du tränar nätverket). Mer sannolikhetspoäng värde, desto mer chans att regna.
när du tränar nätverket bör målvärdet som matas till nätverket vara 1 om det regnar annars 0.
Notera 1
en viktig sak, om du använder BCE förlustfunktion bör nodens utgång vara mellan (0-1). Det betyder att du måste använda en sigmoid-aktiveringsfunktion på din slutliga utgång. Eftersom sigmoid omvandlar något verkligt värde i intervallet mellan (0-1).
Not 2
vad händer om du inte använder sigmoid aktivering på det sista lagret? Då kan du skicka ett argument som heter from logits som true till förlustfunktionen och det kommer internt att tillämpa sigmoiden på utgångsvärdet.
kategorisk Korsentropi
när vi har en klassificeringsuppgift i flera klasser är en av förlustfunktionen du kan gå vidare den här. Om du använder CCE förlustfunktion måste det finnas samma antal utgångsnoder som klasserna. Och det slutliga skiktet utgång bör passera genom en softmax aktivering så att varje nod utgång ett sannolikhetsvärde mellan (0-1).
exempel
till exempel har vi ett neuralt nätverk som tar en bild och klassificerar den i en katt eller hund. Om kattnoden har en hög sannolikhetspoäng klassificeras bilden i en katt annars hund. I grund och botten, vilken klassnod som har den högsta sannolikhetspoängen, klassificeras bilden i den klassen.
för att mata målvärdet vid träningstillfället måste vi koda dem med en het. Om bilden är av katt skulle målvektorn vara (1, 0) och om bilden är av hund skulle målvektorn vara (0, 1). I grund och botten skulle målvektorn vara av samma storlek som antalet klasser och indexpositionen som motsvarar den faktiska klassen skulle vara 1 och alla andra skulle vara noll.
notera
vad händer om vi inte använder softmax-aktivering på det sista lagret? Då kan du skicka ett argument som heter from logits som true till förlustfunktionen och det kommer internt att tillämpa softmax på utgångsvärdet. Samma som i ovanstående fall.
gles kategorisk Korsentropi
denna förlustfunktion liknar nästan CCE förutom en förändring.
när vi använder SCCE förlustfunktion behöver du inte en varm koda målvektorn. Om målbilden är av en katt passerar du helt enkelt 0, annars 1. I grund och botten, oavsett vilken klass du bara passerar indexet för den klassen.