회귀 작업에 사용됩니다. 이름에서 알 수 있듯이,이 손실은 실제(목표)와 예측 값 사이의 제곱 차이의 평균을 취하여 계산됩니다.
예
예를 들어 집 데이터를 가져 와서 집 가격을 예측하는 신경망이 있습니다. 이 경우MSE손실을 사용할 수 있습니다. 기본적으로 출력이 실수 인 경우 이 손실 함수를 사용해야합니다.
이진 교차로
기원전 손실은 이진 분류 작업에 사용됩니다. 당신이 사용하는 경우BCE손실 함수,당신은 단지 두 개의 클래스로 데이터를 분류하는 하나의 출력 노드가 필요합니다. 출력 값은 시그 모이 드 활성화 함수를 통과해야하며 출력 범위는(0–1)입니다.
예
예를 들어,우리는 대기 데이터를 받아 비가 올지 여부를 예측하는 신경망을 가지고 있습니다. 출력이 0.5 보다 크면 네트워크는rain로 분류하고 출력이 0.5 보다 작으면 네트워크는not rain로 분류합니다. (그것은 당신이 네트워크를 훈련하는 방법에 따라 반대 일 수 있습니다). 더 많은 확률 점수 값,비가 더 많은 기회.
네트워크를 훈련하는 동안 네트워크에 공급되는 목표 값은 비가 오는 경우 1 이어야합니다.
참고 1
한 가지 중요한 것은BCE손실 함수를 사용하는 경우 노드의 출력은(0-1)사이에 있어야합니다. 그것은 당신이 당신의 최종 출력에 시그 모이 드 활성화 기능을 사용해야한다는 것을 의미합니다. 이후 시그 모이 드(0-1)사이의 범위에서 실제 값을 변환합니다.
참고 2
최종 레이어에서 시그 모이 드 활성화를 사용하지 않는 경우 어떻게해야합니까? 그런 다음from logits라는 인수를true로 손실 함수에 전달할 수 있으며 내부적으로 시그 모이 드를 출력 값에 적용합니다.
범주형 교차로
다중 클래스 분류 태스크가 있는 경우,앞서 수행할 수 있는 손실 함수 중 하나가 바로 이 태스크입니다. CCE손실 함수를 사용하는 경우 클래스와 출력 노드 수가 같아야 합니다. 그리고 최종 레이어 출력은 소프트 맥스 활성화를 통해 전달되어 각 노드가(0-1)사이의 확률 값을 출력해야합니다.
예제
예를 들어,이미지를 가져 와서 고양이 또는 개로 분류하는 신경망이 있습니다. 고양이 노드가 높은 확률 점수가있는 경우 이미지는 고양이 그렇지 않으면 개로 분류된다. 기본적으로 어느 클래스 노드가 가장 높은 확률 점수를 가지더라도 이미지는 해당 클래스로 분류됩니다.
훈련시 목표 값을 공급하기 위해,우리는 그들을 한 핫 인코딩해야합니다. 이미지가 고양이 인 경우 대상 벡터는(1,0)이고 이미지가 개 인 경우 대상 벡터는(0,1)입니다. 기본적으로 대상 벡터는 클래스 수와 크기가 같고 실제 클래스에 해당하는 인덱스 위치는 1 이고 다른 모든 벡터는 0 입니다.
참고
최종 레이어에서 소프트맥스 활성화를 사용하지 않으면 어떻게 될까요? 그런 다음from logits라는 인수를true로 손실 함수에 전달할 수 있으며 내부적으로 소프트맥스를 출력 값에 적용합니다. 위의 경우와 동일합니다.
스파스 범주 교차로
이 손실 함수는 한 번의 변경을 제외하고CCE과 거의 유사합니다.
SCCE손실 함수를 사용할 때 대상 벡터를 핫 인코딩 할 필요가 없습니다. 대상 이미지가 고양이의 경우,당신은 단순히 그렇지 않으면 1,0 을 전달합니다. 기본적으로 클래스가 어느 것이 든 당신은 그 클래스의 인덱스를 전달합니다.