그 알고리즘(기대 극대화):간단한 정의

최대 우도 추정>엠 알고리즘(기대 최대화)

이 기사를 먼저 읽을 수 있습니다.

이 알고리즘은 무엇입니까?

엠 알고리즘은 혼합물 분포에서 오는 것과 같은 잠재 변수를 추정하는 데 사용할 수 있습니다(혼합물에서 왔다는 것을 알고 있지만 특정 분포는 아닙니다).

예상 최대화 알고리즘은 데이터가 불완전하거나 누락된 데이터 요소가 있거나 관찰되지 않은(숨겨진)잠재 변수가 있는 경우 모델 매개 변수에 대한 최대 가능성 추정치를 찾는 방법입니다. 최대 우도 함수를 근사화하는 반복적인 방법입니다. 최대 우도 추정은 데이터 집합에 대해”가장 적합한”모델을 찾을 수 있지만 불완전한 데이터 집합에서는 특히 잘 작동하지 않습니다. 더 복잡한 알고리즘은 누락 된 데이터가 있더라도 모델 매개 변수를 찾을 수 있습니다. 누락 된 데이터 요소에 대한 임의의 값을 선택하고 이러한 추측을 사용하여 두 번째 데이터 세트를 추정하는 방식으로 작동합니다. 새 값은 첫 번째 집합에 대한 더 나은 추측을 만드는 데 사용되며 알고리즘이 고정 점에 수렴 할 때까지 프로세스가 계속됩니다.

참조:엠 알고리즘은 하나의 그림에서 설명했다.최대 우도 추정과 최대 우도 추정은 모두”가장 적합한”매개 변수를 찾을 수 있지만 모델을 찾는 방법은 매우 다릅니다. 모든 데이터를 먼저 누적한 다음 해당 데이터를 사용하여 가장 가능성이 높은 모델을 만듭니다. 엠 먼저 매개 변수를 추측 소요—누락 된 데이터에 대한 회계-다음 추측과 관찰 된 데이터에 맞게 모델을 조정. 알고리즘의 기본 단계는 다음과 같습니다:

1. 모델의 모수에 대한 초기 추측이 만들어지고 확률 분포가 생성됩니다. 이것은 때때로”예상”배포에 대한”전자 단계”라고합니다.
2. 새로 관찰된 데이터가 모델에 공급된다.
3. 전자 단계의 확률 분포는 새로운 데이터를 포함하도록 조정됩니다. 이것은 때때로”미디엄-단계”라고 불린다.”
4. 2~4 단계는 안정성(즉,전자 단계에서 미디엄 단계로 변하지 않는 분포)에 도달 할 때까지 반복됩니다.

이 알고리즘은 항상 이 다단계 프로세스를 통해 파라미터의 추정을 향상시킵니다. 그러나 알고리즘이(최적의)글로벌 최대 값에 가깝지 않은 로컬 최대 값을 연마 할 수 있기 때문에 때로는 최상의 모델을 찾기 위해 몇 가지 무작위 시작이 필요합니다. 즉,강제로 다시 시작하고 1 단계에서”초기 추측”을 다시 수행하면 더 잘 수행 할 수 있습니다. 가능한 모든 매개 변수에서 가장 큰 최대 가능성을 가진 매개 변수를 선택할 수 있습니다.

실제로,이 단계에는 꽤 무거운 미적분(통합)과 조건부 확률이 포함되며,이는이 기사의 범위를 벗어납니다. 당신이 프로세스의 기술적(즉,미적분 기반)고장이 필요한 경우,나는 매우 당신이 굽타와 첸의 2010 년 논문을 읽어 보시기 바랍니다.

응용 프로그램

엠 알고리즘은 다음과 같은 많은 응용 프로그램을 가지고 있습니다:1999 년 1 월 15 일,1999 년 1 월 15 일,1999 년 1 월 15 일,1999 년 1 월 15 일,1999 년 1 월 15 일,1999 년 1 월 15 일,1999 년 1 월 15 일,1999 년 1 월 15 일,1999 년 1 월 15 일,1999 년 1 월 15 일,1999 년 1 월 15 일,1999 년 1 월 15 일,1999 년 1 월 15 일,1999 년

제한

이 알고리즘은 가장 빠른 컴퓨터에서도 매우 느릴 수 있습니다. 누락된 데이터의 비율이 적고 데이터의 차원이 너무 크지 않은 경우에 가장 적합합니다. 차원이 높을수록 전자 단계가 느려집니다; 차원이 큰 데이터의 경우 프로시저가 로컬 최대값에 접근함에 따라 전자 단계가 매우 느리게 실행될 수 있습니다.

뎀,A.,레어드,N.,및 루빈,D.(1977)최대 우도에서 불완전한 데이터를 통해 EM 알고리즘,Journal of the Royal Statistical Society. 2015 년 10 월 15 일 39,아니.이 두 가지 유형의 알고리즘이 있습니다. 신호 처리의 기초 및 동향,권. 4,3 번 223-296.

——————————————————————————

숙제 또는 시험 문제에 도움이 필요하십니까? 체그 연구,당신은 분야의 전문가로부터 질문에 대한 단계별 솔루션을 얻을 수 있습니다. 체그 교사와 처음 30 분은 무료입니다!