EM Algoritmus (Expectation-maximization): Jednoduchá Definice

Maximální Odhad Pravděpodobnosti > EM Algoritmus (Expectation-maximization)

možná Budete chtít přečíst tento článek: Co je Maximální Odhad Pravděpodobnosti?

jaký je algoritmus EM?

EM algoritmus může být použit k odhadu latentních proměnných, jako je ty, které pocházejí ze směsi distribucí (víte, že přišel ze směsi, ale ne které konkrétní distribuce).

The Expectation-Maximization (EM) algoritmus je způsob, jak najít maximální-pravděpodobnost, že odhady parametrů modelu, pokud jsou vaše údaje neúplné, chybějící datové body, nebo se nepozorovaně (skryté) latentní proměnné. Jedná se o iterativní způsob, jak přiblížit funkci maximální věrohodnosti. Zatímco odhad maximální věrohodnosti může najít model“ best fit “ pro sadu dat, u neúplných datových sad to nefunguje zvlášť dobře. Složitější em algoritmus může najít parametry modelu, i když máte chybějící data. Funguje tak, že vybírá náhodné hodnoty pro chybějící datové body a pomocí těchto odhadů odhaduje druhou sadu dat. Nové hodnoty se používají k vytvoření lepšího odhadu pro první sadu a proces pokračuje, dokud algoritmus konverguje na pevný bod.

Viz také: em algoritmus vysvětlen na jednom obrázku.

MLE vs. EM

ačkoli maximální odhad pravděpodobnosti (mle) i EM mohou najít parametry“ best-fit“, jak zjistí, že modely jsou velmi odlišné. MLE nejprve hromadí všechna data a poté je použije k vytvoření nejpravděpodobnějšího modelu. JE potřeba odhadnout parametry první—účetnictví pro chybějící data—pak vylepší model, aby se vešly pokusů a pozorovaných datech. Základní kroky algoritmu jsou:

1. pro parametry modelu se provede počáteční odhad a vytvoří se rozdělení pravděpodobnosti. Toto je někdy nazýváno „E-Step“ pro „očekávanou“ distribuci.
2. do modelu jsou přiváděna nově pozorovaná data.
3. rozdělení pravděpodobnosti z e-kroku je upraveno tak, aby zahrnovalo nová data. Tomu se někdy říká “ m-krok.“
4. kroky 2 až 4 se opakují, dokud není dosaženo stability (tj. rozdělení, které se nemění z e-kroku na m-krok).

em algoritmus vždy zlepšuje odhad parametru prostřednictvím tohoto vícestupňového procesu. Někdy však potřebuje několik náhodných startů, aby našel nejlepší model, protože algoritmus může zdokonalit lokální maxima, která není tak blízko (optimálnímu) globálnímu maximu. Jinými slovy, může to fungovat lépe, pokud jej přinutíte restartovat a znovu provést „počáteční odhad“ z kroku 1. Ze všech možných parametrů pak můžete vybrat ten s největší maximální pravděpodobností.

ve skutečnosti tyto kroky zahrnují docela těžký počet (integrace) a podmíněné pravděpodobnosti, což je nad rámec tohoto článku. Pokud potřebujete více technické (tj kalkulu na bázi) rozpis procesu, vřele doporučuji přečíst Gupta a Chen je 2010 papír.

aplikace

algoritmus EM má mnoho aplikací, včetně:

• Dis-tenatových překrývají signály,
• Odhad Gaussian mixture models (Gmm),
• Odhadování skryté Markovovy modely (Hm),
• Odhad parametrů pro sloučeniny Dirichletova rozdělení,
• Nalezení optimální směsi pevných modelů.

omezení

algoritmus EM může být velmi pomalý, dokonce i na nejrychlejším počítači. Funguje to nejlépe, když máte jen malé procento chybějících dat a dimenzionalita dat není příliš velká. Čím vyšší je dimenzionalita, tím pomalejší je e-step; u dat s větší dimenzí můžete zjistit, že E-step běží extrémně pomalu, protože postup se blíží místnímu maximu.

Dempster, a., Laird, N., and Rubin, d. (1977) maximální pravděpodobnost z neúplných údajů prostřednictvím algoritmu EM, Journal of Royal Statistical Society. Řada B (metodologická), vol. 39, č. 1, s. 1ñ38.
Gupta, m. & Chen, y. (2010) teorie a použití algoritmu EM. Základy a trendy ve zpracování signálů, sv. 4, č. 3 223-296.

——————————————————————————

Potřebujete pomoci s úkoly nebo zkoušky otázka? S Chegg Study, můžete získat krok za krokem řešení vašich otázek od odborníka v oboru. Váš první 30 minut s Chegg tutorem je zdarma!