Mathematik

Beispiele für die Schätzung der maximalen Wahrscheinlichkeit

Angenommen, wir haben eine Zufallsstichprobe aus einer interessierenden Population. Möglicherweise haben wir ein theoretisches Modell für die Verteilung der Bevölkerung. Allerdings kann es mehrere Bevölkerung sein Parameter. von denen wir die Werte nicht kennen. Die Maximum-Likelihood-Schätzung ist eine Möglichkeit, diese unbekannten Parameter zu bestimmen.

Die Grundidee hinter der Maximum-Likelihood-Schätzung besteht darin, dass wir die Werte dieser unbekannten Parameter bestimmen. Wir tun dies so, dass eine zugehörige gemeinsame Wahrscheinlichkeitsdichtefunktion oder Wahrscheinlichkeitsmassenfunktion maximiert wird . Wir werden dies im Folgenden genauer sehen. Dann werden wir einige Beispiele für die Maximum-Likelihood-Schätzung berechnen.

 

Schritte zur Abschätzung der maximalen Wahrscheinlichkeit

Die obige Diskussion kann durch die folgenden Schritte zusammengefasst werden:

    1. Beginnen Sie mit einer Stichprobe unabhängiger Zufallsvariablen X 1 , X 2 ,. . . X n aus einer gemeinsamen Verteilung mit jeweils Wahrscheinlichkeitsdichtefunktion f (x; θ 1 , … θ k ). Die Thetas sind unbekannte Parameter.
    2. Da unsere Stichprobe unabhängig ist, wird die Wahrscheinlichkeit, die von uns beobachtete spezifische Stichprobe zu erhalten, durch Multiplikation unserer Wahrscheinlichkeiten ermittelt. Dies gibt uns eine Wahrscheinlichkeitsfunktion L (θ 1 , .θ.. K )=f (x 1 ; θ 1 , .θ.. K ) f (x 2 ; θ 1 , .θ.. K ). . . f (x n ; θ 1 , … θ k )=Π f (x i ; θ 1 , … θ k ).
    3. Als nächstes verwenden wir Calculus. um die Werte von Theta zu finden, die unsere Wahrscheinlichkeitsfunktion L maximieren.
    4. Insbesondere differenzieren wir die Wahrscheinlichkeitsfunktion L in Bezug auf θ, wenn es einen einzelnen Parameter gibt. Wenn es mehrere Parameter gibt, berechnen wir partielle Ableitungen von L in Bezug auf jeden der Theta-Parameter.
    5. Um den Maximierungsprozess fortzusetzen, setzen Sie die Ableitung von L (oder partielle Ableitungen) gleich Null und lösen Sie nach Theta.
    6. Wir können dann andere Techniken (wie einen zweiten Ableitungstest) verwenden, um zu überprüfen, ob wir ein Maximum für unsere Wahrscheinlichkeitsfunktion gefunden haben.

 

 

Beispiel

Angenommen, wir haben eine Packung Samen, von denen jede eine konstante Wahrscheinlichkeit p für den Erfolg der Keimung hat. Wir pflanzen n davon und zählen die Anzahl derer, die sprießen. Angenommen, jeder Samen sprießt unabhängig von den anderen. Wie bestimmen wir den Maximum-Likelihood-Schätzer des Parameters p ?

Wir beginnen mit der Feststellung, dass jeder Samen durch eine Bernoulli-Verteilung mit einem Erfolg von p modelliert wird . Wir lassen X entweder 0 oder 1 sein und die Wahrscheinlichkeitsmassenfunktion für einen einzelnen Keim ist f (x; p )=p x (1 – p ) 1 – x .

Unsere Stichprobe besteht aus n   verschiedenen X i , von denen jedes eine Bernoulli-Verteilung hat. Die Samen, die sprießen, haben X i=1 und die Samen, die nicht sprießen, haben X i=0.

Die Wahrscheinlichkeitsfunktion ist gegeben durch:

L ( p )=Π p x i (1 – p ) 1 – x i

Wir sehen, dass es möglich ist, die Wahrscheinlichkeitsfunktion unter Verwendung der Gesetze von Exponenten umzuschreiben.

L ( p ) =  p ≤ x i (1 – p ) n≤ x i

Als nächstes differenzieren wir diese Funktion in Bezug auf p . Wir nehmen an, dass die Werte für alle X i bekannt und daher konstant sind. Um die Wahrscheinlichkeitsfunktion zu unterscheiden, müssen wir die Produktregel zusammen mit der Potenzregel verwenden :

L ‚( p )=Σ x i p -1 + Σ x i (1 – p ) nΣ x i – ( nΣ x i ) p Σ x i (1 – p ) n -1 – Σ x i

Wir schreiben einige der negativen Exponenten neu und haben:

L ‚( p )=(1 / p ) Σ x i p Σ x i (1 – p ) nΣ x i – 1 / (1 – p ) ( nΣ x i ) p Σ x i (1 – p ) nΣ x i

= [(1 / p ) Σ x – 1 / (1 – p ) ( nΣ x i )] i p Σ x i (1 – p ) nΣ x i

Um den Maximierungsprozess fortzusetzen, setzen wir diese Ableitung auf Null und lösen nach p:

0=[(1 / p ) Σ x – 1 / (1 – p ) ( nΣ x i )] i p Σ x i (1 – p ) nΣ x i

Da p und (1- p ) ungleich Null sind, haben wir das

0=(1 / p ) Σ x – 1 / (1 – p ) ( nΣ x i ).

Das Multiplizieren beider Seiten der Gleichung mit p (1 – p ) ergibt:

0=(1 – p ) Σ x p ( nΣ x i ).

Wir erweitern die rechte Seite und sehen:

0=Σ x p Σ x p n + pΣ x i=Σ x ip n .

Somit ist Σ x i=p n und (1 / n) Σ x =p. Dies bedeutet, dass der Maximum-Likelihood-Schätzer von p ein Stichprobenmittelwert ist. Insbesondere ist dies der Probenanteil der Samen, die gekeimt haben. Dies stimmt perfekt mit dem überein, was uns die Intuition sagen würde. Um den Anteil der Samen zu bestimmen, die keimen werden, betrachten Sie zunächst eine Probe aus der interessierenden Population.

 

Änderungen an den Schritten

Es gibt einige Änderungen an der obigen Liste von Schritten. Wie wir oben gesehen haben, lohnt es sich normalerweise, einige Zeit mit Algebra zu verbringen, um den Ausdruck der Wahrscheinlichkeitsfunktion zu vereinfachen. Der Grund dafür ist, die Differenzierung einfacher durchzuführen.

Eine weitere Änderung der obigen Liste von Schritten besteht darin, natürliche Logarithmen zu berücksichtigen. Das Maximum für die Funktion L tritt am gleichen Punkt auf wie für den natürlichen Logarithmus von L. Somit ist die Maximierung von ln L gleichbedeutend mit der Maximierung der Funktion L.

Aufgrund des Vorhandenseins von Exponentialfunktionen in L wird die Verwendung des natürlichen Logarithmus von L häufig einige unserer Arbeiten erheblich vereinfachen.

 

Beispiel

Wir sehen, wie man den natürlichen Logarithmus verwendet, indem wir das Beispiel von oben noch einmal betrachten. Wir beginnen mit der Wahrscheinlichkeitsfunktion:

L ( p ) =  p ≤ x i (1 – p ) n≤ x i .

Wir verwenden dann unsere Logarithmusgesetze und sehen Folgendes:

R ( p )=ln L ( p )=Σ x i ln p + ( nΣ x i ) ln (1 – p ).

Wir sehen bereits, dass die Ableitung viel einfacher zu berechnen ist:

R ‚( p )=(1 / p ) Σ x i – 1 / (1 – p ) ( nΣ x i ).

Nach wie vor setzen wir diese Ableitung auf Null und multiplizieren beide Seiten mit p (1 – p ):

0=(1 – p ) Σ x i –  p ( nΣ x i ).

Wir lösen nach p und finden das gleiche Ergebnis wie zuvor.

Die Verwendung des natürlichen Logarithmus von L (p) ist auf andere Weise hilfreich. Es ist viel einfacher, eine zweite Ableitung von R (p) zu berechnen, um zu überprüfen, ob wir am Punkt (1 / n) Σ x =p wirklich ein Maximum haben .

 

Beispiel

Nehmen wir für ein anderes Beispiel an, wir haben eine Zufallsstichprobe X 1 , X 2 ,. . . X n aus einer Population, die wir mit einer Exponentialverteilung modellieren. Die Wahrscheinlichkeitsdichtefunktion für eine Zufallsvariable ist von der Form f ( x )=θ 1 e -x / θ

Die Wahrscheinlichkeitsfunktion ist durch die gemeinsame Wahrscheinlichkeitsdichtefunktion gegeben. Dies ist ein Produkt mehrerer dieser Dichtefunktionen:

L (θ)=Π θ 1 e -x i / θ-n e x i / θ

Auch hier ist es hilfreich, den natürlichen Logarithmus der Wahrscheinlichkeitsfunktion zu berücksichtigen. Die Differenzierung erfordert weniger Arbeit als die Differenzierung der Wahrscheinlichkeitsfunktion:

R (θ)=ln L (θ)=ln [θ- n e x i / θ ]

Wir verwenden unsere Logarithmusgesetze und erhalten:

R (θ)=ln L (θ)=- n ln θ  + – Σ x i / θ

Wir unterscheiden in Bezug auf θ und haben:

R ‚(θ)=- n / θ  + Σ x i / θ 2

Setzen Sie diese Ableitung gleich Null und wir sehen, dass:

0=- n / θ  + Σ x i / θ 2 .

Multiplizieren Sie beide Seiten mit θ 2 und das Ergebnis ist:

0=- n  & thgr ; + & xgr; x i .

Verwenden Sie nun Algebra, um nach θ zu lösen:

θ=(1 / n) Σ x i .

Wir sehen daraus, dass der Stichprobenmittelwert die Wahrscheinlichkeitsfunktion maximiert. Der Parameter θ, der zu unserem Modell passt, sollte einfach der Mittelwert aller unserer Beobachtungen sein.

Verbindungen

Es gibt andere Arten von Schätzern. Eine alternative Art der Schätzung wird als unverzerrter Schätzer bezeichnet. Für diesen Typ müssen wir den erwarteten Wert unserer Statistik berechnen und feststellen, ob er mit einem entsprechenden Parameter übereinstimmt.

Similar Posts

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.