Markov-Eigenschaft, Anfangsver < Wahrscheinlichkeitstheorie < Stochastik < Hochschule < Mathe < Vorhilfe
|
Hallo,
ich habe eine allgemeine Frage zum Umgang mit Markov-Ketten.
Wenn ich eine Übergangsmatrix $P$ gegeben habe, die irgendeinen Prozess darstellt, und ich möchte nun herausfinden wie groß die Wahrscheinlichkeit ist, nach n läufen in einem bestimmten Zustand zu sein, dann ist doch lediglich nach
[mm] $P^n$ [/mm] gefragt, also die Übergangsmatrix $P$ n-mal mit sich selbst multipliziert.
Die Wahrscheinlichkeit nach n-Schritten in diesem Zustand zu sein, ist dann lediglich der entsprechende Eintrag in der Matrix [mm] $P^n$.
[/mm]
Und dies ist nach der Markov-Eigenschaft unabhängig davon "wo" ich starte.
Ein Beispiel:
[mm] $P=\begin{pmatrix}-&1&2&3\\1& 0&a&b\\2&c&0&d\\3&e&f&0\end{pmatrix}$
[/mm]
Die Zahlen 1,2 und 3 (und das leere Symbol "-" zur Ästhetik) sollen hier nur signalisieren in welchem Zustand ich mich befinde. Es ist also eigentlich eine 3x3 Matrix.
Ich starte in Zustand 1 und möchte wissen wie groß die Wahrscheinlichkeit ist, nach vier Schritten wieder im Zustand 1 zu sein.
Wie wird dann die Anfangsverteilung [mm] $\alpha$ [/mm] beachtet, dass ich mich im Zustand 1 befinde?
Die Wahrscheinlichkeit sollte dann durch [mm] $\alpha P^4$ [/mm] gegeben sein. Doch was ist [mm] $\alpha$? [/mm]
Ist dann [mm] $\alpha=\begin{pmatrix}0&a&b\end{pmatrix}$?
[/mm]
Vielen Dank im voraus.
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 12:04 Mo 25.04.2016 | | Autor: | huddel |
> Hallo,
>
> ich habe eine allgemeine Frage zum Umgang mit
> Markov-Ketten.
> Wenn ich eine Übergangsmatrix [mm]P[/mm] gegeben habe, die
> irgendeinen Prozess darstellt, und ich möchte nun
> herausfinden wie groß die Wahrscheinlichkeit ist, nach n
> läufen in einem bestimmten Zustand zu sein, dann ist doch
> lediglich nach
>
> [mm]P^n[/mm] gefragt, also die Übergangsmatrix [mm]P[/mm] n-mal mit sich
> selbst multipliziert.
>
> Die Wahrscheinlichkeit nach n-Schritten in diesem Zustand
> zu sein, ist dann lediglich der entsprechende Eintrag in
> der Matrix [mm]P^n[/mm].
>
> Und dies ist nach der Markov-Eigenschaft unabhängig davon
> "wo" ich starte.
Hm, jain, die Markov-Eigenschaft sagt, dass der momentane Zustand nur von dem davor und nicht von der ganzen Vergangenheit abhängt, jedoch ist in deinem Fall das schon wichtig, wo du startest, weil du ja jetzt, wie in deinem Beispiel, vier Schritte auf einmal machst. Oder anders gesagt: der letzte Zustand hängt vom vorletzten ab, der vorletzte von vorvorletzten etc. damit ist der erste Zustand schon wichtig. also sagt dir der Eintrag [mm] $p^{(n)}_{k,l}$ [/mm] wie groß die Wahrscheinlichkeit ist, nach $n$ Schritten von $k$ nach $l$ zu kommen.
> Ein Beispiel:
>
>
> [mm]P=\begin{pmatrix}-&1&2&3\\1& 0&a&b\\2&c&0&d\\3&e&f&0\end{pmatrix}[/mm]
>
> Die Zahlen 1,2 und 3 (und das leere Symbol "-" zur
> Ästhetik) sollen hier nur signalisieren in welchem Zustand
> ich mich befinde. Es ist also eigentlich eine 3x3 Matrix.
>
> Ich starte in Zustand 1 und möchte wissen wie groß die
> Wahrscheinlichkeit ist, nach vier Schritten wieder im
> Zustand 1 zu sein.
> Wie wird dann die Anfangsverteilung [mm]\alpha[/mm] beachtet, dass
> ich mich im Zustand 1 befinde?
>
> Die Wahrscheinlichkeit sollte dann durch [mm]\alpha P^4[/mm] gegeben
> sein. Doch was ist [mm]\alpha[/mm]?
>
> Ist dann [mm]\alpha=\begin{pmatrix}0&a&b\end{pmatrix}[/mm]?
Wenn das das $a$ und $b$ aus deiner Matrix oben sein soll: Nein.
Deine Anfangsverteilung sagt dir nur, mit welcher Wahrscheinlichkeit du wo startest, das heißt in deinem Fall ist dies ein Vektor [mm] $\alpha [/mm] = [mm] (\alpha_1,\alpha_2,\alpha_3)$ [/mm] mit [mm] $\sum_{i=1}^3 \alpha_i [/mm] = 1$
Damit ist [mm] $\alpha P^4$ [/mm] die Wahrscheinlichkeit nach vier Schritten auf dem entsprechenden Zustand zu landen
> Vielen Dank im voraus.
LG
Huddel :)
|
|
|
| |
|
Danke für die Antwort.
> Deine Anfangsverteilung sagt dir nur, mit welcher Wahrscheinlichkeit du wo startest
Und wie kann man die Anfangsverteilung dann bestimmen?
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 17:14 Mo 25.04.2016 | | Autor: | huddel |
> Danke für die Antwort.
>
> > Deine Anfangsverteilung sagt dir nur, mit welcher Wahrscheinlichkeit du wo startest
>
> Und wie kann man die Anfangsverteilung dann bestimmen?
Öhm, bei gegebener Übergangsmatrix $P$ und Verteilung [mm] $\mu^{(n)}$ [/mm] zum Zeitpunkt $n$, gilt ja [mm] $\mu^{(n)} [/mm] = [mm] \alpha \cdot P^n$ $\Rightarrow$ [/mm] Lösung: Lineare Algebra
Willst du das Empirisch [mm] $\Rightarrow$ [/mm] Statistik
War das das, was du wissen wolltest? :)
LG
Huddel
|
|
|
| |
|
Hallo,
die Anfangsverteilung gibt man oft vor. Oder wie von Huddel vorgeschlagen hat man die Verteilung nach n Sprüngen und kann daraus dann die Anfangsverteilung rückwärts ermitteln.
Viele Grüße, Erik
|
|
|
| |
|
> Hallo,
>
> ich habe eine allgemeine Frage zum Umgang mit
> Markov-Ketten.
> Wenn ich eine Übergangsmatrix [mm]P[/mm] gegeben habe, die
> irgendeinen Prozess darstellt, und ich möchte nun
> herausfinden wie groß die Wahrscheinlichkeit ist, nach n
> läufen in einem bestimmten Zustand zu sein, dann ist doch
> lediglich nach
>
> [mm]P^n[/mm] gefragt, also die Übergangsmatrix [mm]P[/mm] n-mal mit sich
> selbst multipliziert.
>
> Die Wahrscheinlichkeit nach n-Schritten in diesem Zustand
> zu sein, ist dann lediglich der entsprechende Eintrag in
> der Matrix [mm]P^n[/mm].
>
> Und dies ist nach der Markov-Eigenschaft unabhängig davon
> "wo" ich starte.
Nein, ganz im Gegenteil: Die Übergangs(!)matrix sagt dir, mit welcher W. du in den Zustand b gelangst, wenn du im Zustand a bist. [mm] P^n [/mm] sagt dir entsprechend (wenn wir mal bei den Positionen a und b bleiben), mit welcher W. du nach n Zügen im Zustand b landest, wenn du im Zustand a bist.
Typisches einfaches Beispiel: Beim "Mensch-ärgere-dich"-Spiel darf man, wenn man alle Püppchen wieder in den Stall stellen musste, weil sie aus dem Spiel geworfen wurden, 3 mal hintereinander würfeln. Ist mindestens eine 6 dabei, darf man ein Püppchen wieder ins Spiel bringen, wirft man keine 6, muss man weiterhin ausscheiden, bis man wieder an die Reihe kommt.
Bezeichnet k den zustand keine 6 und "6" den Zustand "es wurde mindestens eine 6 geworfen", so ist die Übergangsmatrix
>
> Ein Beispiel:
>
>
> [mm]P=\begin{pmatrix}-&k&6\\k& \bruch{5}{6}&0\\6&\bruch{1}{6}&1\end{pmatrix}[/mm]
>
Zu Beginn hast du noch keine 6 und startest mit [mm] \vektor{1 \\ 0}, [/mm] das gibt dann [mm] \vektor{\bruch{5}{6} \\ \bruch{1}{6}}.
[/mm]
Nochmaliges Multiplizieren gibt [mm] \vektor{\bruch{25}{36} \\ \bruch{11}{36}} [/mm] und ein drittes Mal [mm] \vektor{\bruch{125}{216} \\ \bruch{66}{216}}.
[/mm]
Hast du aber bereits eine 6, so hast du schon gewonnen. Du multiplizierst dann mit [mm] \vektor{0 \\ 1} [/mm] und bekommst wieder [mm] \vektor{0\\ 1} [/mm] heraus.
Es ist [mm]P^3=\begin{pmatrix} \bruch{125}{216}&0\\\bruch{91}{216}&1\end{pmatrix}[/mm], und du kannst die beiden Vektoren sofort damit multiplizieren.
Das tatsächliche Endergebnis ist somit i.a. vom Startvektor abhängig. Es gibt aber Fälle, wo dies unabhängig davon ist (dann spricht man aber nicht mehr vom Zufall) oder wo [mm] P^{\infty} [/mm] so gestaltet ist, dass unabhängig vom Startwert immer dieselbe Endverteilung herauskommt, obwohl das für P nicht gilt. So ist z.B. für obige Matrix
[mm]P^{\infty}=\begin{pmatrix} 0&0\\1&1\end{pmatrix}[/mm],
d.h, auf lange Sicht wirst du auf jeden Fall eine 6 werfen.
|
|
|
|
