Entropie < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 10:29 Mo 02.05.2011 | | Autor: | mikexx |
| Aufgabe | Hallo, Leute!
Ich soll für die Entropie aus den folgenden 5 Axiomen herleiten, dass [mm] H(p)=-log_2(p) [/mm].
(1) H(1)=0
(2) [mm] H(p_1)
(3) H(p) ist stetig für alle [mm] 0
(4) [mm] H(p_1\cdot p_2)=H(p_1)+H(p_2) [/mm] für alle [mm] 0
(5) H(0,5)=1
Hinweis:
Man zeige zuerst, dass für jedes [mm] 0 |
Also, wenn ich den Hinweis richtig verstehe, muss man zuerst Induktion anwenden.
Es gilt [mm] H(p^2)=H(p\cdot p)=H(p)+H(p)=2H(p) [/mm]
Die Aussage stimme für [mm] p^k.
[/mm]
Zeigen nun, dass sie auch für [mm] p^{k+1} [/mm] stimmt:
[mm] H(p^{k+1})=H(p^k\cdot p)=H(p^k)+H(p)=kH(p)+H(p)=(k+1)H(p) [/mm]
Weiter weiß ich leider nicht!
Ich soll hieraus - falls es stimmt, was ich gemacht habe - nun folgern, dass dies auch für alle rationalen Zahlen gilt. Und daraus dann [mm] h(x)=H(0,5^x)=x [/mm] für alle reellen Zahlen [mm] x\geq [/mm] 0.
Wer kann mir helfen, ich habe keine Ahnung, wie es weiter geht.
|
|
| |
|
> Hallo, Leute!
>
> Ich soll für die Entropie aus den folgenden 5 Axiomen
> herleiten, dass [mm]H(p)=-log_2(p) [/mm].
>
> (1) H(1)=0
> (2) [mm]H(p_1)
> (3) H(p) ist stetig für alle [mm]0
> (4) [mm]H(p_1\cdot p_2)=H(p_1)+H(p_2)[/mm] für alle [mm]0
> (5) H(0,5)=1
>
> Hinweis:
> Man zeige zuerst, dass für jedes [mm]0
> Zahl [mm]H(p^k)=kH(p) [/mm]. Folgere, dass auch [mm]H(p^r)=rH(p)[/mm] für
> alle rationalen Zahlen r. Zeige dann, dass [mm]h(x)=H(0,5^x)=x[/mm]
> für alle reellen Zahlen [mm]x\geq[/mm] 0.
> Also, wenn ich den Hinweis richtig verstehe, muss man
> zuerst Induktion anwenden.
>
> Es gilt [mm]H(p^2)=H(p\cdot p)=H(p)+H(p)=2H(p)[/mm]
> Die Aussage
> stimme für [mm]p^k.[/mm]
> Zeigen nun, dass sie auch für [mm]p^{k+1}[/mm] stimmt:
>
> [mm]H(p^{k+1})=H(p^k\cdot p)=H(p^k)+H(p)=kH(p)+H(p)=(k+1)H(p)[/mm]
>
> Weiter weiß ich leider nicht
Zuerst solltest du den Induktionsbeweis vervollständigen.
Insbesondere musst du beachten, dass für k auch negative
ganze Zahlen und natürlich die Null in Frage kommen !
> Ich soll hieraus - falls es stimmt, was ich gemacht habe -
> nun folgern, dass dies auch für alle rationalen Zahlen
> gilt.
Eine rationale Zahl r lässt sich schreiben als [mm] r=\frac{z}{n} [/mm] mit
[mm] z\in\IZ [/mm] und [mm] n\in\IN. [/mm] Zu zeigen wäre nun also, dass [mm] H(p^{z/n})=\frac{z}{n}*H(p) [/mm] .
Tipp: setze dazu [mm] q:=p^{1/n} [/mm] und zeige zunächst, dass
[mm] H(q)=\frac{1}{n}*H(p) [/mm] sein muss !
> Und daraus dann [mm]h(x)=H(0,5^x)=x[/mm] für alle reellen
> Zahlen [mm]x\geq[/mm] 0.
Das ist dann bestimmt ein Fall für das Axiom (3) der Stetigkeit
und das "Normierungsaxiom" (5) . Und dabei muss man dann
auch noch den Zweierlogarithmus ins Spiel bringen.
LG Al-Chw.
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 12:21 Mo 02.05.2011 | | Autor: | felixf |
Moin,
> Zuerst solltest du den Induktionsbeweis vervollständigen.
> Insbesondere musst du beachten, dass für k auch negative
> ganze Zahlen und natürlich die Null in Frage kommen !
in der Hinsicht ist die Aufgabe etwas unguenstig gestellt: die Funktion $H$ ist nur auf $(0, 1]$ definiert. Und ist $x [mm] \in [/mm] (0, 1)$, so liegt [mm] $x^{-1}$ [/mm] eben nicht in dieser Menge, womit [mm] $H(x^{-1})$ [/mm] schon keinen Sinn macht, geschweige denn andere negative Exponenten.
Das ganze soll wohl nur fuer nicht-negative ganze Zahlen und rationale Zahlen gezeigt werden, das reicht hier auch voellig aus.
LG Felix
|
|
|
| |
|
> Moin,
>
> > Zuerst solltest du den Induktionsbeweis vervollständigen.
> > Insbesondere musst du beachten, dass für k auch
> negative
> > ganze Zahlen und natürlich die Null in Frage kommen !
>
> in der Hinsicht ist die Aufgabe etwas unguenstig gestellt:
> die Funktion [mm]H[/mm] ist nur auf [mm](0, 1][/mm] definiert. Und ist [mm]x \in (0, 1)[/mm],
> so liegt [mm]x^{-1}[/mm] eben nicht in dieser Menge, womit [mm]H(x^{-1})[/mm]
> schon keinen Sinn macht, geschweige denn andere negative
> Exponenten.
>
> Das ganze soll wohl nur fuer nicht-negative ganze Zahlen
> und rationale Zahlen gezeigt werden, das reicht hier auch
> voellig aus.
>
> LG Felix
Hallo Felix,
ich war der Meinung, daran gedacht zu haben, hab mich
dann aber irgendwie verheddert. Rein rechnerisch könnte
man ja den Definitionsbereich von H auf [mm] \IR^+ [/mm] erweitern,
nur macht dies physikalisch gesehen im betrachteten
Zusammenhang keinen Sinn.
LG Al-Chw.
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 15:37 Mo 02.05.2011 | | Autor: | mikexx |
Hallo, liebe Helfer!
> Zuerst solltest du den Induktionsbeweis vervollständigen.
> Insbesondere musst du beachten, dass für k auch negative
> ganze Zahlen und natürlich die Null in Frage kommen !
Was muss ich noch vervollständigen: Nach den Mitteilungen, dass das für negative ganze Zahlen keinen Sinn macht, doch eigentlich nichts mehr - oder?
> Eine rationale Zahl r lässt sich schreiben als
> [mm]r=\frac{z}{n}[/mm] mit
> [mm]z\in\IZ[/mm] und [mm]n\in\IN.[/mm] Zu zeigen wäre nun also, dass
> [mm]H(p^{z/n})=\frac{z}{n}*H(p)[/mm] .
> Tipp: setze dazu [mm]q:=p^{1/n}[/mm] und zeige zunächst, dass
> [mm]H(q)=\frac{1}{n}*H(p)[/mm] sein muss !
Okay, ich versuchs mal!
[mm] H(q)=H(p^{1/n})=H(p^{n^{-1}})=n^{-1}H(p)=1/n\cdot H(p) [/mm]
So? Aber da stört mich, dass man es ja bis jetzt nur für (positive) ganze Zahlen gezeigt hat. Und [mm] n^{-1} [/mm] ist ja keine positive ganze Zahl...
> Das ist dann bestimmt ein Fall für das Axiom (3) der
> Stetigkeit
Das verstehe ich leider nicht.
> und das "Normierungsaxiom" (5) . Und dabei muss man dann
> auch noch den Zweierlogarithmus ins Spiel bringen.
>
>
> LG Al-Chw.
|
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 16:15 Mo 02.05.2011 | | Autor: | felixf |
Moin!
> > Zuerst solltest du den Induktionsbeweis vervollständigen.
> > Insbesondere musst du beachten, dass für k auch
> negative
> > ganze Zahlen und natürlich die Null in Frage kommen !
>
> Was muss ich noch vervollständigen: Nach den Mitteilungen,
> dass das für negative ganze Zahlen keinen Sinn macht, doch
> eigentlich nichts mehr - oder?
Genau.
> > Eine rationale Zahl r lässt sich schreiben als
> > [mm]r=\frac{z}{n}[/mm] mit
> > [mm]z\in\IZ[/mm] und [mm]n\in\IN.[/mm] Zu zeigen wäre nun also, dass
> > [mm]H(p^{z/n})=\frac{z}{n}*H(p)[/mm] .
> > Tipp: setze dazu [mm]q:=p^{1/n}[/mm] und zeige zunächst, dass
> > [mm]H(q)=\frac{1}{n}*H(p)[/mm] sein muss !
>
> Okay, ich versuchs mal!
>
> [mm]H(q)=H(p^{1/n})=H(p^{n^{-1}})=n^{-1}H(p)=1/n\cdot H(p)[/mm]
>
> So? Aber da stört mich, dass man es ja bis jetzt nur für
> (positive) ganze Zahlen gezeigt hat. Und [mm]n^{-1}[/mm] ist ja
> keine positive ganze Zahl...
Genau, deswegen geht das so auch nicht.
Zeige doch $n H(q) = H(p)$. Daraus folgt doch $H(q) = [mm] \frac{1}{n} [/mm] H(p)$.
> > Das ist dann bestimmt ein Fall für das Axiom (3) der
> > Stetigkeit
>
> Das verstehe ich leider nicht.
Wenn zwei stetige Funktionen auf einer dichten Teilmenge uebereinstimmen, dann stimmen sie bereits ueberall ueberein.
Und [mm] $\IQ \cap \IR^+$ [/mm] ist eine dichte Teilmenge von [mm] $\IR^+$.
[/mm]
LG Felix
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 16:30 Mo 02.05.2011 | | Autor: | mikexx |
> Zeige doch [mm]n H(q) = H(p)[/mm]. Daraus folgt doch [mm]H(q) = \frac{1}{n} H(p)[/mm].
Meinst Du:
[mm] n\cdot H(q)=n\cdot H(p^{1/n})=H(p^{n/n})=H(p)[/mm]
Das geht, weil [mm] 0
Bleiben noch alle anderen rationalen Zahlen außer 1/n:
Für beliebige rationale Zahlen muss man noch mit [mm] k\in \IZ [/mm] multiplizieren, aber das geht ja sowieso nach dem, was zuerst bewisen wurde.
>
> > > Das ist dann bestimmt ein Fall für das Axiom (3) der
> > > Stetigkeit
> >
> > Das verstehe ich leider nicht.
>
> Wenn zwei stetige Funktionen auf einer dichten Teilmenge
> uebereinstimmen, dann stimmen sie bereits ueberall
> ueberein.
>
> Und [mm]\IQ \cap \IR^+[/mm] ist eine dichte Teilmenge von [mm]\IR^+[/mm].
Das muss ich erstmal verstehen, denn das ist mir (noch) nicht klar. Dankesehr für den Hinweis. Ich werde das dann hier noch posten bzw. fragen.
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 17:15 Mo 02.05.2011 | | Autor: | gfm |
> > Und [mm]\IQ \cap \IR^+[/mm] ist eine dichte Teilmenge von [mm]\IR^+[/mm].
>
> Das muss ich erstmal verstehen, denn das ist mir (noch)
> nicht klar. Dankesehr für den Hinweis. Ich werde das dann
> hier noch posten bzw. fragen.
>
Vielleicht so:
Mal angenommen, Du hast [mm] $x_n\to x_0$ [/mm] ($n=1,2,3,...$) und weißt
a) [mm] $f(x_n)\to y_0$
[/mm]
b) $f$ ist stetig
Kann dann [mm] $f(x_0)$ [/mm] von [mm] $y_0$ [/mm] verschieden sein?
LG
gfm
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 17:22 Mo 02.05.2011 | | Autor: | felixf |
> Vielleicht so:
Nicht nur vielleicht 
LG Felix
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 17:22 Mo 02.05.2011 | | Autor: | felixf |
Moin!
> > Zeige doch [mm]n H(q) = H(p)[/mm]. Daraus folgt doch [mm]H(q) = \frac{1}{n} H(p)[/mm].
>
> Meinst Du:
>
> [mm]n\cdot H(q)=n\cdot H(p^{1/n})=H(p^{n/n})=H(p)[/mm]
>
> Das geht, weil [mm]0
> reinziehen darf.
>
> Bleiben noch alle anderen rationalen Zahlen außer 1/n:
>
> Für beliebige rationale Zahlen muss man noch mit [mm]k\in \IZ[/mm]
> multiplizieren, aber das geht ja sowieso nach dem, was
> zuerst bewisen wurde.
Genau!
LG Felix
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 17:32 Mo 02.05.2011 | | Autor: | mikexx |
Okay, es genügt also zu zeigen, dass
[mm] h(x)=H(0,5^x)=x [/mm] für [mm] x\in \IQ.
[/mm]
Dann folgt, dass dies auf ganz [mm] \IR^+ [/mm] gilt.
Ich frage mich noch, wie man das nun zeigen kann und wie man [mm] -\log_2(p) [/mm] ins Spiel bringt.
h(x)=x
[mm] H(0,5^x)=x\cdot H(0,5)=x\cdot [/mm] 1=x
Aber wie kommt das [mm] -\log_2(p) [/mm] hier nun rein?
PS. Bitte meinen Vorschlag lesen, den ich als Mitteilung an diese Frage angehängt habe. Danke!
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 18:17 Mo 02.05.2011 | | Autor: | mikexx |
Vielleicht:
[mm] h(x)=H(0,5^x)=x\cdot H(0,5)=x=-\log_2(0,5^x) \forall x\in \IQ [/mm]
Setze [mm] p:=0,5^x
[/mm]
[mm] \Rightarrow [/mm] Gilt auch für alle [mm] x\in \IR, x\geq [/mm] 0, da [mm] h(x)=H(0,5^x) [/mm] stetig sind und auf der dichten Teilmenge [mm] \IQ\cap \IR^+ [/mm] übereinstimmen, also auch auf ganz [mm] \IR^+
[/mm]
So?
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 23:46 Mo 02.05.2011 | | Autor: | felixf |
Moin,
> Vielleicht:
>
> [mm]h(x)=H(0,5^x)=x\cdot H(0,5)=x=-\log_2(0,5^x) \forall x\in \IQ[/mm]
>
> Setze [mm]p:=0,5^x[/mm]
>
> [mm]\Rightarrow[/mm] Gilt auch für alle [mm]x\in \IR, x\geq[/mm] 0, da
> [mm]h(x)=H(0,5^x)[/mm] stetig sind und auf der dichten Teilmenge
> [mm]\IQ\cap \IR^+[/mm] übereinstimmen, also auch auf ganz [mm]\IR^+[/mm]
>
>
> So?
das liest sich ein wenig durcheinander.
Begruende doch erst [mm] $H(0.5^x) [/mm] = x$ fuer alle $x [mm] \in \IR^+$, [/mm] und dann setze $x = [mm] -\log_2 [/mm] y$ ein und vereinfache ein wenig. Dann steht das da, was du haben willst.
LG Felix
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 00:07 Di 03.05.2011 | | Autor: | mikexx |
> das liest sich ein wenig durcheinander.
>
> Begruende doch erst [mm]H(0.5^x) = x[/mm] fuer alle [mm]x \in \IR^+[/mm],
Okay, das gilt, weil
h(x)=x=xH(0,5) [mm] \forall[/mm] [mm] x\in \IQ \cap \IR^+ [/mm], weil dies dichte Teilmenge von [mm] \IR^+ [/mm] ist und somit die Identität auch auf ganz [mm] \IR^+ [/mm] gilt.
> dann setze [mm]x = -\log_2 y[/mm] ein und vereinfache ein wenig.
> Dann steht das da, was du haben willst.
Wie meinst Du das? Das y, woher kommt das jetzt?
[Wahrscheinlich eine blöde Frage!]
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 00:18 Di 03.05.2011 | | Autor: | felixf |
Moin,
> > das liest sich ein wenig durcheinander.
> >
> > Begruende doch erst [mm]H(0.5^x) = x[/mm] fuer alle [mm]x \in \IR^+[/mm],
>
> Okay, das gilt, weil
>
> h(x)=x=xH(0,5)
du meinst $h(x) = x = [mm] H(0.5^x)$, [/mm] oder?
> [mm]\forall[/mm] [mm]x\in \IQ \cap \IR^+ [/mm], weil dies
> dichte Teilmenge von [mm]\IR^+[/mm] ist und somit die Identität
> auch auf ganz [mm]\IR^+[/mm] gilt.
... weil $x [mm] \mapsto [/mm] x$ sowie $x [mm] \mapsto H(0.5^x)$ [/mm] stetig sind...
> > dann setze [mm]x = -\log_2 y[/mm] ein und vereinfache ein wenig.
> > Dann steht das da, was du haben willst.
>
> Wie meinst Du das? Das y, woher kommt das jetzt?
Du kannst das $y$ auch $p$ nennen, wenn du den Buchstaben mehr magst.
LG Felix
|
|
|
| |
|
| Status: |
(Frage) beantwortet | | Datum: | 10:06 Di 03.05.2011 | | Autor: | mikexx |
> Moin,
>
> > > das liest sich ein wenig durcheinander.
> > >
> > > Begruende doch erst [mm]H(0.5^x) = x[/mm] fuer alle [mm]x \in \IR^+[/mm],
>
> >
> > Okay, das gilt, weil
> >
> > h(x)=x=xH(0,5)
>
> du meinst [mm]h(x) = x = H(0.5^x)[/mm], oder?
Ja, das meinte ich...
>
> > [mm]\forall[/mm] [mm]x\in \IQ \cap \IR^+ [/mm], weil dies
> > dichte Teilmenge von [mm]\IR^+[/mm] ist und somit die Identität
> > auch auf ganz [mm]\IR^+[/mm] gilt.
>
> ... weil [mm]x \mapsto x[/mm] sowie [mm]x \mapsto H(0.5^x)[/mm] stetig
> sind...
Stimmt, das muss dabei stehen!
>
> > > dann setze [mm]x = -\log_2 y[/mm] ein und vereinfache ein wenig.
> > > Dann steht das da, was du haben willst.
> >
> > Wie meinst Du das? Das y, woher kommt das jetzt?
>
> Du kannst das [mm]y[/mm] auch [mm]p[/mm] nennen, wenn du den Buchstaben mehr
> magst.
>
> LG Felix
>
Okay, ich betrachte das ganze also für [mm] x=-\log_2(p) [/mm]:
[mm] H(\underbrace{0,5^{-\log_2(p)}}_{=p})=x=-\log_2(p) [/mm]
Wie man das zuvor noch vereinfachen kann, weiß ich nicht, jedenfalls kommt das Gewünschte heraus.
Korrekt?
|
|
|
| |
|
| Status: |
(Antwort) fertig | | Datum: | 11:19 Di 03.05.2011 | | Autor: | felixf |
Moin,
> > > > dann setze [mm]x = -\log_2 y[/mm] ein und vereinfache ein wenig.
> > > > Dann steht das da, was du haben willst.
> > >
> > > Wie meinst Du das? Das y, woher kommt das jetzt?
> >
> > Du kannst das [mm]y[/mm] auch [mm]p[/mm] nennen, wenn du den Buchstaben mehr
> > magst.
> >
> > LG Felix
> >
>
> Okay, ich betrachte das ganze also für [mm]x=-\log_2(p) [/mm]:
>
> [mm]H(\underbrace{0,5^{-\log_2(p)}}_{=p})=x=-\log_2(p)[/mm]
>
> Wie man das zuvor noch vereinfachen kann, weiß ich nicht,
> jedenfalls kommt das Gewünschte heraus.
>
> Korrekt?
ja, sieht gut aus.
LG Felix
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 17:53 Di 03.05.2011 | | Autor: | mikexx |
Ich möchte mich gerne bei allen, die mir bei dieser Aufgabe geholfen haben ganz herzlich bedanken!
|
|
|
|
