Informationsgehalt (Entropie?) < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Status: |
(Frage) beantwortet  | | Datum: | 23:10 So 24.04.2005 | | Autor: | Bastiane |
Hallo ihr!
Ich bin mir nicht sicher, ob diese Frage hier im Stochastik-Forum richtig ist - wenn mir keiner helfen kann, ist aber auch nicht allzu schlimm. 
Also erstmal die Aufgabe:
Gegeben sei ein aus drei Symbolen a,b,c bestehendes Alphabet. Das Symbol a tritt mit der Wahrscheinlichkeit [mm] p_1=0,2, [/mm] das Symbol b mit der Wahrscheinlichkeit [mm] p_2=0,5 [/mm] auf. Gegeben sei eine Nachricht N mit dem Informationsgehalt [mm] I_N=1,94986. [/mm] Geben Sie die Nachrichten an, um die es sich handeln könnte.
Ich habe mir dazu auch jetzt schon seit einiger Zeit Gedanken gemacht und viele Infos darüber gelesen...
Also was mir direkt einfiel war, dass die Wahrscheinlichkeit für das Symbol c [mm] p_3=0,3 [/mm] sein müsste, damit es zusammen 1 ergibt. Im Nachhinein habe ich mich aber gefragt, ob es nicht vielleicht auch noch irgendie ein Leerzeichen oder so geben könnte. Aber das müsste doch dann eigentlich im Alphabet enthalten sein, oder?
Dann frage ich mich, wie die auf so eine komische Zahl kommen - 1,94986 - muss mir das was sagen? Ist diese Zahl willkürlich? Muss man da nachher einfach alle möglichen Sachen ausprobieren, um auf diesen Informationsgehalt zu kommen?
So, und dann habe ich noch folgende Formeln gefunden:
Der Informationsgehalt einer Nachricht ist die Summer der Informationsgehalte der einzelnen Symbole - also:
[mm] I_N=I_1+I_2+I_3
[/mm]
Diese Formel habe ich irgendwo im Netz gefunden - ich finde sie recht logisch.
Nun ist der Informationsgehalt eines einzelnen Symbols: [mm] I=-ld\;p_i, [/mm] wobei ld der Logarithmus zur Basis 2 ist. (Diese Formel hatten wir in der Vorlesung und sie steht auch des Öfteren im Netz.  )
Nun habe ich so aber mal [mm] I_N [/mm] berechnet und komme da auf [mm] I_N\approx [/mm] 2,32+1+1,7 und das ist ja wohl was ganz anderes, als angegeben war. Und es macht ja auch keinen Sinn, denn ich soll ja Nachrichten angeben, die den angegebenen Informationsgehalt haben, und so bekomme ich da ja gar nichts raus. :-(
So, und das letzte, was mir noch einfiel, ist, dass ich ja quasi so Sachen angeben soll wie: aaaaa oder abcbc oder so, oder? Aber irgendwas stimmt da irgendwo nicht, denn wie würde ich denn davon jetzt den Informationsgehalt berechnen? Wenn ich die I's von den einzelnen Symbolen immer addiere, erhalte ich ja ziemlich schnell immer größere Zahlen, und es soll doch nur 1,94986 herauskommen.
Ob mir vielleicht jemand auf die Sprünge helfen könnte?
Viele Grüße
Bastiane
![[gutenacht]](/images/smileys/gutenacht.gif "[gutenacht]")
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 08:16 Mo 25.04.2005 | | Autor: | Stefan |
Liebe Christiane!
Du hast Recht, die Aufgabe ist mit diesem Informationsgehalt unlösbar.
Vermutlich hat der Aufgabensteller die Begriffe "Informationsgehalt" und "Entropie" verwechselt. Denn bei der Entropie müssen die Informationsgehalte noch mit den jeweiligen Eintrittswahrscheinlichkeiten multipliziert werden. Dann könnte es ja hinkommen.
Wenn, dann wäre übrigens deine letzte Idee die richtige gewesen...
Kannst du mich bitte aufklären, wenn du die Lösung der Aufgabe kennst? Danke!
Liebe Grüße
Stefan
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 10:24 Mo 25.04.2005 | | Autor: | Bastiane |
Lieber Stefan!
Mit der Entropie-Formel hatte ich das auch schon versucht:
[mm] H\approx [/mm] -0,2*(-2,32)-0,5*(-1)-0,3*(-1,74)=0,464+0,5+0,522=1,468
Das wäre dann doch aber wieder ein festes Ergebnis, das nicht mit dem angegebenen übereinstimmt, und vor allem habe ich so immer noch keine Ahnung, um welche Nachrichten es sich handeln könnte. :-(
Viele Grüße
Christiane
![[cap]](/images/smileys/cap.gif "[cap]")
|
|
|
| |
|
| Status: |
(Antwort) fertig  | | Datum: | 19:20 Mo 25.04.2005 | | Autor: | Stefan |
Liebe Christiane!
Doch, mit der Entropie geht es einwandfrei!
Gesucht sind natürliche Zahlen [mm] $a_1,a_2,a_3$ [/mm] mit
$1,94986 [mm] \approx a_1 \cdot p_1 \cdot (-\log_2(p_1)) [/mm] + [mm] a_2 \cdot p_2 \cdot (-\log_2(p_2)) [/mm] + [mm] a_3 \cdot p_3 \cdot (-\log_2(p_3)) \approx a_1 \cdot [/mm] 0.46438 + [mm] a_2 \cdot [/mm] 0.5 + [mm] a_3 \cdot [/mm] 0.52109$.
Man sieht durch eine waches Auge oder viel Probieren, dass dies nur für
[mm] $a_1=2$, $a_2=1$ [/mm] und [mm] $a_3=1$
[/mm]
möglich ist.
Die möglichen Wörter sind also:
$aabc$, $aacb$, $abac$, $acab$, $abca$, $acba$, $bcaa$, $cbaa$, $baca$, $caba$, $baac$, $caab$.
Liebe Grüße
Stefan
|
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig | | Datum: | 20:19 Mo 25.04.2005 | | Autor: | Bastiane |
Lieber Stefan!
> Gesucht sind natürliche Zahlen [mm]a_1,a_2,a_3[/mm] mit
>
> [mm]1,94986 \approx a_1 \cdot p_1 \cdot (-\log_2(p_1)) + a_2 \cdot p_2 \cdot (-\log_2(p_2)) + a_3 \cdot p_3 \cdot (-\log_2(p_3)) \approx a_1 \cdot 0.46438 + a_2 \cdot 0.5 + a_3 \cdot 0.52109[/mm].
Dachte ich mir doch, dass man das noch irgendwie multiplizieren muss mit dem, was gesucht ist. Hatte nur keine Formel dafür gefunden und irgendwie kam ich nicht so wirklich drauf, wie genau ich es denn jetzt machen soll.
> Man sieht durch eine waches Auge oder viel Probieren, dass
> dies nur für
>
> [mm]a_1=2[/mm], [mm]a_2=1[/mm] und [mm]a_3=1[/mm]
>
> möglich ist.
> Die möglichen Wörter sind also:
>
> [mm]aabc[/mm], [mm]aacb[/mm], [mm]abac[/mm], [mm]acab[/mm], [mm]abca[/mm], [mm]acba[/mm], [mm]bcaa[/mm], [mm]cbaa[/mm], [mm]baca[/mm], [mm]caba[/mm],
> [mm]baac[/mm], [mm]caab[/mm].
Danke - das hätte ich wahrscheinlich dann selber noch herausgefunden.
Viele Grüße
Christiane
![[sunny]](/images/smileys/sunny.gif "[sunny]")
|
|
|
|
