Logistische Regression < math. Statistik < Stochastik < Hochschule < Mathe < Vorhilfe
|
| Aufgabe | Consider a two class logistic regression problem with x [mm] \in \IR. [/mm] Characterize the maximum likelihood estimates of the slope and intercept parameter if the sample [mm] x_{i} [/mm] for the two classes are separated by a point [mm] x_{0} \in \IR.
[/mm]
Generalize this result to x [mm] \in \IR^p. [/mm] |
Das Modell sieht ja für den zwei Klassen Fall so aus:
log Pr (G=1|X=x)/Pr (G=2|X=x) = [mm] \beta_{0} [/mm] + [mm] \beta_{1}^T [/mm] x
Die Schätzung erfolgt durch (log) Maximum Likelihood, also:
[mm] l(\beta) [/mm] = [mm] \summe_{i=1}^{N} [/mm] log Pr (G=2 | [mm] X=x_{i}; \beta)
[/mm]
Was passiert also mit [mm] \beta [/mm] wenn die Klassen linear trennbar sind?
Meine Idee:
[mm] l(\beta)= \summe_{i=1}^{N} y_{i} [/mm] log [mm] Pr(G=1|X=x_{i}) [/mm] + [mm] (1-y_{i}) [/mm] log Pr (G=2| [mm] X=x_{i}))
[/mm]
[mm] =\summe_{i=1}^{N} y_{i} [/mm] log [mm] (exp(\beta_{0} [/mm] + [mm] \beta_{1}^T [/mm] x / 1+ [mm] exp(\beta_{0} [/mm] + [mm] \beta{1}^T [/mm] x)) + [mm] (1-y_{i}) [/mm] log (1 / [mm] 1+exp(\beta_{0}+\beta_{1}^T [/mm] x)))
[mm] =\summe_{i=1}^{N} (y_{i} [/mm] log 1/2 + [mm] (1-y_{i}) [/mm] log 1/2 )
= N * log 1/2
[mm] =>\limes_{n\rightarrow\infty} l(\beta) [/mm] = [mm] \infty
[/mm]
Stimmt das?
Was bedeutet das für die [mm] \beta´s?
[/mm]
Ich hoffe ihr könnt mir helfen!
Vielen Dank schonmal!
Ich habe diese Frage in keinem Forum auf anderen Internetseiten gestellt.
|
|
| |
|
| Status: |
(Mitteilung) Reaktion unnötig  | | Datum: | 16:20 Di 03.07.2007 | | Autor: | matux |
$MATUXTEXT(ueberfaellige_frage)
|
|
|
|
