Waarom ANOVA en lineaire regressie zijn dezelfde analyse

Als uw graduate statistische training was iets als de mijne, je ANOVA in een klas en lineaire regressie geleerd in een andere. Mijn professoren zou zeggen vaak dingen als "ANOVA is gewoon een speciaal geval van regressie," dan doe heel veel van de hand zwaaien wanneer ingedrukt te leggen.

Het was niet totdat ik begon overleg dat ik besefte hoe nauw verwant ANOVA en regressie zijn. Ze zijn niet alleen gerelateerd, ze zijn hetzelfde. Niet een kwart en een nikkel -. Verschillende kanten van dezelfde medaille

Dus hier is een heel eenvoudig voorbeeld dat laat zien waarom. Als iemand me dit liet zien, een gloeilamp ging, hoewel ik al zowel ANOVA en mulitple lineaire regressie wist heel goed (en al had mijn meesters in de statistieken!). Ik denk dat het begrijpen van deze kleine concept is de sleutel tot mijn begrip van de algemene lineaire model als geheel geweest -. De toepassingen zijn verreikend

Als voorbeeld gebruik ik een model met een categorische onafhankelijke variable-- werkgelegenheid categorie - met 3 categorieën: leidinggevende, administratief, en vrijheidsbenemende. De afhankelijke variabele is Vorige ervaring in maanden. (Deze dataset is employment.sav, één van de datasets die gratis wordt geleverd met SPSS).

We kunnen dit uitgevoerd als ofwel een ANOVA of een regressie. In de ANOVA, wordt de categorische variabele effect gecodeerd, hetgeen betekent dat gemiddelde elke categorie wordt vergeleken met de grote gemiddelde. In de regressie wordt de categorische variabele dummy gecodeerd **, waardoor onderscheppen elke categorie wordt vergeleken met snijpunt van de referentie groep. Aangezien het snijpunt wordt gedefinieerd als de gemiddelde waarde wanneer alle andere voorspellers = 0, en er geen andere voorspellers de drie intercepts zijn betekent.

In beide analyses Baancategorie heeft een F = 69,192, met ap < 0,001. Zeer significant

In de ANOVA, vinden we de middelen van de drie groepen zijn:.

Administratief: 85,039

Justitiële: 298,111

Manager: 77,619

In de regressie, vinden we deze coëfficiënten:

Intercept: 77,619

Administratief: 7.420

Justitiële: 220,492

De onderscheppen is eenvoudig het gemiddelde van de referentiegroep, managers. De coëfficiënten voor de twee andere groepen zijn de verschillen in de gemiddelde tussen de referentiegroep en de andere groepen.

U merkt bijvoorbeeld op dat de regressiecoëfficiënt voor bedienden het verschil tussen het gemiddelde voor bedienden , 85,039, en de Intercept, of dat voor Manager (85,039-77,619 = 7,420). Hetzelfde werken voor bewarende.

Dus een ANOVA rapporteert elk betekenen en een p-waarde die ten minste twee aldus significant verschillend. Een regressie rapporten slechts een gemiddelde (als een as), en de verschillen tussen die ene en alle andere middelen, maar de p-waarden te evalueren die specifieke vergelijkingen.

Het is allemaal hetzelfde model, dezelfde informatie, maar verschillende manieren gepresenteerd. Begrijpen wat de model vertelt u in elke manier, en u bent bevoegd.

Ik stel u proberen deze kleine oefening met elke dataset, voeg dan in een tweede categorische variabele, eerst zonder en vervolgens met een interactie. Ga door de middelen en de regressiecoëfficiënten en zie hoe ze optelt

** De dummy codering maakt twee 1/0 variabelen. Administratief = 1 voor de administratieve categorie, 0 anders; Vrijheidsstraf = 1 voor de verzorgende categorie, 0 anders. Opmerkingen in de Managerial categorie hebben een 0 waarde aan beide van deze variabelen, en dit staat bekend als de referentiegroep
.