Visualiserer manglende data i RW/GGMICE

Når vi analyserer data, ønsker vi å vite de neste trinnene for å finne de manglende verdiene, fordi det meste i analyse bestemmes av forskjellige faktorer. For å hjelpe deg med dette, vil vi takle visualisering av manglende data i R ved å bruke ggmice -pakken. Du kan se hele videoen av denne opplæringen nederst på denne bloggen .

"Hva gjør jeg med manglende verdier?" Dette er et viktig spørsmål å stille når du analyserer data. Vi håper alle at de er enkle å finne siden de er kodet som null eller NA.

Vi tar en titt på noen generelle tommelfingerregler og neste trinn. Vi lærer hvordan du svarer på spørsmål som for eksempel hvor mange manglende data er det? Hvor stort er problemet? Kan vi finne noen mønstre i dataene?

Det er mange måter å gjøre dette på, men vi kommer til å bruke visualisering av manglende data i R som den første utforskende starten.

Innholdsfortegnelse

• Når du skal droppe og når du skal finne manglende verdier
• Trinn for å visualisere manglende data i R med GGMICE
• Imputere de manglende dataene
• Konklusjon

Når du skal droppe og når du skal finne manglende verdier

Hvis det ikke er noe mønster i hvordan de mangler og det påvirker mindre enn 5 % av observasjonene, enten det er i kolonnen eller datasettet, kan du droppe de manglende verdiene.

Men hvis det viser seg at det er mer utbredt og du kan finne noen betydelige mønstre basert på visualiseringene, må du kanskje gjøre noe med disse dataene.

Så i stedet for å droppe dem, kan vi tilskrive disse fordi det sannsynligvis er en historie om hvorfor disse verdiene mangler i mønsteret som de er.

I denne demoen vil vi bruke en pakke som vil imputere de manglende verdiene. Dette er en ny pakke for å visualisere manglende data i R og den kalles ggmice .

Ideen er å finne mønsteret og hvor mange manglende verdier, derfor vil vi se på plottmønsteret og deretter plottprediktormatrisen .

MICE står for multivariat imputasjon ved kjedede metoder . Vi kommer ikke inn i mekanikken, men vi vil lære hvordan denne algoritmen vil tilskrive dataene våre hvis vi bruker den.

En annen ting å vite om å visualisere manglende data i R ved å bruke ggmice er at det egentlig er ment å være ggplot2-kompatibelt , så vi kan bygge noen visualiseringer på baksiden av , den berømte visualiseringspakken. 

Trinn for å visualisere manglende data i R med GGMICE

La oss gå videre og starte opp. Det første vi må gjøre er å importere alle pakkene vi trenger ved å skrive inn bibliotek (ggmice) , library (tidyverse) som inkluderer ggplot2 og bibliotek (Ecdat) datasett.

Biblioteket (Ecdat)-pakken har mange gode datasett å øve på. Det er derfor vi bruker og importerer det.

Et av datasettene er hjelp (MCAS) . La oss kjøre hjelpefunksjonen på dette.

Som vi kan se, er dette fra Ecdat, og det er et sett med testresultater. Denne hjelpedokumentasjonen beskriver hver av kolonnene og forteller oss om hvor den kom fra.

Vi skal bruke dette til å finne ut om det mangler data og hvilket mønster de danner hvis det er noen.

La oss bruke is.na (MCAS) og klikk Kjør . Som vi kan se, er det en haug med SANN og USANN. Det vi kan gjøre er å summere disse ved å bruke funksjonen colSums (is.na(MCAS)), fordi FALSE og TRUE er null og én i forkledning. Dette er vår måte å sjekke om verdien mangler eller ikke.

Som vist nedenfor finnes de manglende verdiene i tre kolonner som spc , totsc8 og avgsalary . Vi kan se beskrivelsen av disse kolonnene i hjelpedokumentasjonsdelen.

Ved å bruke colSums (is.na(MCAS)) / nrow (MCAS) vil antall rader også bli til prosenter. Dette er en måte å se det på, men ikke den enkleste tingen å gjøre.

I dette tilfellet, la oss se på hva ggmice kan gjøre for oss. Vi bruker funksjonen browseVignettes (pakke = 'ggmice') , og klikker deretter Kjør .

Det er noen vignetter funnet for denne funksjonen, så la oss velge ggmice og klikke på HTML- lenken for å se noen nyttige veiledninger som kan hjelpe.

Gå tilbake til skriptet, la oss bruke plot_pattern (MCAS) funksjonen for å sende datasettet.

For å visualisere det bedre, klikk på Zoom- knappen. Som illustrert, av 155 observasjoner, har spc 9 manglende verdier, 25 for gjennomsnittslønn og 40 for totsc8 .

Vi skal prøve å finne ut om noen av disse er sammenfallende, hvor mange er det, og om de har en tendens til å være i en klynge.

For å krysssjekke dette kan vi prøve den analoge måten ved å bruke visningsfunksjonen (MCAS) og deretter klikke Kjør .

Dette er en slags regnearkvisning der vi kan se alle de manglende verdiene. Vi kan også utvide dette ved å klikke på kilderedigeringsknappen .

I likhet med , kan vi se de totale oppføringene og NA-ene er de manglende verdiene. Merkbart at det totale antallet oppføringer på visningen (MCAS) er 220, og bare 155 for plot_pattern (MCAS) fordi det sannsynligvis var fullstendige verdier som ikke ble plottet i seg selv.

Vi kan også se at de har en tendens til å klynge seg sammen basert på variablene og radene. Men i mange tilfeller mangler bare den ene eller den andre. Realiteten er at det er vanskelig å gjøre denne visuelle rad for rad, så det er her visualiseringen kommer inn.

Imputere de manglende dataene

Den neste tingen å gjøre er å gå tilbake til skriptet vårt, deretter skrive inn nrow (MCAS) og deretter sum(is.na(MCAS)$totsc8)) .

I dette tilfellet vet vi at 40 mangler verdier av 200 observasjoner. La oss bruke R som kalkulator ved å sette 40/200. Derfor har vi omtrent 20 % manglende verdier, noe som er mye.

Ideelt sett ønsker vi å vite hvorfor så mange mangler. Kanskje det bare er hvordan dataene ble samlet inn som er grunnen til at vi kan tilskrive dette.

For å gjøre det, la oss importere biblioteket (mus)-pakken . Dette er en av imputeringsmetodene.

La oss deretter bruke funksjonene MCAS_pred < –="" quickpred=""> og plot_pred(MCAS_pred) . Sørg for å lagre disse, klikk Kjør og klikk på Zoom- knappen.

Hvis vi skal bruke multivariat imputasjon, vil denne algoritmen finne observasjoner og datapunkter som ligner på de som mangler, og deretter prøve å fylle ut disse.

For eksempel spc- kolonnene. Disse vil være nyttige for å forutsi de manglende verdiene på samme måte som totsc8 og avgsalary . På dette tidspunktet gjør vi det ikke, men vi ser hvilke verdier og variabler som kan være nyttige for å hindre disse verdiene.

La oss prøve en ting til. Vi skal bruke ggmice (MCAS, aes(x=avgsalary, y=totsc8)) + geom_point ( ) , og klikk deretter Kjør .

Dette er en , bortsett fra at vi bruker ggmice. I utgangspunktet er ideen at vi kan se forholdet mellom disse to variablene som har ganske mange manglende verdier. Når en av dem mangler og den andre er tilgjengelig, kan vi se hvor disse punktene er.

I denne situasjonen er begge disse observert i ett av disse tilfellene. Den ene mangler og den andre er ikke. Hvis begge mangler, kommer det ikke til å være på tomten.

Konklusjon

Når vi jobber med manglende verdier, er det fristende å bruke en algoritme som MICE fordi den er veldig kraftig å imputere verdier. Det er imidlertid bedre å utforske dataene selv og forstå hva som skjer.

Ideelt sett, hvis vi har mange manglende data, ønsker vi å finne ut hvorfor, og kanskje vi kan prøve å få litt mer data, eller vi kan tilskrive det. Å gå rett til kilden er alltid foretrukket.

Hvis vi ender opp med å ønske å imputere de manglende verdiene, kan vi gjøre noen enkle imputeringsmetoder med tidyverse-pakken som gjennomsnittet eller medianen.

Uten tvil er MICE-pakken kraftig. Det kan være overkill for ting som er svært beregningsintensive, men vi er fokusert akkurat nå på visualiseringselementet i det.

Jeg håper du lærer noe og bruk gjerne denne pakken. Sørg for å dele det og prøv å få ordet ut fordi det er en fin pakke å jobbe med manglende verdier som er ggplot2-kompatible.

Beste ønsker,

George