Hur artificiell intelligens hanterar saknade data

För att svara rätt på en given fråga måste du ha all fakta. Du kan gissa svaret på en fråga utan all fakta, men då är svaret lika sannolikt fel som korrekt. Ofta sägs någon som fattar ett beslut, i huvudsak svara på en fråga, utan alla fakta, dra till en slutsats. När du analyserar data har du förmodligen dragit fler slutsatser än du tror på grund av att data saknas. En datapost, en post i en datauppsättning (som är all data), består av fält som innehåller fakta som används för att besvara en fråga. Varje fält innehåller en enda typ av data som adresserar ett enda faktum. Om det fältet är tomt har du inte den information du behöver för att svara på frågan med den specifika dataposten.

Som en del av processen för att hantera saknad data måste du veta att data saknas. Att identifiera att din datauppsättning saknar information kan faktiskt vara ganska svårt eftersom det kräver att du tittar på datan på en låg nivå - något som de flesta inte är beredda att göra och är tidskrävande även om du har den kompetens som krävs. Ofta är din första ledtråd om att data saknas de absurda svaren som dina frågor får från algoritmen och tillhörande datauppsättning. När algoritmen är den rätta att använda måste datauppsättningen vara fel.

Ett problem kan uppstå när datainsamlingsprocessen inte inkluderar all data som behövs för att svara på en viss fråga. Ibland är det bättre att faktiskt släppa ett faktum istället för att använda ett avsevärt skadat faktum. Om du upptäcker att ett visst fält i en datamängd saknar 90 procent eller mer av dess data, blir fältet oanvändbart och du måste ta bort det från datamängden (eller hitta något sätt att få tag på all denna data).

Mindre skadade fält kan sakna data på ett av två sätt. Slumpmässigt saknade data är ofta resultatet av mänskliga eller sensoriska fel. Det inträffar när dataposter i hela datasetet saknar poster. Ibland kan ett enkelt fel orsaka skadan. Sekventiellt saknade data inträffar under någon typ av generaliserat fel. Ett helt segment av dataposterna i datasetet saknar den information som krävs, vilket gör att den resulterande analysen kan bli ganska skev.

Att åtgärda slumpmässigt saknad data är enklast. Du kan använda ett enkelt median- eller medelvärde som ersättning. Nej, datasetet är inte helt korrekt, men det kommer sannolikt att fungera tillräckligt bra för att få ett rimligt svar. I vissa fall använde dataforskare en speciell algoritm för att beräkna det saknade värdet, vilket kan göra datasetet mer exakt på bekostnad av beräkningstid.

Sekventiellt saknade data är betydligt svårare, för att inte säga omöjligt, att fixa eftersom du saknar omgivande data att basera någon form av gissning på. Om du kan hitta orsaken till den saknade informationen kan du ibland rekonstruera den. Men när rekonstruktion blir omöjlig kan du välja att ignorera fältet. Tyvärr kommer vissa svar att kräva det fältet, vilket betyder att du kan behöva ignorera den specifika sekvensen av dataposter – vilket kan orsaka felaktig utdata.