Tänk på datafeljusteringar när du arbetar med AI

När du samlar in data för artificiell intelligens-algoritmer måste du överväga datafelställningar och hur du korrigerar dem. Data kan finnas för var och en av dataposterna i en datamängd, men den kanske inte överensstämmer med andra data i andra datamängder som du äger. Till exempel kan numeriska data i ett fält i en datauppsättning vara en flyttalstyp (med decimalkomma), men en heltalstyp i en annan datauppsättning. Innan du kan kombinera de två datamängderna måste fälten innehålla samma typ av data.

Alla möjliga andra typer av felställning kan uppstå. Till exempel är datumfält ökända för att vara formaterade på olika sätt. För att jämföra datum måste dataformaten vara desamma. Men datum är också lömska i sin benägenhet att se likadana ut, men inte vara samma. Till exempel kan datum i en datauppsättning använda Greenwich Mean Time (GMT) som grund, medan datumen i en annan datauppsättning kan använda någon annan tidszon. Innan du kan jämföra tiderna måste du anpassa dem till samma tidszon. Det kan bli ännu konstigare när datum i en datauppsättning kommer från en plats som använder sommartid (DST), men datum från en annan plats inte gör det.

Även när datatyperna och formatet är samma kan andra datafel uppstå. Till exempel kanske fälten i en datamängd inte matchar fälten i den andra datamängden. I vissa fall är dessa skillnader lätta att korrigera. En datauppsättning kan behandla för- och efternamn som ett enda fält, medan en annan datauppsättning kan använda separata fält för för- och efternamn. Svaret är att ändra alla datauppsättningar för att använda ett enda fält eller att ändra dem alla för att använda separata fält för för- och efternamn. Tyvärr är många felaktigheter i datainnehåll svårare att ta reda på. Faktum är att det är fullt möjligt att du kanske inte kan lista ut dem alls. Men innan du ger upp, överväg dessa potentiella lösningar på problemet:

• Beräkna de data som saknas från andra data som du kan komma åt.
• Leta upp de saknade data i en annan datauppsättning.
• Kombinera datauppsättningar för att skapa en helhet som ger konsekventa fält.
• Samla in ytterligare data från olika källor för att fylla i de saknade uppgifterna.
• Omdefiniera din fråga så att du inte längre behöver den saknade informationen.