Overvej datafejljusteringer, når du arbejder med AI

Når du indsamler data til kunstig intelligens-algoritmer, skal du overveje datafejljusteringer, og hvordan du retter dem. Der findes muligvis data for hver af dataposterne i et datasæt, men de stemmer muligvis ikke overens med andre data i andre datasæt, du ejer. For eksempel kan de numeriske data i et felt i ét datasæt være en flydende kommatype (med decimalkomma), men en heltalstype i et andet datasæt. Før du kan kombinere de to datasæt, skal felterne indeholde samme type data.

Alle mulige andre former for fejlstilling kan forekomme. For eksempel er datofelter berygtet for at være formateret på forskellige måder. For at sammenligne datoer skal dataformaterne være de samme. Dadler er dog også lumske i deres tilbøjelighed til at se ens ud, men ikke være ens. For eksempel kan datoer i et datasæt bruge Greenwich Mean Time (GMT) som grundlag, mens datoerne i et andet datasæt kan bruge en anden tidszone. Før du kan sammenligne tiderne, skal du justere dem til den samme tidszone. Det kan blive endnu mere mærkeligt, når datoer i ét datasæt kommer fra en placering, der bruger sommertid (DST), men datoer fra en anden placering ikke gør.

Selv når datatyperne og formatet er det samme, kan andre dataforstyrrelser forekomme. F.eks. matcher felterne i ét datasæt muligvis ikke felterne i det andet datasæt. I nogle tilfælde er disse forskelle nemme at rette. Et datasæt kan behandle for- og efternavn som et enkelt felt, mens et andet datasæt kan bruge separate felter til for- og efternavn. Svaret er at ændre alle datasæt til at bruge et enkelt felt eller at ændre dem alle til at bruge separate felter til for- og efternavn. Desværre er mange fejljusteringer i dataindhold sværere at finde ud af. Faktisk er det helt muligt, at du måske slet ikke er i stand til at finde ud af dem. Men før du giver op, skal du overveje disse potentielle løsninger på problemet:

• Beregn de manglende data fra andre data, som du har adgang til.
• Find de manglende data i et andet datasæt.
• Kombiner datasæt for at skabe en helhed, der giver ensartede felter.
• Indsaml yderligere data fra forskellige kilder for at udfylde de manglende data.
• Omdefiner dit spørgsmål, så du ikke længere har brug for de manglende data.