Harkitse datavirheitä, kun työskentelet tekoälyn kanssa

Kun keräät tietoja tekoälyalgoritmeja varten, sinun on otettava huomioon tietojen virheelliset kohdistukset ja niiden korjaaminen. Tietoa voi olla jokaisesta tietojoukon tietueesta, mutta se ei välttämättä vastaa muiden omistamiesi tietojoukkojen tietoja. Esimerkiksi yhden tietojoukon kentän numeeriset tiedot voivat olla liukulukutyyppiä (desimaalipilkulla), mutta toisessa tietojoukossa kokonaislukutyyppiä. Ennen kuin voit yhdistää kaksi tietojoukkoa, kenttien on sisällettävä samantyyppisiä tietoja.

Kaikenlaisia ​​muitakin vääristymiä voi esiintyä. Esimerkiksi päivämääräkentät ovat tunnettuja siitä, että ne on muotoiltu eri tavoin. Päivämäärien vertailua varten tietomuotojen on oltava samat. Taatelit ovat kuitenkin myös salakavalia, koska ne näyttävät samalta, mutta eivät ole samanlaisia. Esimerkiksi yhden tietojoukon päivämäärät voivat käyttää Greenwichin keskiaikaa (GMT) perustana, kun taas toisen tietojoukon päivämäärät voivat käyttää jotakin muuta aikavyöhykettä. Ennen kuin voit vertailla aikoja, sinun on kohdistettava ne samalle aikavyöhykkeelle. Siitä voi tulla vieläkin oudompaa, kun yhden tietojoukon päivämäärät tulevat paikasta, joka käyttää kesäaikaa (DST), mutta päivämäärät toisesta sijainnista eivät.

Vaikka tietotyypit ja -muoto ovat samat, muita tietojen kohdistusvirheitä voi tapahtua. Esimerkiksi yhden tietojoukon kentät eivät välttämättä vastaa toisen tietojoukon kenttiä. Joissakin tapauksissa nämä erot on helppo korjata. Yksi tietojoukko voi käsitellä etu- ja sukunimeä yhtenä kenttänä, kun taas toisessa tietojoukossa voidaan käyttää erillisiä kenttiä etu- ja sukunimelle. Vastaus on muuttaa kaikki tietojoukot käyttämään yhtä kenttää tai muuttaa ne kaikki käyttämään erillisiä kenttiä etu- ja sukunimelle. Valitettavasti monia tietosisällön virheitä on vaikeampi selvittää. Itse asiassa on täysin mahdollista, että et ehkä pysty ymmärtämään niitä ollenkaan. Ennen kuin luovutat, harkitse näitä mahdollisia ratkaisuja ongelmaan:

• Laske puuttuvat tiedot muista käytettävissä olevista tiedoista.
• Etsi puuttuvat tiedot toisesta tietojoukosta.
• Yhdistä tietojoukot luodaksesi kokonaisuuden, joka tarjoaa yhtenäiset kentät.
• Kerää lisätietoja eri lähteistä puuttuvien tietojen täyttämiseksi.
• Määrittele kysymyksesi uudelleen, jotta et enää tarvitse puuttuvia tietoja.