Kuinka tekoäly käsittelee puuttuvia tietoja

Jotta voit vastata annettuun kysymykseen oikein, sinulla on oltava kaikki tosiasiat. Voit arvata vastauksen kysymykseen ilman kaikkia tosiasioita, mutta silloin vastaus on yhtä todennäköisesti väärä kuin oikea. Usein jonkun, joka tekee päätöksen ja vastaa olennaisesti kysymykseen, ilman kaikkia tosiasioita, sanotaan tekevän välittömän johtopäätöksen. Dataa analysoidessasi olet luultavasti tehnyt hätiköityjä johtopäätöksiä puuttuvien tietojen takia. Datatietue, yksi merkintä joka aineisto (joka on kaikki tiedot), koostuu kenttiä , jotka sisältävät tosiasioita käytetään vastata kysymykseen. Jokainen kenttä sisältää yhden tyyppistä dataa, joka käsittelee yhtä tosiasiaa. Jos tämä kenttä on tyhjä, sinulla ei ole tietoja, joita tarvitset vastataksesi kysymykseen kyseisellä tietueella.

Osana puuttuvien tietojen käsittelyprosessia sinun on tiedettävä, että tiedot puuttuvat. Tietojoukosta puuttuvien tietojen tunnistaminen voi itse asiassa olla melko vaikeaa, koska se edellyttää tietojen tarkastelua alhaisella tasolla – mitä useimmat ihmiset eivät ole valmiita tekemään ja vievät aikaa, vaikka sinulla olisi vaadittavat taidot. Usein ensimmäinen vihje tietojen puuttumisesta on järjettömät vastaukset, jotka kysymyksesi saavat algoritmista ja siihen liittyvästä tietojoukosta. Kun algoritmi on oikea käytettäväksi, tietojoukon on oltava viallinen.

Ongelma voi ilmetä, jos tiedonkeruuprosessi ei sisällä kaikkia tiettyyn kysymykseen vastaamiseen tarvittavia tietoja. Joskus sinun on parempi luopua tosiasiasta sen sijaan, että käytät huomattavasti vahingoittunutta tosiasiaa. Jos huomaat, että tietystä tietojoukon kentästä puuttuu 90 prosenttia tai enemmän sen tiedoista, kentästä tulee hyödytön ja sinun on poistettava se tietojoukosta (tai löydettävä jokin tapa saada kaikki tiedot).

Vähemmän vaurioituneiden kenttien tiedot voivat puuttua kahdella tavalla. Satunnaisesti puuttuvat tiedot johtuvat usein inhimillisestä tai anturivirheestä. Se tapahtuu, kun tietojoukon tietueista puuttuu merkintöjä. Joskus yksinkertainen häiriö aiheuttaa vahinkoa. Peräkkäisesti puuttuvia tietoja esiintyy jonkinlaisen yleisen vian aikana. Kokonaisesta datajoukon tietueiden segmentistä puuttuu vaadittu tieto, mikä tarkoittaa, että tuloksena oleva analyysi voi olla melko vino.

Satunnaisesti puuttuvien tietojen korjaaminen on helpointa. Voit käyttää yksinkertaista mediaani- tai keskiarvoa korvaavana arvona. Ei, tietojoukko ei ole täysin tarkka, mutta se todennäköisesti toimii tarpeeksi hyvin järkevän vastauksen saamiseksi. Joissakin tapauksissa datatieteilijät käyttivät erityistä algoritmia puuttuvan arvon laskemiseen, mikä voi tehdä aineistosta tarkemman laskenta-ajan kustannuksella.

Peräkkäin puuttuvan tiedon korjaaminen on huomattavasti vaikeampaa, ellei mahdotonta, koska sinulla ei ole ympäröivää dataa minkäänlaisen arvauksen perustana. Jos löydät puuttuvien tietojen syyn, voit joskus rekonstruoida sen. Kuitenkin, kun jälleenrakennus tulee mahdottomaksi, voit jättää kentän huomiotta. Valitettavasti jotkin vastaukset vaativat tämän kentän, mikä tarkoittaa, että sinun on ehkä jätettävä huomioimatta kyseinen tietueiden sarja, mikä saattaa aiheuttaa virheellisen tulosteen.