Hogyan kezeli a mesterséges intelligencia a hiányzó adatokat

Egy adott kérdés helyes megválaszolásához minden ténnyel rendelkeznie kell. Minden tény nélkül is sejtheti a választ egy kérdésre, de akkor a válasz ugyanolyan valószínű, hogy rossz, mint a helyes. Gyakran azt mondják, hogy valaki, aki döntést hoz, lényegében válaszol egy kérdésre, minden tény nélkül, ugrásszerű következtetést von le. Az adatok elemzése során valószínűleg több következtetést von le, mint gondolná, mert hiányzott az adat. Egy adatrekord, egy adathalmaz egyetlen bejegyzése (ami az összes adat), olyan mezőkből áll , amelyek a kérdések megválaszolásához használt tényeket tartalmazzák. Minden mező egyetlen fajta adatot tartalmaz, amelyek egyetlen tényre vonatkoznak. Ha ez a mező üres, akkor nem rendelkezik a kérdés megválaszolásához szükséges adatokkal az adott adatrekord használatával.

A hiányzó adatok kezelésének részeként tudnia kell, hogy az adatok hiányoznak. Annak megállapítása, hogy az adatkészletből hiányoznak az információk, valójában meglehetősen nehéz lehet, mert alacsony szinten kell megvizsgálnia az adatokat – amire a legtöbb ember nincs felkészülve, és még akkor is időigényes, ha rendelkezik a szükséges készségekkel. Gyakran az első nyoma, hogy hiányoznak az adatok, az az eszméletlen válasz, amelyet az algoritmus és a kapcsolódó adatkészlet a kérdéseire kap. Ha az algoritmus a megfelelő, akkor az adatkészletnek kell hibásnak lennie.

Probléma akkor fordulhat elő, ha az adatgyűjtési folyamat nem tartalmazza az adott kérdés megválaszolásához szükséges összes adatot. Néha jobban jársz, ha ténylegesen eldobsz egy tényt, mint egy jelentősen sérült tényt. Ha úgy találja, hogy egy adatkészlet egy mezőjéből az adatok 90 százaléka vagy több hiányzik, a mező használhatatlanná válik, és ki kell vennie az adatkészletből (vagy találnia kell valamilyen módot ezen adatok beszerzésére).

A kevésbé sérült mezőkből kétféleképpen hiányozhat az adat. A véletlenszerűen hiányzó adatok gyakran emberi vagy szenzorhiba eredménye. Ez akkor fordul elő, ha az adatkészlet adatrekordjaiban hiányzó bejegyzések vannak. Néha egy egyszerű hiba okozza a kárt. Sorozatosan hiányzó adatok lépnek fel valamilyen általános hiba esetén. Az adatkészletben lévő adatrekordok egy teljes szegmenséből hiányzik a szükséges információ, ami azt jelenti, hogy az eredményül kapott elemzés meglehetősen torz lehet.

A véletlenszerűen hiányzó adatok javítása a legegyszerűbb. Csereként egyszerű medián vagy átlagértéket használhat. Nem, az adatkészlet nem teljesen pontos, de valószínűleg elég jól fog működni ahhoz, hogy ésszerű választ kapjunk. Egyes esetekben az adatkutatók egy speciális algoritmust használtak a hiányzó érték kiszámítására, amely pontosabbá teheti az adatkészletet a számítási idő rovására.

A szekvenciálisan hiányzó adatokat lényegesen nehezebb, ha nem lehetetlen kijavítani, mert hiányoznak a környező adatok, amelyekre bármilyen találgatást alapozhatna. Ha megtalálja a hiányzó adatok okát, néha rekonstruálhatja azt. Ha azonban a rekonstrukció lehetetlenné válik, dönthet úgy, hogy figyelmen kívül hagyja a mezőt. Sajnos néhány válaszhoz szükség lesz erre a mezőre, ami azt jelenti, hogy előfordulhat, hogy figyelmen kívül kell hagynia az adatrekordok adott sorozatát, ami hibás kimenetet okozhat.