Při práci s umělou inteligencí zvažte nesprávné zarovnání dat

Při shromažďování dat pro algoritmy umělé inteligence musíte vzít v úvahu nesrovnalosti v datech a jak je opravit. Data mohou existovat pro každý z datových záznamů v datové sadě, ale nemusí se shodovat s jinými daty v jiných datových sadách, které vlastníte. Například číselná data v poli v jedné datové sadě mohou být typu s plovoucí desetinnou čárkou (s desetinnou čárkou), ale v jiné datové sadě mohou být celočíselné. Než budete moci spojit dvě datové sady, pole musí obsahovat stejný typ dat.

Mohou nastat všechny druhy jiných druhů nesouososti. Například datová pole jsou známá tím, že jsou formátována různými způsoby. Pro porovnání dat musí být datové formáty stejné. Datle jsou však také záludné ve svém sklonu vypadat stejně, ale nebýt stejné. Například data v jedné datové sadě mohou používat jako základ Greenwichský střední čas (GMT), zatímco data v jiné datové sadě mohou používat jiné časové pásmo. Než budete moci porovnat časy, musíte je zarovnat do stejného časového pásma. Může to být ještě podivnější, když data v jedné datové sadě pocházejí z místa, které používá letní čas (DST), ale data z jiného místa nikoli.

I když jsou datové typy a formát stejné, může dojít k dalším nesrovnalostem dat. Například pole v jedné datové sadě se nemusí shodovat s poli v druhé datové sadě. V některých případech lze tyto rozdíly snadno opravit. Jedna datová sada může považovat křestní jméno a příjmení za jedno pole, zatímco jiná datová sada může používat samostatná pole pro jméno a příjmení. Řešením je změnit všechny datové sady tak, aby používaly jediné pole, nebo je všechny změnit tak, aby pro jméno a příjmení používaly samostatná pole. Bohužel, mnoho nesrovnalostí v obsahu dat je těžší zjistit. Ve skutečnosti je zcela možné, že na ně vůbec nebudete schopni přijít. Než to však vzdáte, zvažte tato možná řešení problému:

• Vypočítejte chybějící data z jiných dat, ke kterým máte přístup.
• Vyhledejte chybějící data v jiné datové sadě.
• Kombinujte datové sady a vytvořte celek, který poskytuje konzistentní pole.
• Sbírejte další údaje z různých zdrojů, abyste doplnili chybějící údaje.
• Předefinujte svou otázku, abyste již chybějící data nepotřebovali.