Schopnosť vytvoriť modulárny systém má značné výhody, najmä v podnikaní. Možnosť odstraňovania a výmeny jednotlivých komponentov udržuje nízke náklady a zároveň umožňuje postupné zlepšovanie rýchlosti a efektívnosti. Ako pri väčšine vecí však ani tu nie je obed zadarmo. Modularita poskytovaná architektúrou Von Neumann má niekoľko vážnych nedostatkov:
- Von Neumannovo úzke miesto: Zo všetkých nedostatkov je Von Neumannovo úzke miesto najzávažnejšie, keď zvažujeme požiadavky disciplín, ako je AI, strojové učenie a dokonca aj dátová veda.
- Jednotlivé body zlyhania: Akákoľvek strata spojenia so zbernicou nevyhnutne znamená, že počítač zlyhá okamžite, a nie elegantne. Dokonca aj v systémoch s viacerými procesormi strata jedného procesu, ktorý by mal jednoducho spôsobiť stratu schopnosti, namiesto toho spôsobí úplné zlyhanie systému. Rovnaký problém nastáva aj pri strate ostatných komponentov systému: Namiesto zníženia funkčnosti zlyhá celý systém. Vzhľadom na to, že AI často vyžaduje nepretržitú prevádzku systému, možnosť vážnych následkov eskaluje so spôsobom, akým sa aplikácia spolieha na hardvér.
- Jednoznačnosť : Von Neumannova zbernica môže buď získať inštrukciu alebo získať údaje potrebné na vykonanie inštrukcie, ale nedokáže oboje. V dôsledku toho, keď načítanie údajov vyžaduje niekoľko cyklov zbernice, procesor zostáva nečinný, čo ešte viac znižuje jeho schopnosť vykonávať úlohy AI náročné na inštrukcie.
- Úloha : Keď mozog vykonáva úlohu, spustí sa niekoľko synapsií naraz, čo umožňuje súčasné vykonávanie viacerých operácií. Pôvodný Von Neumannov dizajn umožňoval len jednu operáciu naraz a až potom, čo systém získal požadovanú inštrukciu aj údaje. Dnešné počítače majú zvyčajne viacero jadier, ktoré umožňujú súčasné vykonávanie operácií v každom jadre. Kód aplikácie však musí špecificky riešiť túto požiadavku, takže funkcia často zostáva nevyužitá.