Modulaarse süsteemi loomise võimalusel on olulisi eeliseid, eriti ettevõtluses. Üksikute komponentide eemaldamise ja asendamise võimalus hoiab kulud madalal, võimaldades samal ajal järk-järgult parandada nii kiirust kui ka tõhusust. Samas nagu enamiku asjadega, tasuta lõunasööki pole olemas. Von Neumanni arhitektuuri pakutav modulaarsus sisaldab mõningaid tõsiseid puudusi:
- Von Neumanni kitsaskoht: kõigist puudustest on Von Neumanni kitsaskoht kõige tõsisem, kui arvestada selliste erialade nõudeid nagu AI, masinõpe ja isegi andmeteadus.
- Üksikud tõrkepunktid: siiniga ühenduse katkemine tähendab tingimata seda, et arvuti ebaõnnestub kohe, mitte elegantselt. Isegi mitme protsessoriga süsteemides põhjustab ühe protsessi kadumine, mis peaks lihtsalt võimekuse kaotama, selle asemel täieliku süsteemirikke. Sama probleem ilmneb ka teiste süsteemikomponentide kadumisel: funktsionaalsuse vähendamise asemel ebaõnnestub kogu süsteem. Arvestades, et tehisintellekt nõuab sageli süsteemi pidevat tööd, suureneb tõsiste tagajärgede võimalus sellega, kuidas rakendus tugineb riistvarale.
- Üksmeelsus: Von Neumanni siini abil saab hankida käsu või käsu täitmiseks vajalikud andmed, kuid see ei saa teha mõlemat. Järelikult, kui andmete otsimine nõuab mitut siinitsüklit, jääb protsessor jõude, vähendades veelgi enam selle võimet täita käsklusmahukaid AI-ülesandeid.
- Ülesannete täitmine : kui aju täidab ülesande, süttib korraga mitu sünapsi, mis võimaldab korraga teha mitut toimingut. Algne Von Neumanni disain võimaldas korraga vaid ühte toimingut ja alles pärast seda, kui süsteem hankis nii nõutavad juhised kui ka andmed. Tänapäeva arvutitel on tavaliselt mitu tuuma, mis võimaldavad samaaegset toimingute teostamist igas tuumas. Rakenduse kood peab aga seda nõuet konkreetselt käsitlema, nii et funktsioon jääb sageli kasutamata.