Sposobnost ustvarjanja modularnega sistema ima pomembne prednosti, zlasti v poslu. Zmožnost odstranjevanja in zamenjave posameznih komponent ohranja nizke stroške, hkrati pa omogoča postopno izboljšanje hitrosti in učinkovitosti. Vendar, tako kot pri večini stvari, ni brezplačnega kosila. Modularnost, ki jo zagotavlja Von Neumannova arhitektura, ima nekaj resnih pomanjkljivosti:
- Von Neumannovo ozko grlo: Od vseh pomanjkljivosti je Von Neumannovo ozko grlo najresnejše, če upoštevamo zahteve disciplin, kot so AI, strojno učenje in celo znanost o podatkih.
- Posamezne točke okvare: Vsaka izguba povezave z vodilom nujno pomeni, da računalnik odpove takoj, ne pa elegantno. Tudi v sistemih z več procesorji izguba enega samega procesa, ki bi preprosto povzročila izgubo zmogljivosti, namesto tega povzroči popolno odpoved sistema. Enaka težava se pojavi pri izgubi drugih komponent sistema: namesto da bi zmanjšali funkcionalnost, celoten sistem odpove. Glede na to, da AI pogosto zahteva neprekinjeno delovanje sistema, se možnost resnih posledic stopnjuje z načinom, kako se aplikacija zanaša na strojno opremo.
- Enomiselnost: Von Neumannovo vodilo lahko bodisi pridobi ukaz ali pridobi podatke, potrebne za izvedbo ukaza, ne more pa obojega. Posledično, ko pridobivanje podatkov zahteva več ciklov vodila, procesor ostane v prostem teku, kar še bolj zmanjša njegovo zmožnost izvajanja nalog umetne inteligence, ki zahtevajo navodila.
- Naloga : Ko možgani opravijo nalogo, se naenkrat sproži več sinaps, kar omogoča hkratno izvajanje več operacij. Prvotna Von Neumannova zasnova je dovoljevala samo eno operacijo naenkrat in šele potem, ko je sistem pridobil zahtevana navodila in podatke. Današnji računalniki imajo običajno več jeder, kar omogoča hkratno izvajanje operacij v vsakem jedru. Vendar pa mora koda aplikacije posebej upoštevati to zahtevo, zato funkcionalnost pogosto ostane neuporabljena.