Galimybė sukurti modulinę sistemą turi daug naudos, ypač versle. Galimybė pašalinti ir pakeisti atskirus komponentus sumažina sąnaudas ir leidžia laipsniškai pagerinti greitį ir efektyvumą. Tačiau, kaip ir daugumoje dalykų, nemokamų pietų nėra. Von Neumann architektūros teikiamas moduliškumas turi rimtų trūkumų:
- Von Neumann kliūtis: iš visų trūkumų Von Neumann kliūtis yra rimčiausia, kai atsižvelgiama į disciplinų, tokių kaip AI, mašinų mokymasis ir net duomenų mokslas, reikalavimus.
- Pavieniai gedimo taškai: bet koks ryšio su magistrale praradimas būtinai reiškia, kad kompiuteris sugenda iš karto, o ne grakščiai. Netgi sistemose, kuriose yra keli procesoriai, vieno proceso praradimas, dėl kurio tiesiog prarandama pajėgumai, atsiranda visiškas sistemos gedimas. Ta pati problema kyla praradus kitus sistemos komponentus: užuot sumažinus funkcionalumą, sugenda visa sistema. Atsižvelgiant į tai, kad dirbtinis intelektas dažnai reikalauja nuolatinio sistemos veikimo, rimtų pasekmių tikimybė didėja atsižvelgiant į tai, kaip programa priklauso nuo aparatinės įrangos.
- Vientisumas: Von Neumann magistralė gali gauti komandą arba duomenis, reikalingus jai vykdyti, tačiau ji negali atlikti abiejų. Vadinasi, kai duomenims gauti reikia kelių magistralės ciklų, procesorius lieka neaktyvus ir dar labiau sumažina jo galimybes atlikti daug instrukcijų reikalaujančias AI užduotis.
- Užduotis : kai smegenys atlieka užduotį, vienu metu užsidega keletas sinapsių, leidžiančių vienu metu atlikti kelias operacijas. Originalus Von Neumann dizainas leido atlikti tik vieną operaciją vienu metu ir tik tada, kai sistema gavo reikiamas instrukcijas ir duomenis. Šiandien kompiuteriai paprastai turi kelis branduolius, kurie leidžia vienu metu atlikti operacijas kiekviename branduolyje. Tačiau programos kodas turi konkrečiai atitikti šį reikalavimą, todėl funkcija dažnai lieka nenaudojama.