Mogućnost stvaranja modularnog sustava ima značajne prednosti, posebno u poslovanju. Mogućnost uklanjanja i zamjene pojedinačnih komponenti održava troškove niskim, a istovremeno dopušta postepena poboljšanja i brzine i učinkovitosti. Međutim, kao i kod većine stvari, nema besplatnog ručka. Modularnost koju nudi Von Neumannova arhitektura dolazi s nekim ozbiljnim nedostacima:
- Von Neumannovo usko grlo: Od svih nedostataka, Von Neumannovo usko grlo je najozbiljnije kada se razmatraju zahtjevi disciplina kao što su AI, strojno učenje, pa čak i znanost o podacima.
- Pojedinačne točke kvara: Svaki gubitak veze s sabirnicom nužno znači da računalo otkaže odmah, a ne graciozno. Čak i u sustavima s više procesora, gubitak jednog procesa, koji bi jednostavno trebao uzrokovati gubitak sposobnosti, umjesto toga uzrokuje potpuni kvar sustava. Isti se problem javlja s gubitkom ostalih komponenti sustava: umjesto smanjenja funkcionalnosti, cijeli sustav otkazuje. S obzirom da AI često zahtijeva kontinuiran rad sustava, potencijal za ozbiljne posljedice eskalira s načinom na koji se aplikacija oslanja na hardver.
- Jedinstvenost: Von Neumannova sabirnica može ili dohvatiti instrukciju ili dohvatiti podatke potrebne za izvršenje instrukcije, ali ne može učiniti oboje. Posljedično, kada dohvaćanje podataka zahtijeva nekoliko ciklusa sabirnice, procesor ostaje neaktivan, što još više smanjuje njegovu sposobnost izvršavanja zadataka umjetne inteligencije koji zahtijevaju instrukcije.
- Zadatak: Kada mozak obavlja zadatak, nekoliko sinapsi se aktivira u isto vrijeme, što omogućuje istovremeno izvođenje više operacija. Izvorni Von Neumannov dizajn dopuštao je samo jednu operaciju u isto vrijeme, i to tek nakon što je sustav dohvatio potrebne upute i podatke. Današnja računala obično imaju više jezgri, što omogućuje istovremeno izvršavanje operacija u svakoj jezgri. Međutim, kod aplikacije mora posebno odgovarati na ovaj zahtjev, tako da funkcionalnost često ostaje neiskorištena.