La capacitat de crear un sistema modular té avantatges importants, especialment en els negocis. La capacitat d'eliminar i substituir components individuals manté els costos baixos alhora que permet millores incrementals tant en velocitat com en eficiència. Tanmateix, com passa amb la majoria de coses, no hi ha dinar gratuït. La modularitat que ofereix l'arquitectura Von Neumann comporta algunes deficiències greus:
- Coll d'ampolla de Von Neumann: de totes les deficiències, el coll d'ampolla de Von Neumann és el més greu quan es tenen en compte els requisits de disciplines com la IA, l'aprenentatge automàtic i fins i tot la ciència de dades.
- Punts de fallada únics: qualsevol pèrdua de connectivitat amb l'autobús significa necessàriament que l'ordinador falla immediatament, en lloc de de manera graciosa. Fins i tot en sistemes amb diversos processadors, la pèrdua d'un sol procés, que simplement hauria de produir una pèrdua de capacitat, provoca una fallada completa del sistema. El mateix problema es produeix amb la pèrdua d'altres components del sistema: en lloc de reduir la funcionalitat, falla tot el sistema. Atès que la IA sovint requereix un funcionament continu del sistema, el potencial de conseqüències greus augmenta amb la manera en què una aplicació depèn del maquinari.
- Unicitat: el bus Von Neumann pot recuperar una instrucció o recuperar les dades necessàries per executar la instrucció, però no pot fer les dues coses. En conseqüència, quan la recuperació de dades requereix diversos cicles de bus, el processador roman inactiu, reduint encara més la seva capacitat per realitzar tasques d'IA intensives en instruccions.
- Tasca: quan el cervell realitza una tasca, s'encenen diverses sinapsis alhora, permetent l'execució simultània de múltiples operacions. El disseny original de Von Neumann només permetia una operació alhora, i només després que el sistema recuperés tant les instruccions com les dades requerides. Els ordinadors actuals solen tenir diversos nuclis, que permeten l'execució simultània d'operacions a cada nucli. Tanmateix, el codi de l'aplicació ha de respondre específicament a aquest requisit, de manera que la funcionalitat sovint no s'utilitza.
