Могућност креирања модуларног система има значајне предности, посебно у пословању. Могућност уклањања и замене појединачних компоненти одржава трошкове ниским, а истовремено омогућава инкрементална побољшања и брзине и ефикасности. Међутим, као и код већине ствари, нема бесплатног ручка. Модуларност коју обезбеђује Вон Неуманн архитектура долази са неким озбиљним недостацима:
- Фон Нојманово уско грло: Од свих недостатака, Фон Нојманово уско грло је најозбиљније када се разматрају захтеви дисциплина као што су АИ, машинско учење, па чак и наука о подацима.
- Појединачне тачке квара: Сваки губитак везе са магистралом нужно значи да рачунар откаже одмах, а не грациозно. Чак и у системима са више процесора, губитак једног процеса, који би једноставно требало да доведе до губитка способности, уместо тога изазива потпуни отказ система. Исти проблем се јавља са губитком других компоненти система: уместо смањења функционалности, цео систем отказује. С обзиром да АИ често захтева континуиран рад система, потенцијал за озбиљне последице ескалира са начином на који се апликација ослања на хардвер.
- Јединственост: Фон Нојманова магистрала може или да преузме инструкцију или да преузме податке потребне за извршење инструкције, али не може обоје. Сходно томе, када је за преузимање података потребно неколико циклуса магистрале, процесор остаје неактиван, смањујући његову способност да обавља АИ задатке који захтевају интензивне инструкције.
- Задатак : Када мозак обавља задатак, више синапси се активира истовремено, омогућавајући истовремено извршавање више операција. Оригинални Фон Нојманов дизајн дозвољавао је само једну операцију у исто време, и то тек након што је систем преузео и потребну инструкцију и податке. Данашњи рачунари обично имају више језгара, што омогућава истовремено извршавање операција у сваком језгру. Међутим, код апликације мора посебно да одговори на овај захтев, тако да функционалност често остаје неискоришћена.