Вузькі місця фон Неймана впливають на штучний інтелект

Вузьке місце фон Неймана є природним результатом використання шини для передачі даних між процесором, пам’яттю, довготривалим сховищем і периферійними пристроями. Незалежно від того, як швидко автобус виконує своє завдання, завжди можливо подолати його, тобто утворити вузьке місце, яке зменшує швидкість. З часом швидкість процесора продовжує зростати, а вдосконалення пам’яті та інших пристроїв зосереджуються на щільності — можливості зберігати більше на меншому просторі. Отже, вузьке місце стає все більшою проблемою з кожним удосконаленням, змушуючи процесор витрачати багато часу в простою.

У розумних межах ви можете подолати деякі проблеми, які оточують вузьке місце фон Неймана, і призвести до незначного, але помітного збільшення швидкості програми. Ось найпоширеніші рішення:

• Кешування: коли проблеми з достатньо швидким отриманням даних з пам’яті за допомогою архітектури фон Неймана стали очевидними, постачальники обладнання швидко відреагували, додавши локалізовану пам’ять, яка не вимагала доступу до шини. Ця пам’ять виглядає зовнішньою для процесора, але як частина пакета процесора. Однак високошвидкісний кеш-пам’ять коштує дорого, тому розміри кешу зазвичай невеликі.
• Кешування процесора: на жаль, зовнішні кеші все ще не забезпечують достатньої швидкості. Навіть використання найшвидшої доступної оперативної пам’яті та повне відключення доступу до шини не відповідає потребам процесора в обробній потужності. Отже, виробники почали додавати внутрішню пам’ять — кеш, менший за зовнішній кеш, але з ще швидшим доступом, оскільки він є частиною процесора.
• Попередня вибірка: Проблема з кешами полягає в тому, що вони корисні лише тоді, коли містять правильні дані. На жаль, у програмах, які використовують багато даних і виконують широкий спектр завдань, кількість звернень у кеш виявляється малою. Наступним кроком для прискорення роботи процесорів є вгадати, які дані будуть потрібні програмі, і завантажити їх у кеш до того, як програма їх зажадає.
• Використання спеціальної оперативної пам’яті: ви можете бути поховані алфавітним супом RAM, оскільки існує більше видів оперативної пам’яті, ніж більшість людей уявляє. Кожен тип оперативної пам’яті має на меті вирішити принаймні частину проблеми фон Неймана з вузьким місцем, і вони працюють — у певних межах. У більшості випадків вдосконалення пов’язані з ідеєю швидшого отримання даних з пам’яті та в шину. Два основних (і багато другорядних) фактори впливають на швидкість: швидкість пам’яті (як швидко пам’ять переміщує дані) і затримка (скільки часу потрібно, щоб знайти певний фрагмент даних). Дізнайтеся більше про пам’ять і фактори, які на неї впливають.

Як і в багатьох інших областях технологій, реклама може стати проблемою. Наприклад, багатопоточність, акт розбиття програми або іншого набору інструкцій на окремі блоки виконання, з якими процесор може обробляти по одному, часто рекламується як засіб подолання вузького місця фон Неймана, але насправді це не робить. щось більше, ніж додавати накладні витрати (що погіршує проблему). Багатопоточність — це відповідь на іншу проблему: зробити програму більш ефективною. Коли програма додає проблеми із затримкою до вузького місця фон Неймана, вся система сповільнюється. Багатопоточність гарантує, що процесор не буде витрачати ще більше часу на очікування користувача чи програми, а натомість має чим зайнятися весь час. Затримка програми може виникати з будь-якою архітектурою процесора, а не тільки з архітектурою фон Неймана. Навіть так,