Von Neumann-flaskehalsene påvirker kunstig intelligens

Von Neumann-flaskehalsen er et naturlig resultat av å bruke en buss til å overføre data mellom prosessoren, minnet, langtidslagringen og perifere enheter. Uansett hvor raskt bussen utfører oppgaven sin, er det alltid mulig å overvelde den – det vil si å danne en flaskehals som reduserer hastigheten. Over tid fortsetter prosessorhastigheten å øke mens minne og andre enhetsforbedringer fokuserer på tetthet – muligheten til å lagre mer på mindre plass. Følgelig blir flaskehalsen mer et problem med hver forbedring, noe som får prosessoren til å bruke mye tid på å være inaktiv.

Med rimelighet kan du overvinne noen av problemene som omgir Von Neumann-flaskehalsen og produsere små, men merkbare, økninger i applikasjonshastighet. Her er de vanligste løsningene:

• Caching: Når problemer med å hente data fra minnet raskt nok med Von Neumann Architecture ble tydelige, reagerte maskinvareleverandører raskt ved å legge til lokalisert minne som ikke krevde busstilgang. Dette minnet vises eksternt til prosessoren, men som en del av prosessorpakken. Høyhastighets cache er imidlertid dyrt, så cachestørrelser har en tendens til å være små.
• Prosessorbufring: Dessverre gir eksterne cacher fortsatt ikke nok hastighet. Selv å bruke den raskeste tilgjengelige RAM-en og kutte busstilgangen helt oppfyller ikke prosessorens behov for behandlingskapasitet. Følgelig begynte leverandører å legge til internminne - en cache som er mindre enn den eksterne cachen, men med enda raskere tilgang fordi den er en del av prosessoren.
• Forhåndshenting: Problemet med cacher er at de viser seg å være nyttige bare når de inneholder riktige data. Dessverre viser det seg at cache-treff er lave i applikasjoner som bruker mye data og utfører en rekke oppgaver. Det neste trinnet for å få prosessorer til å fungere raskere er å gjette hvilke data applikasjonen vil kreve neste gang og laste den inn i hurtigbufferen før applikasjonen krever det.
• Bruke spesial-RAM: Du kan bli begravd av RAM-alfabetsuppe fordi det er flere typer RAM enn de fleste tror. Hver type RAM hevder å løse i det minste en del av Von Neumann-flaskehalsproblemet, og de fungerer – innenfor grenser. I de fleste tilfeller dreier forbedringene seg om ideen om å få data fra minnet og inn på bussen raskere. To hovedfaktorer (og mange mindre) påvirker hastigheten: minnehastighet (hvor raskt minnet flytter data) og latens (hvor lang tid det tar å finne et bestemt datastykke). Les mer om hukommelse og faktorene som påvirker det.

Som med mange andre teknologiområder, kan hype bli et problem. For eksempel, multithreading, handlingen med å bryte en applikasjon eller et annet sett med instruksjoner i diskrete utførelsesenheter som prosessoren kan håndtere en om gangen, blir ofte utpekt som et middel for å overvinne Von Neumann-flaskehalsen, men det gjør det faktisk ikke noe mer enn å legge til overhead (gjør problemet verre). Multithreading er et svar på et annet problem: å gjøre applikasjonen mer effektiv. Når en applikasjon legger til problemer med ventetid til Von Neumann-flaskehalsen, bremser hele systemet. Multithreading sikrer at prosessoren ikke kaster bort enda mer tid på å vente på brukeren eller applikasjonen, men i stedet har noe å gjøre hele tiden. Applikasjonsforsinkelse kan forekomme med hvilken som helst prosessorarkitektur, ikke bare Von Neumann-arkitekturen. Likevel,