Von Neumanns flaskhalsar påverkar artificiell intelligens

Von Neumann-flaskhalsen är ett naturligt resultat av att använda en buss för att överföra data mellan processor, minne, långtidslagring och kringutrustning. Oavsett hur snabbt bussen utför sin uppgift är det alltid möjligt att överväldiga den – det vill säga att bilda en flaskhals som minskar hastigheten. Med tiden fortsätter processorhastigheterna att öka medan minne och andra enhetsförbättringar fokuserar på densitet – förmågan att lagra mer på mindre utrymme. Följaktligen blir flaskhalsen mer av ett problem med varje förbättring, vilket gör att processorn spenderar mycket tid på att vara inaktiv.

Med rimliga skäl kan du övervinna några av problemen som omger Von Neumann-flaskhalsen och producera små, men märkbara, ökningar i applikationshastighet. Här är de vanligaste lösningarna:

• Cachning: När problem med att få data från minnet tillräckligt snabbt med Von Neumann Architecture blev uppenbara, svarade hårdvaruleverantörer snabbt genom att lägga till lokaliserat minne som inte krävde bussåtkomst. Detta minne visas utanför processorn men som en del av processorpaketet. Höghastighetscache är dock dyrt, så cachestorlekar tenderar att vara små.
• Processorcaching: Tyvärr ger externa cachar fortfarande inte tillräckligt med hastighet. Inte ens att använda det snabbaste tillgängliga RAM-minnet och att stänga av bussåtkomsten helt uppfyller inte processorns behov av processorkapacitet. Följaktligen började leverantörer lägga till internminne - en cache som är mindre än den externa cachen, men med ännu snabbare åtkomst eftersom den är en del av processorn.
• Förhämtning: Problemet med cacher är att de bara visar sig användbara när de innehåller rätt data. Tyvärr visar sig cacheträffar vara låga i applikationer som använder mycket data och utför en mängd olika uppgifter. Nästa steg för att få processorer att arbeta snabbare är att gissa vilken data applikationen kommer att kräva härnäst och ladda in den i cachen innan applikationen kräver det.
• Använda special-RAM: Du kan bli begravd av RAM-alfabetssoppa eftersom det finns fler typer av RAM än de flesta föreställer sig. Varje typ av RAM-minne utger sig för att lösa åtminstone en del av Von Neumann-flaskhalsproblemet, och de fungerar - inom gränserna. I de flesta fall kretsar förbättringarna kring idén att få data från minnet och till bussen snabbare. Två stora (och många mindre) faktorer påverkar hastigheten: minneshastighet (hur snabbt minnet flyttar data) och latens (hur lång tid det tar att hitta en viss databit). Läs mer om minnet och de faktorer som påverkar det.

Som med många andra teknikområden kan hype bli ett problem. Till exempel, multithreading, handlingen att bryta en applikation eller annan uppsättning instruktioner i diskreta exekveringsenheter som processorn kan hantera en i taget, är ofta framhållen som ett sätt att övervinna Von Neumann-flaskhalsen, men det gör det faktiskt inte något mer än att lägga till overhead (gör problemet värre). Multithreading är ett svar på ett annat problem: att göra applikationen mer effektiv. När en applikation lägger till latensproblem till Von Neumann-flaskhalsen saktar hela systemet ner. Multithreading säkerställer att processorn inte slösar mer tid på att vänta på användaren eller applikationen, utan har något att göra hela tiden. Applikationslatens kan förekomma med vilken processorarkitektur som helst, inte bara Von Neumann-arkitekturen. Ändå,