I modsætning til den almindelige opfattelse er cloud computing ikke et nyt koncept, der kom med Microsoft Office 365. Ankomsten af Salesforce.com i slutningen af 1990'erne var faktisk en milepæl, men ideen om et "intergalaktisk computernetværk" blev først introduceret i 1960'erne af JCR Licklider, en af de mest indflydelsesrige mænd i datalogiens historie.
Licklider stod i spidsen for en gruppe ved Advance Research Projects Agency (ARPA) i 1962 for at forbedre militærets brug af computere og bragte tidsdeling og netværksfunktioner på forkant med computerteknologi og forskning.
Andre mennesker tilskriver fremkomsten af cloud computing til John McCarthy, en anden computerforsker, der i 1960'erne foreslog, at computing skulle leveres som en offentlig forsyningsvirksomhed svarende til servicebureauer, der leverede tjenester til virksomheder mod et gebyr.
Den populære "Did You Know/Shift Happens"-serie fra XPLANE hævder, at computeren inde i en mobiltelefon er en million gange billigere, tusind gange kraftigere og omkring hundrede tusinde gange mindre end computerne i 1960'erne.
Dengang blev massiv databehandling udført med supercomputere og mainframes, der optog hele bygninger. Tusindvis af centrale behandlingsenheder (CPU'er) var forbundet for at opdele supercomputeres computeropgaver for at få resultater hurtigere. De meget høje omkostninger til at skabe og vedligeholde disse supercomputere fremskyndede opdagelsen af mere økonomiske computermidler.