Vastoin yleistä käsitystä pilvipalvelu ei ole uusi konsepti, joka tuli Microsoft Office 365:n mukana. Salesforce.comin saapuminen 1990-luvun lopulla oli todellakin virstanpylväs, mutta ajatus "galaktisten tietokoneverkoista" esiteltiin ensimmäisen kerran 1960-luvulla. kirjoittanut JCR Licklider, yksi tietotekniikan historian vaikutusvaltaisimmista miehistä.
Licklider johti Advance Research Projects Agencyn (ARPA) ryhmää vuonna 1962 parantaakseen armeijan tietokoneiden käyttöä ja toi ajanjako- ja verkkoominaisuudet tietotekniikan ja tutkimuksen eturintamaan.
Muut ihmiset pitävät pilvipalvelun syntymisen John McCarthyn, toisen tietotekniikan tutkijan ansioksi, joka 1960-luvulla ehdotti, että tietojenkäsittely toimitettaisiin yleishyödyllisenä palveluna, joka on samanlainen kuin palvelutoimistot, jotka tarjosivat palveluita yrityksille maksua vastaan.
XPLANE:n suosittu "Did You Know/Shift Happens" -sarja väittää, että matkapuhelimen sisällä oleva tietokone on miljoona kertaa halvempi, tuhat kertaa tehokkaampi ja noin satatuhatta kertaa pienempi kuin 1960-luvun tietokoneet.
Tuolloin massiivinen laskenta suoritettiin supertietokoneilla ja keskuskoneilla, jotka miehittivät kokonaisia rakennuksia. Tuhansia keskusyksiköitä (CPU) yhdistettiin jakamaan supertietokoneiden laskentatehtävät, jotta tulokset saadaan nopeammin. Näiden supertietokoneiden luomisen ja ylläpidon erittäin korkeat kustannukset johtivat taloudellisempien laskentamenetelmien löytämiseen.