Python-korrelaatio: opas visuaalien luomiseen

Tämänpäiväisessä blogissa käymme läpi korrelaation visualisointiprosessin ja näiden visuaalien tuomisen LuckyTemplatesiin. Voit katsoa tämän opetusohjelman koko videon tämän blogin alaosasta.

Sisällysluettelo

• Korrelaatioiden ymmärtäminen
• Python-korrelaatiopaketit
• Tietojen attribuutit
• Python-korrelaatiotietojoukko
• Python-korrelaatio: Sirontakuvaajan luominen
  • Muut sirontakuvaajan parametrit
  • Kategoristen muuttujien käyttö
  • Korrelaatio muiden muuttujien kanssa
• Python-korrelaatio: Regressiokaavion luominen
• Python-korrelaatio: Korrelaatiomatriisin luominen
  • Multiple x Single Variable Correlation
• Python-korrelaatio: lämpökartan luominen
  • Lämpökartta yhdellä muuttujalla
• Python-korrelaatio: Portaikkovisuaalin luominen
  • Staircase Visual LuckyTemplatesissa
• Johtopäätös

Korrelaatioiden ymmärtäminen

Tässä on hieno kuva, joka näyttää erityyppiset korrelaatiot. 

Vasemmalta alkaen meillä on täydellinen positiivinen korrelaatio , mikä tarkoittaa, että sen korrelaatioarvo on 1. Sitten sitä seuraavat positiiviset korrelaatiot laskevassa järjestyksessä, mikä johtaa 0:aan. 

Keskimmäinen kaavio ei näytä korrelaatiota, mikä viittaa korrelaatioarvoon, joka on yhtä suuri kuin 0. 

Lopuksi oikealla puolella on laskevia negatiivisten korrelaatioiden arvoja nollasta. Oikeanpuoleisin kaavio on täydellinen negatiivinen korrelaatio , jonka korrelaatioarvo on -1.

Python-korrelaatiopaketit

Käytämme tässä opetusohjelmassa neljää pakettia. Ensimmäinen pakettimme on Pandas , jota käytetään tietojen käsittelyyn ja tallennetaan muuttujaksi pd . 

Visualisointiin käytämme Matplotlib , joka on tallennettu plt- muuttujaksi näiden toimintojen helpottamiseksi. Seaborn , tilastollinen visualisointikirjastomme, tallennetaan nimellä sns . Ja lopuksi Numpy , joka tallennetaan nimellä np , käytetään lineaarisessa algebrassa. 

Dataa varten käytämme Seabornin mallitietojoukkoa. Sitten sns-muuttujan avulla tuomme timanttitietojoukon alla olevan kuvan mukaisesti. .

Tietojen attribuutit

Voimme tarkastella tietojemme attribuutteja dataset.info-funktion avulla . Tämä toiminto näyttää meille kaikki eri tietotyypit, kuten alla olevassa viimeisessä sarakkeessa näkyy.

Huomaa, että korrelaatio toimii vain numeeristen muuttujien kanssa, joten aiomme tarkastella numeerisia muuttujia suurimman osan ajasta. Opimme kuitenkin myös käyttämään joitakin kategorisista muuttujista visualisointiin. 

Python-korrelaatiotietojoukko

Käyttämällä funktiopäätä, joka on kirjoitettu muodossa dataset.head , saamme datamme viisi ylintä riviä, joiden pitäisi näyttää tältä.

Ensimmäisessä sarakkeessa on karaatti , jota seuraavat kategoriset muuttujat leikkaus , väri ja selkeys sekä loput tiedoista numeeriset arvot. 

Python-korrelaatio: Sirontakuvaajan luominen

Kun visualisoidaan korrelaatioita ja tarkastellaan kahta muuttujaa, katsomme yleensä . 

Siten olemme Seaborn-kirjastoa käyttämällä luoneet sirontakuvaajamme käyttämällä sirontadiagrammitoimintoa, jossa välitimme yllä tallentamamme tiedot data=tietojoukkona . Sitten tunnistimme X- ja Y-muuttujat - karaatti ja hinta . 

Tässä on Seaborn-kirjastolla tehty sirontakuvamme. 

Voit nähdä, että tämä sirontakuvaaja on melko tiheä. Tämä johtuu siitä, että meillä on noin 54 000 riviä tietoja, eivätkä pisteet välttämättä ole esitetty parhaalla tavalla.

Voimme painaa Shift + Tab-näppäimiä nähdäksesi erilaisia ​​tapoja muotoilla sirontakuvaajaa. Se näyttää meille luettelon erilaisista parametreista, jotka voimme lisätä sirontakaavioomme. 

Vieritä alaspäin antaa meille tietoa siitä, mitä kukin luetelluista parametreista tekee. 

Muut sirontakuvaajan parametrit

Sukellaanpa vähän. Voimme tehdä viivanleveydeksi 0, koska valkoiset viivat ensimmäisessä, alla esitetyssä sirontakuvaajassamme hämärtävät asioita. 

Haluamme myös säätää alfaa, jotta voimme hallita opasiteettia. Käytämme esimerkissämme arvoa alfa=0.2 . Mutta tietysti voit muuttaa sen myös 0,1:ksi. 

Jos lisäämme nämä parametrit ja napsautamme Suorita , voit nähdä, että sirontakuvaamme muuttuu läpinäkymättömämmiksi ilman valkoisia viivoja. 

Voit leikkiä parametreilla saadaksesi parhaan etsimäsi visuaalisen kuvan. 

Kategoristen muuttujien käyttö

Voimme myös hyödyntää joitain kategorisista muuttujistamme visuaalisuuden parantamiseksi. Tiedämme esimerkiksi, että tiedoissamme on timanttihionta . 

Voimme ohittaa leikkausluokan käyttämällä sävyparametria muodossa hue ='cut'. Tämä antaa meille mahdollisuuden visualisoida nämä kohdat vaihtamalla värejä. 

Tietysti voimme lisätä muita parametreja, kuten esimerkiksi alfa. Voimme lisätä sen uudelleen, asettamalla arvoksi 0,2, ja nähdä, kuinka se muuttaa visuaalista ilmettä. Napsauta Suorita ja näet pienen eron. 

Voimme leikkiä parametreilla saadaksemme etsimämme visuaalin. Voimme myös käyttää erilaisia ​​luokkia, kuten selkeyttä, mikä antaa meille selkeysluokat ja antaa myös hieman erilaisen kuvan tuosta sironnasta.

Korrelaatio muiden muuttujien kanssa

Saatat myös olla kiinnostunut siitä, miten muut arvot korreloivat keskenään kuin hinta ja karaatti. Joten jos tarkastelemme taulukon sirontakuvaajaa , joka on timantin ja  syvyyden numeerinen ulottuvuus , voimme nähdä, ettei yksi-yhteen lineaarista suhdetta ole.

Voimme myös tarkastella kahta muuta muuttujaa, kuten syvyyttä ja hintaa . Kaavion perusteella voimme nähdä, että data keskittyy keskialueen ympärille.

Python-korrelaatio: Regressiokaavion luominen

Siirrytään siihen, mitä kutsumme regressiokaavioksi, jonka avulla voimme arvioida kahden muuttujan välisen lineaarisen suhteen. 

Joten scatter plot -funktion sijasta käytämme tällä kertaa regplot- funktiota. Välitämme samassa rakenteessa – tietomme sitten X- ja Y-muuttujat. 

Tulos näyttää rivin, joka mittaa muuttujien välistä lineaarista suhdetta. On myös ilmeistä, kuinka arvomme kiertävät tuon regressioviivan ympärillä.

Tämä ei ole kovin kaunis visuaalinen tällä hetkellä, mutta voimme silti optimoida sen saadaksemme paremman. Voimme esimerkiksi välittää tyylissä Matplotlib-muuttujan avulla. Voimme muuttaa tyylin tummaksi käyttämällä koodia plt.style.use('dark_background'). 

Otetaan tämä sama regressiokaavio ja välitetään joitain avainsanoja sirontallemme ja viivallemme. Käytämme punaista väriä ja viivan leveyttä 1 regressioviivaamme. Tämä kirjoitetaan muodossa line_kws={"color" : "red", 'linewidth' : 1). 

Aseta hajonta-avainsanoillemme väriksi valkoinen, reunaväriksi harmaaksi ja peittävyydeksi 0,4, joka kirjoitetaan muodossa scatter_kws={“color” : “white”, 'edgecolor' : 'grey', 'alpha' : 0,4 ). 

Nämä parametrit antavat meille hieman erilaisen kuvan alla. 

Python-korrelaatio: Korrelaatiomatriisin luominen

Toistaiseksi olemme tarkastelleet sirontakaavioita, joissa on vain kaksi muuttujaa, mutta voimme myös haluta tarkastella kaikkia muuttujien korrelaatioita.

Tämä suoritetaan käyttämällä tietojoukkoamme datakehysfunktiolla, jota kutsutaan korrelaatioksi ja jota edustaa dataset.corr. Ja saamme matriisin, joka näyttää meille korrelaatiot kunkin näistä muuttujista. 

Yllä olevan taulukon luvut edustavat Pearson-korrelaatiota , joka keskittyy kaikkien näiden muuttujien väliseen lineaariseen suhteeseen. 

Mutta jos emme ole varmoja, korreloivatko muuttujamme täysin lineaarisesti, voimme käyttää erityyppistä korrelaatiota, joka keskittyy enemmän vaikutukseen kuin lineaariseen osaan. Sitä kutsutaan Spearman-korrelaatioksi . 

Ja voimme nähdä tiedot kaikista näistä asioista painamalla Shift + Tab. Jos vierität alaspäin, näemme Spearman-arvokorrelaation, Pearson-korrelaatiokertoimen ja melko paljon erilaisia ​​tapoja mitata tietojamme. 

Kun katsomme takaisin korrelaatiomatriisiimme aikaisemmin, tiedämme, että hinta ja karaatti korreloivat melko hyvin.

Ne ovat meidän tontistamme osoittaen, että ne ovat melko lineaarisia 0,92:ssa. 

Jos nyt käytämme sen sijaan Spearman-korrelaatiota, vaikutus tai sijoitus on hieman korkeampi, 0,96.

Nämä erityyppiset korrelaatiot antavat meille mahdollisuuden poimia erilaisia ​​korrelaatioattribuutteja näiden muuttujien välillä. 

Multiple x Single Variable Correlation

Joskus emme halua nähdä aa, koska olemme enemmän huolissamme kaikkien muuttujien korrelaatiosta vain yhden muuttujan kanssa (esim. hinta).

Voimme sitten eristää hinnan käyttämällä dataset.corr-komentoa , jota seuraa 'price' . 

Nyt voimme nähdä, että hinta korreloi kaikkien tässä taulukossa olevien numeeristen muuttujiemme kanssa. Ja syy, miksi saatamme haluta tehdä tämän, on visuaalinen juoni. 

Tarkastellaanpa siis korrelaatiomatriisimme visualisointia lämpökartalla.

Python-korrelaatio: lämpökartan luominen

Voimme välittää tämän korrelaatiomuuttujan Seaborniin funktiolla sns.heatmap.

Tämä antaa meille lämpökartan, joka näyttää tältä.

Jälleen voimme lisätä parametreja mieltymyksiimme. Voimme välittää parametrin linewidths=1 ja lisätä huomautuksia komennolla annot=True . 

Ja voit nähdä, että lämpökarttamme näyttää nyt aivan erilaiselta. Tällä hetkellä meillä on aika kiva lämpökartta. 

Näemme rivien ja merkintöjen lisäämisen hyödyllisyyden. Jälleen, jos painamme Shift + Tab, kaikki eri parametrit, jotka voivat mennä siihen, tulevat näkyviin. 

Yritä seuraavaksi lisätä method='spearman ' koodiimme, jotta tiedät kuinka käyttää erityyppistä korrelaatiota käyttötapauksestasi riippuen. 

Lämpökartta yhdellä muuttujalla

Seuraavaksi eristetään yksi muuttuja ja luodaan lämpökartta, jossa korrelaatio siirtyy negatiivisesta positiiviseen.

Tämä antaa meille tämän lämpökartan alla.

Voimme varmasti muuttaa myös tyyliä. Voimme esimerkiksi käyttää cmap- parametria muodossa cmap='coolwarm' . Tämä muuttaa värit viileiksi ja lämpimiksi ja poistaa myös mustan taustamme. 

Jos napsautamme Suorita , saamme tämän lämpökartan alla. Viileälle meillä on sininen ja sitten lämpimälle punaiset palkit. 

Voimme myös muuttaa suuntaa kohdistaaksemme karttamme väripalkin kanssa. Tämä tehdään muokkaamalla sort_values- parametriamme ja lisäämällä ascending=False . 

Tämä siirtyy eniten korreloivasta (punainen palkki) vähiten korreloituvaan (siniseen palkkiin). 

Python-korrelaatio: Portaikkovisuaalin luominen

Yksi kehittynyt tapa visualisoida korrelaatiomme on käyttää maskia estämään kaikki korrelaatiot, jotka olemme jo tehneet. 

Voimme tehdä tämän Numpylla käyttämällä joitain TRUE- ja FALSE-funktioita luodaksemme visuaalisen portaat korrelaatioillemme. 

Tältä tulosten pitäisi näyttää.

Katsotaanpa, kuinka voimme siirtää tämän LuckyTemplatesiin.

Staircase Visual LuckyTemplatesissa

Avaa ensin LuckyTemplates. Olen tuonut avokadotietojoukon, jotta voimme nähdä erilaisen visuaalisen kuvan. Näet tämän tietojoukon Kentät-ruudussa. Alusta visualisointi napsauttamalla Python-kuvaketta Visualisoinnit-ruudun alla. 

Meidän on luotava tietojoukko lisäämällä kaikki numeeriset muuttujat, jotka on merkitty ? . Lisää ne napsauttamalla näiden muuttujien vieressä olevia valintaruutuja. 

Nyt kun meillä on tietojoukko, voimme siirtyä Jupyter-muistikirjaamme ja kopioida tämän koodin, joka meillä oli aiemmin.

Sitten kopioimme koodin LuckyTemplatesin Python-skriptieditoriin. 

Seuraavaksi valitsemme visuaalimme, joka olisi portaikkovisuaali. Palaamme Jupyteriin, kopioimme koodin, jota käytimme portaikkovisuaalissamme.

Liitä koodi Python-skriptieditoriin.

Viimeinen asia on varmistaa, että käytämme plt.show -tiedostoa , joka vaaditaan Python-skriptissäsi. Lisää koodin viimeiselle riville plt.show ja napsauta komentosarjaeditorin oikeassa yläkulmassa olevaa suorituskuvaketta .

Suuremman visuaalisen kuvan saamiseksi venyttele laatikkoa hieman, jotta voimme nähdä skriptin kulmassa. Meillä on visuaalinen lämpökarttamme, joka näyttää melko hyvältä.

Ja LuckyTemplatesissa voimme varmasti nähdä, kuinka visuaalinen ilme voi muuttua tietojoukon mukaan. Voimme esimerkiksi napsauttaa Slicer- kuvaketta Visualisoinnit-ruudussa ja siirtyä kohtaan Kirjoita Kentät-ruudussa. 

Se antaa meille kaksi tyyppiä tietojoukostamme, perinteisen ja orgaanisen . Jos napsautamme yhtä tyyppiä, esimerkiksi orgaanista , voit nähdä lämpökartan muuttuvan. 

Muutokset tulevat voimaan myös, kun napsautamme seuraavaksi perinteistä tyyppiä.

Muista, että skriptimme tietojoukossa on oltava kategorinen muuttuja, jotta nämä suodattimet toimivat. Kuten näemme, luomamme tietojoukko sisälsi tyypin , jonka avulla pystyimme suodattamaan visuaalista sisältöä tällä tavalla. 

Johtopäätös

Tässä blogissa opit visualisoimaan korrelaatioita Pythonissa ja LuckyTemplatesissa eri menetelmillä, kuten Pearson-korrelaatiolla ja Spearman-arvokorrelaatiolla. 

Nyt voit luoda sirontakaavioita, regressiokaavioita, korrelaatiomatriisia, lämpökarttoja ja portaikkovisuaalisia kuvia saadaksesi parhaan visuaalisen kuvan tietojoukostasi. Voit myös käyttää erilaisia ​​parametreja parantaaksesi tyylejä ja visuaalisia ominaisuuksia. 

Kaikki parhaat,