Python Correlation: Guide i att skapa bilder

I dagens blogg kommer vi att gå igenom processen att visualisera korrelation och hur man importerar dessa bilder till LuckyTemplates. Du kan se hela videon av denna handledning längst ner på den här bloggen.

Innehållsförteckning

• Förstå korrelationer
• Paket för Python Correlation
• Datas attribut
• Python-korrelationsdatauppsättningen
• Python-korrelation: Skapa en scatterplot
  • Ytterligare parametrar för spridningsdiagram
  • Använda kategoriska variabler
  • Korrelation med andra variabler
• Python-korrelation: Skapa en regressionsplot
• Python-korrelation: Skapa en korrelationsmatris
  • Multipel x enkelvariabelkorrelation
• Python-korrelation: Skapa en värmekarta
  • Värmekarta med en variabel
• Python-korrelation: Skapa en trappbild
  • Trappbild i LuckyTemplates
• Slutsats

Förstå korrelationer

Här är en fin bild som visar de olika typerna av samband. 

Från vänster har vi den perfekta positiva korrelationen vilket betyder att den har ett korrelationsvärde på 1. Sedan följs den av positiva korrelationer i fallande ordning som leder till 0. 

Den mittersta grafen visar ingen korrelation som tyder på ett korrelationsvärde lika med 0. 

Slutligen visar den högra sidan minskande negativa korrelationsvärden från 0. Grafen längst till höger är den perfekta negativa korrelationen som har ett korrelationsvärde på -1.

Paket för Python Correlation

Vi kommer att använda fyra paket för denna handledning. Vårt första paket är Pandas som ska användas för datamanipulation och sparas som variabel pd . 

För visualisering kommer vi att använda Matplotlib , sparad som plt- variabel för enklare användning av dessa funktioner. Seaborn , vårt statistiska visualiseringsbibliotek, kommer att sparas som sns . Och slutligen kommer Numpy , som ska sparas som np , att användas för linjär algebra. 

För data kommer vi att använda ett exempeldataset i Seaborn. Genom att använda sns-variabeln kommer vi att ta in diamonds -datasetet som visas nedan. .

Datas attribut

Vi kan se attributen för våra data med hjälp av funktionen dataset.info . Denna funktion visar oss alla olika datatyper som ses i den sista kolumnen nedan.

Observera att korrelation bara fungerar på numeriska variabler, därför kommer vi att titta på de numeriska variablerna för det mesta. Men vi kommer också att lära oss hur man använder några av de kategoriska variablerna för visualisering. 

Python-korrelationsdatauppsättningen

Genom att använda funktionshuvudet skrivet som dataset.head , kan vi få de fem översta raderna av vår data som ska se ut så här.

Vi har karat i den första kolumnen, följt av de kategoriska variablerna cut , color och clarity , och sedan numeriska värden för resten av data. 

Python-korrelation: Skapa en scatterplot

När vi visualiserar korrelationer och tittar på två variabler tittar vi vanligtvis på . 

Med hjälp av Seaborn-biblioteket har vi alltså skapat vår spridningsplot med hjälp av spridningsdiagramfunktionen där vi skickade in data som vi sparade ovan som data=dataset . Sedan identifierade vi X- och Y-variablerna - karat respektive pris . 

Här är vår spridningsplot gjord med Seaborn-biblioteket. 

Du kan se att denna spridningsplot är ganska tät. Det beror på att vi har cirka 54 000 rader med data och punkterna är inte nödvändigtvis representerade på bästa sätt.

Vi kan trycka på Shift + Tab-tangenterna för att se de olika sätten att utforma spridningsdiagrammet. Det kommer att visa oss en lista med olika parametrar som vi kan lägga till i vår spridningsdiagram. 

Om du rullar längre ner får vi information om vad var och en av de listade parametrarna gör. 

Ytterligare parametrar för spridningsdiagram

Låt oss dyka in lite. Vi kan göra linewidth=0 eftersom de vita linjerna i vårt första spridningsdiagram, som visas nedan, är något otydligt. 

Vi vill också justera alfa så att vi kan kontrollera opaciteten. Låt oss använda alpha=0.2 för vårt exempel. Men naturligtvis kan du ändra det till 0,1 också. 

Om vi ​​lägger till dessa parametrar och klickar på Kör kan du se att vår spridningsplot blir mer ogenomskinlig utan de vita linjerna. 

Du kan leka med parametrarna för att få den bästa visuella bilden du letar efter. 

Använda kategoriska variabler

Vi kan också använda några av våra kategoriska variabler för att förbättra vår bild. Till exempel vet vi att vår data har ett snitt för vår diamant. 

Vad vi kan göra är att passera in den cut-kategorin genom att använda hue- parametern som hue='cut'. Detta gör att vi kan visualisera dessa punkter genom att ändra färgerna. 

Naturligtvis kan vi lägga till fler parametrar som till exempel alfa. Vi kan lägga till det igen, ställa in på 0,2 och se hur det förändrar det visuella. Låt oss klicka på Kör så kan du se lite skillnad. 

Vi kan leka med parametrarna för att få det visuella som vi letar efter. Vi kan också använda olika kategorier som till exempel klarhet, vilket ger oss klarhetskategorierna och ger oss också en lite annorlunda syn på den spridningen.

Korrelation med andra variabler

Du kanske också är intresserad av hur andra värden är korrelerade förutom pris och karat. Så om vi tittar på ett spridningsdiagram för tabell , som är den numeriska dimensionen av den diamanten och  djupet , kan vi se att det inte finns något en-till-en linjärt samband.

Vi kan också titta på två andra variabler som djup och pris . Baserat på grafen kan vi se att data centreras runt mittområdet.

Python-korrelation: Skapa en regressionsplot

Låt oss gå vidare till vad vi kallar en regressionsplot som tillåter oss att utvärdera det linjära sambandet mellan två variabler. 

Så istället för scatter plot-funktionen kommer vi att använda regplot- funktionen den här gången. Vi kommer att skicka i samma struktur—våra data sedan X- och Y-variablerna. 

Resultatet visar en linje som mäter det linjära sambandet mellan variablerna. Det är också uppenbart hur våra värderingar kretsar runt den regressionslinjen.

Det här är inte särskilt vackert för tillfället, men vi kan fortfarande optimera det för att få en bättre. Till exempel kan vi skicka i en stil med hjälp av variabeln Matplotlib. Vi kan ändra stilen till mörk bakgrund med koden plt.style.use('dark_background'). 

Ta samma regressionsdiagram och skicka in några nyckelord för vår spridning och linje. Låt oss använda röd färg och en linjebredd på 1 för vår regressionslinje. Detta skrivs som line_kws={“color” : “red”, 'linewidth': 1). 

För våra scatter-sökord, låt oss ställa in färgen som vit, kantfärgen som grå och opaciteten som 0,4 för att skrivas som scatter_kws={“color” : ”white”, 'edgecolor' : 'grey', 'alpha' : 0.4 ). 

Dessa parametrar ger oss en lite annorlunda vy som visas nedan. 

Python-korrelation: Skapa en korrelationsmatris

Hittills är det vi har tittat på spridningsdiagram med bara två variabler, men vi kanske också vill titta på alla våra variabelkorrelationer.

Detta utförs med vår datauppsättning med en dataramfunktion som kallas korrelation representerad som dataset.corr. Och vad vi kommer att få är en matris som visar oss korrelationer på var och en av dessa variabler. 

Siffrorna i tabellen ovan representerar Pearson-korrelationen , som fokuserar på det linjära sambandet mellan alla dessa variabler. 

Men om vi inte är säkra på om våra variabler är helt linjärt korrelerade kan vi använda en annan typ av korrelation som fokuserar mer på påverkan än den linjära delen. Det kallas en Spearman-korrelation . 

Och vi kan se information om alla dessa saker genom att trycka på Skift + Tab. Om du bläddrar nedåt kan vi se Spearman-rankkorrelationen, Pearson-korrelationskoefficienten och en hel del olika sätt att mäta vår data. 

När vi ser tillbaka på vår korrelationsmatris tidigare vet vi att pris och karat är ganska bra korrelerade.

De är från vår plot här och visar att de är ganska linjära vid 0,92. 

Om vi ​​nu använder Spearman-korrelationen istället, kommer effekten eller rankningen att bli lite högre vid 0,96.

Dessa olika typer av korrelationer tillåter oss att plocka upp olika attribut för korrelation mellan dessa variabler. 

Multipel x enkelvariabelkorrelation

Ibland vill vi inte se a eftersom vi är mer bekymrade över korrelationen mellan alla variabler med enbart en variabel (t.ex. pris).

Vad vi kan göra då är att isolera pris med dataset.corr följt av 'price' . 

Nu kan vi se att priset är korrelerat med alla våra olika numeriska variabler i den här tabellen. Och anledningen till att vi kanske vill göra detta är för visuella tomter. 

Så låt oss titta på att visualisera vår korrelationsmatris med en värmekarta.

Python-korrelation: Skapa en värmekarta

Vi kan skicka denna korrelationsvariabel till en Seaborn med funktionen sns.heatmap.

Detta kommer att ge oss en värmekarta som ser ut så här.

Återigen kan vi lägga till parametrar till våra preferenser. Vi kan skicka in parametern linewidths=1 och lägga till kommentarer med annot=True . 

Och du kan se att vår värmekarta nu ser ganska annorlunda ut. Just nu har vi en ganska fin värmekarta. 

Vi kan se nyttan av att lägga till raderna och anteckningarna. Återigen, om vi trycker på Skift + Tab kommer alla de olika parametrarna som kan gå in att dyka upp. 

Försök sedan att lägga till method='spearman ' i vår kod, så att du vet hur du använder en annan typ av korrelation beroende på ditt användningsfall. 

Värmekarta med en variabel

Därefter isolerar vi en variabel och skapar en värmekarta med korrelationen från negativ till positiv.

Detta kommer att ge oss denna värmekarta nedan.

Vi kan definitivt ändra stylingen också. Till exempel kan vi använda parametern cmap som cmap='coolwarm' . Detta ändrar färgerna till svala och varma, och kommer också att eliminera vår svarta bakgrund. 

Om vi ​​klickar på Kör får vi denna värmekarta nedan. För kallt har vi de blå och sedan för varmt har vi de röda staplarna. 

Vi kan också ändra riktningen för att anpassa vår karta med färgfältet. Detta görs genom att redigera vår sort_values- parameter och lägga till ascending=False . 

Detta kommer att gå från den mest korrelerade (den röda stapeln) till den minst korrelerade (den blå stapeln). 

Python-korrelation: Skapa en trappbild

Ett avancerat sätt att visualisera vår korrelation är att använda en mask för att blockera alla korrelationer som vi redan har gjort. 

Vi kan göra detta med Numpy genom att använda några TRUE och FALSE funktioner för att göra en trappa visuell för våra korrelationer. 

Så här ska resultatet se ut.

Låt oss se hur vi kan överföra detta till LuckyTemplates.

Trappbild i LuckyTemplates

Öppna först LuckyTemplates. Jag har tagit in ett avokadodataset så att vi kan se en annan bild. Du kan se denna datauppsättning under panelen Fält. Initiera det visuella genom att klicka på Python-ikonen under rutan Visualiseringar. 

Vi måste skapa datamängden genom att lägga till alla numeriska variabler som anges med ? . Lägg till dem genom att klicka på kryssrutorna bredvid dessa variabler. 

Nu när vi har en datauppsättning kan vi gå över till vår Jupyter-anteckningsbok och kopiera den här koden vi hade tidigare.

Sedan kommer vi att kopiera koden till Python-skriptredigeraren i LuckyTemplates. 

Därefter kommer vi att välja vår visuella, som skulle vara trappuppgången. Vi går tillbaka till Jupyter, kopierar koden som vi använde för vår trappbild.

Klistra in koden i Python-skriptredigeraren.

Det sista du ska göra är att se till att vi använder plt.show , som krävs i ditt Python-skript. Lägg till plt.show i den sista raden i koden och klicka på körikonen i det övre högra hörnet av skriptredigeraren.

För en större bild, sträck ut rutan lite så att vi kan se skriptet köra i hörnet. Vi har vår bild för vår värmekarta, som ser ganska fin ut.

Och i LuckyTemplates kan vi definitivt se hur den visuella bilden kan förändras beroende på datamängden. Till exempel kan vi klicka på Slicer- ikonen i rutan Visualiseringar och gå till Skriv i fältet. 

Det kommer att ge oss de två typerna i vår datamängd, den konventionella och den ekologiska . Om vi ​​klickar på en typ, säg organisk , kan du se att värmekartan ändras. 

Ändringar kommer också att gälla när vi klickar på den konventionella typen härnäst.

Kom ihåg att vi måste ha en kategorisk variabel i datasetet för vårt skript för att dessa filter ska fungera. Som vi kan se inkluderade datamängden vi skapade typen , vilket gjorde det möjligt för oss att filtrera det visuella på det sättet. 

Slutsats

I den här bloggen lärde du dig hur du visualiserar korrelationer i Python och LuckyTemplates med hjälp av olika metoder som Pearson-korrelation och Spearman-rankkorrelation. 

Nu kan du skapa spridningsdiagram, regressionsdiagram, korrelationsmatris, värmekartor och trappbilder för att få den bästa visuella bilden för din datamängd. Du kan också använda en mängd olika parametrar för att förbättra stilar och bilder. 

Med vänliga hälsningar,