Python Correlation: Guide in Creating Visuals

V dnešním blogu si projdeme proces vizualizace korelace a jak tyto vizuály importovat do LuckyTemplates. Celé video tohoto tutoriálu si můžete prohlédnout ve spodní části tohoto blogu.

Obsah

• Pochopení korelací
• Balíčky pro Python Correlation
• Atributy dat
• Korelační datová sada Pythonu
• Python Correlation: Vytvoření bodového grafu
  • Další parametry bodového grafu
  • Použití kategorických proměnných
  • Korelace s jinými proměnnými
• Python Correlation: Vytvoření regresního grafu
• Python Correlation: Vytvoření korelační matice
  • Vícenásobná x jediná proměnná korelace
• Python Correlation: Vytvoření tepelné mapy
  • Tepelná mapa s jednou proměnnou
• Korelace Pythonu: Vytvoření vizuálu schodiště
  • Vizuální schodiště v LuckyTemplates
• Závěr

Pochopení korelací

Zde je pěkný obrázek ukazující různé typy korelací. 

Počínaje zleva máme dokonalou kladnou korelaci , což znamená, že má hodnotu korelace 1. Poté následují kladné korelace v sestupném pořadí vedoucí k 0. 

Prostřední graf neukazuje žádnou korelaci, což naznačuje, že hodnota korelace je rovna 0. 

Konečně pravá strana představuje klesající hodnoty negativních korelací od 0. Graf zcela vpravo je dokonalá negativní korelace , která má hodnotu korelace -1.

Balíčky pro Python Correlation

Pro tento tutoriál použijeme čtyři balíčky. Náš první balíček je Pandas , který se používá pro manipulaci s daty a ukládá se jako proměnná pd . 

Pro vizualizaci použijeme Matplotlib , uložený jako proměnná plt pro snadnější použití těchto funkcí. Seaborn , naše statistická vizualizační knihovna, bude uložena jako sns . A konečně, Numpy , který bude uložen jako np , bude použit pro lineární algebru. 

Pro data použijeme vzorovou datovou sadu v Seaborn. Poté pomocí proměnné sns přineseme datovou sadu diamantů , jak je uvedeno níže. .

Atributy dat

Atributy našich dat můžeme zobrazit pomocí funkce dataset.info . Tato funkce nám ukazuje všechny různé typy dat, jak je vidět v posledním sloupci níže.

Všimněte si, že korelace funguje pouze na numerických proměnných, proto se většinu času budeme dívat na numerické proměnné. Naučíme se však také využít některé kategoriální proměnné pro vizualizaci. 

Korelační datová sada Pythonu

Použitím funkce head zapsané jako dataset.head můžeme získat prvních pět řádků našich dat, které by měly vypadat takto.

V prvním sloupci máme karát , následují kategorické proměnné cut , color a clarity a pak číselné hodnoty pro zbytek dat. 

Python Correlation: Vytvoření bodového grafu

Při vizualizaci korelací a pohledu na dvě proměnné se obvykle díváme na . 

S použitím knihovny Seaborn jsme tedy vytvořili bodový graf pomocí funkce bodového grafu, kam jsme předali data, která jsme uložili výše jako data=dataset . Poté jsme identifikovali proměnné X a Y – karát a cenu . 

Zde je náš rozptylový graf vytvořený pomocí knihovny Seaborn. 

Vidíte, že tento rozptylový graf je docela hustý. Je to proto, že máme asi 54 000 řádků dat a body nemusí být nutně zastoupeny tím nejlepším způsobem.

Můžeme stisknout klávesy Shift + Tab, abychom viděli různé způsoby stylování bodového grafu. Ukáže nám seznam různých parametrů, které můžeme přidat do našeho bodového grafu. 

Posouváním dále dolů nám poskytne informace o tom, co každý z uvedených parametrů dělá. 

Další parametry bodového grafu

Pojďme se trochu ponořit. Můžeme nastavit šířku čáry = 0 , protože bílé čáry v našem prvním bodovém grafu, znázorněném níže, poněkud zatemňují věci. 

Chceme také upravit alfa, abychom mohli ovládat neprůhlednost. Pro náš příklad použijeme alfa=0,2 . Ale samozřejmě to můžete změnit na 0,1. 

Pokud přidáme tyto parametry a klikneme na Spustit , uvidíte, že náš bodový graf bude bez bílých čar neprůhlednější. 

Můžete si pohrát s parametry, abyste získali ten nejlepší vizuál, který hledáte. 

Použití kategorických proměnných

Můžeme také využít některé z našich kategoriálních proměnných ke zlepšení našich vizuálů. Například víme, že naše data mají brus pro náš diamant. 

Co můžeme udělat, je předat tuto kategorii řezu pomocí parametru hue jako hue='cut'. To nám umožní vizualizovat tyto body změnou barev. 

Samozřejmě můžeme přidat další parametry, jako je například alfa. Můžeme to přidat znovu, nastavit na 0,2 a uvidíme, jak to změní vizuál. Klikněte na Spustit a uvidíte malý rozdíl. 

Můžeme si pohrát s parametry, abychom získali vizuál, který hledáme. Můžeme také použít různé kategorie, jako je jasnost, což nám dává kategorie jasnosti a také nám dává trochu jiný pohled na tento rozptyl.

Korelace s jinými proměnnými

Možná vás také bude zajímat, jak spolu souvisí jiné hodnoty než cena a karát. Pokud se tedy podíváme na bodový graf pro tabulku , což je číselný rozměr tohoto diamantu a  hloubky , vidíme, že neexistuje lineární vztah jedna ku jedné.

Můžeme se také podívat na dvě další proměnné, jako je hloubka a cena . Na základě grafu můžeme vidět, že data se soustředí kolem střední oblasti.

Python Correlation: Vytvoření regresního grafu

Pojďme k tomu, čemu říkáme regresní graf, který nám umožňuje vyhodnotit lineární vztah mezi dvěma proměnnými. 

Místo funkce bodového grafu tedy tentokrát použijeme funkci regplot . Předáme ve stejné struktuře – naše data a potom proměnné X a Y. 

Výsledek ukazuje čáru, která měří lineární vztah mezi proměnnými. Je také zřejmé, jak naše hodnoty krouží kolem této regresní linie.

V tuto chvíli to není příliš krásný vizuál, ale stále jej můžeme optimalizovat, abychom získali lepší. Můžeme například předat styl pomocí proměnné Matplotlib. Styl můžeme změnit na tmavé pozadí pomocí kódu plt.style.use('dark_background'). 

Vezměte stejný regresní graf a zadejte některá klíčová slova pro náš rozptyl a čáru. Pro naši regresní přímku použijeme červenou barvu a šířku čáry 1. To je zapsáno jako line_kws={“color“ : „red“, 'linewidth' : 1). 

Pro naše rozptylová klíčová slova nastavme barvu jako bílou, barvu okraje na šedou a neprůhlednost na 0,4, abychom ji zapsali jako scatter_kws={“color” : “white”, 'edgecolor' : 'grey', 'alpha' : 0,4 ). 

Tyto parametry nám poskytují trochu jiný pohled, jak je uvedeno níže. 

Python Correlation: Vytvoření korelační matice

Doposud jsme se dívali na bodové grafy pouze se dvěma proměnnými, ale možná se také budeme chtít podívat na všechny naše proměnné korelace.

To se provádí pomocí naší datové sady s funkcí datového rámce nazývanou korelace reprezentované jako dataset.corr. A dostaneme matici, která nám ukazuje korelace na každé z těchto proměnných. 

Čísla v tabulce výše představují Pearsonovu korelaci , která se zaměřuje na lineární vztah mezi všemi těmito proměnnými. 

Pokud si ale nejsme jisti, zda jsou naše proměnné plně lineárně korelované, můžeme použít jiný typ korelace, který se zaměřuje více na dopad než lineární část. Říká se tomu Spearmanova korelace . 

A my můžeme zobrazit informace o všech těchto věcech stisknutím Shift + Tab. Pokud se posunete dolů, můžeme vidět Spearmanovu hodnostní korelaci, Pearsonův korelační koeficient a spoustu různých způsobů měření našich dat. 

Když se podíváme zpět na naši korelační matici dříve, víme, že cena a karát spolu velmi dobře korelují.

Jsou z našeho grafu, který ukazuje, že jsou docela lineární na 0,92. 

Nyní, když místo toho použijeme Spearmanovu korelaci, dopad nebo hodnocení bude o něco vyšší na 0,96.

Tyto různé typy korelací nám umožňují zachytit různé atributy korelace mezi těmito proměnnými. 

Vícenásobná x jediná proměnná korelace

Někdy nechceme vidět a, protože nás více zajímá korelace všech proměnných pouze s jednou proměnnou (např. cenou).

Co pak můžeme udělat, je izolovat cenu pomocí dataset.corr následovaného 'price' . 

Nyní vidíme, že cena koreluje se všemi našimi různými číselnými proměnnými v této tabulce. A důvodem, proč to možná chceme udělat, jsou vizuální zápletky. 

Podívejme se tedy na vizualizaci naší korelační matice pomocí tepelné mapy.

Python Correlation: Vytvoření tepelné mapy

Tuto korelační proměnnou můžeme předat Seabornu pomocí funkce sns.heatmap.

Získáme tak tepelnou mapu, která vypadá takto.

Opět můžeme přidat parametry podle našich preferencí. Můžeme předat parametr linewidths=1 a přidat anotace pomocí annot=True . 

A můžete vidět, že naše tepelná mapa nyní vypadá docela jinak. Právě teď máme docela pěknou tepelnou mapu. 

Můžeme vidět užitečnost přidávání řádků a anotací. Znovu, pokud stiskneme Shift + Tab, zobrazí se všechny různé parametry, do kterých lze vstoupit. 

Dále zkuste do našeho kódu přidat metodu = 'spearman ', abyste věděli, jak použít jiný typ korelace v závislosti na vašem případu použití. 

Tepelná mapa s jednou proměnnou

Dále izolujeme jednu proměnnou a vytvoříme tepelnou mapu s korelací od negativní k pozitivní.

Tím získáme tuto tepelnou mapu níže.

Určitě můžeme změnit i styling. Například můžeme použít parametr cmap jako cmap='coolwarm' . Tím se barvy změní na studené a teplé a odstraní se i naše černé pozadí. 

Pokud klikneme na Run , dostaneme tuto tepelnou mapu níže. Pro chlad máme modré a pak pro teplo máme červené pruhy. 

Můžeme také změnit směr a zarovnat naši mapu s barevným pruhem. Toho dosáhnete úpravou našeho parametru sort_values ​​a přidáním ascending=False . 

To půjde od nejvíce korelovaného (červený pruh) k nejméně korelovanému (modrý pruh). 

Korelace Pythonu: Vytvoření vizuálu schodiště

Jedním z pokročilých způsobů, jak vizualizovat naši korelaci, je pomocí masky zablokovat všechny korelace, které jsme již provedli. 

Můžeme to udělat pomocí Numpy pomocí některých funkcí TRUE a FALSE, abychom vytvořili schodiště vizuální pro naše korelace. 

Zde je návod, jak by měly vypadat výsledky.

Podívejme se, jak to můžeme přenést do LuckyTemplates.

Vizuální schodiště v LuckyTemplates

Nejprve otevřete LuckyTemplates. Přinesl jsem datovou sadu avokáda, takže můžeme vidět jiný vizuál. Tuto datovou sadu můžete vidět v podokně Pole. Inicializujte vizuál kliknutím na ikonu Pythonu v podokně Vizualizace. 

Potřebujeme vytvořit datovou sadu přidáním všech číselných proměnných, které jsou označeny ? . Přidejte je kliknutím na zaškrtávací políčka vedle těchto proměnných. 

Nyní, když máme soubor dat, můžeme přejít do svého notebooku Jupyter a zkopírovat tento kód, který jsme měli dříve.

Poté zkopírujeme kód do editoru skriptů Python v LuckyTemplates. 

Dále si vybereme náš vizuál, kterým by byl vizuál schodiště. Vrátíme se do Jupyter, zkopírujeme kód, který jsme použili pro náš vizuál schodiště.

Vložte kód do editoru skriptů Python.

Poslední věcí, kterou musíte udělat, je ujistit se, že používáme plt.show , což je vyžadováno ve vašem skriptu Python. Přidejte plt.show na poslední řádek kódu a klikněte na ikonu spuštění v pravém horním rohu editoru skriptů.

Pro větší vizuál roztáhněte trochu krabici, abychom viděli skript běžící v rohu. Máme náš vizuál pro naši tepelnou mapu, která vypadá docela pěkně.

A v LuckyTemplates můžeme rozhodně vidět, jak se tento vizuál může změnit podle datové sady. Můžeme například kliknout na ikonu Slicer v podokně Vizualizace a přejít na Typ v podokně Pole. 

Poskytne nám dva typy v našem souboru dat, konvenční a organický . Pokud klikneme na jeden typ, řekněme organický , můžete vidět, že se tepelná mapa mění. 

Změny se projeví i poté, co klikneme na další konvenční typ.

Pamatujte, že potřebujeme mít kategorickou proměnnou v datové sadě našeho skriptu, aby tyto filtry fungovaly. Jak vidíme, datová sada, kterou jsme vytvořili, zahrnovala typ , což nám umožňuje filtrovat vizuál tímto způsobem. 

Závěr

V tomto blogu jste se naučili, jak vizualizovat korelace v Pythonu a LuckyTemplates pomocí různých metod, jako je Pearsonova korelace a Spearmanova korelace hodnosti. 

Nyní můžete vytvářet bodové grafy, regresní grafy, korelační matice, tepelné mapy a schodiště, abyste získali pro svůj soubor dat ten nejlepší vizuál. Můžete také použít různé parametry ke zlepšení stylů a vizuálů. 

Vše nejlepší,