Cheat Sheet TensorFlow pro LuckyTemplates

TensorFlow je přední rámec společnosti Google pro strojové učení a každá nová verze přináší širokou škálu možností a funkcí. Poté, co dosáhnete křivky učení, můžete psát sofistikované aplikace pro strojové učení a spouštět je vysokou rychlostí.

Ale dostat se na křivku učení není snadné – s velkou silou přichází velká složitost. Abychom vám pomohli ve vašem stoupání, musíte znát datové typy TensorFlow, nástroj TensorBoard a nasazení aplikací do Machine Learning Engine společnosti Google.

Základní datové typy v TensorFlow

Aplikace TensorFlow můžete psát v mnoha různých jazycích, jako je Python, C++ a Java. Ale bez ohledu na to, který jazyk používáte, musíte být obeznámeni s řadou datových typů specifických pro TensorFlow:

• Tenzory a zástupné symboly: Tenzor je instancí třídy Tensor a slouží jako vícerozměrné pole pro obecné účely. Zástupný symbol je také Tensor, ale místo toho, aby byl inicializován v kódu, přijímá data z relace, která budou platná během jednoho provedení relace. Zástupné symboly umožňují aktualizovat obsah tenzoru z jedné relace na další.
• Grafy: Graf je kontejner podobný seznamu nebo n-tici. V daném okamžiku může být aktivní pouze jeden graf, a když kódujete operaci, která přijímá tenzory nebo proměnné, tenzory, proměnné a operace se uloží jako prvky v grafu. Když vytvoříte optimalizátor a zavoláte jeho metodu minimalizace, TensorFlow uloží výslednou operaci do grafu.
• Relace . Grafy ukládají operace, ale nemohou je provádět samy. Místo toho musíte vytvořit relaci a zavolat její metodu spuštění. Pokud zavoláte run s tenzorem nebo operací, metoda provede operace v grafu potřebné k získání požadovaného výsledku.
• Optimalizátory . Cílem strojového učení je vylepšit matematický model reálného systému tak, aby se co nejvíce podobal systému. Tento proces zdokonalování se nazývá optimalizace a výzkumníci vyvinuli mnoho optimalizačních metod. TensorFlow podporuje mnoho z těchto algoritmů a pro každý poskytuje třídu optimalizátoru. Bez ohledu na třídu můžete získat operaci optimalizace voláním metody minimalizace optimalizátoru.
• Proměnné . Na rozdíl od tenzorů a zástupných symbolů je proměnná instancí třídy Variable. Jeho primárním účelem je obsahovat data, která mají být aktualizována během procesu optimalizace. Pokud například vaše aplikace modeluje systém s přímou čárou, uložíte sklon čáry a průsečík y jako proměnné. Než však budete moci použít proměnné k optimalizaci modelu, musíte vytvořit a provést speciální inicializační operace.
• Odhadci . Pokud se raději nechcete zabývat nízkoúrovňovými datovými strukturami, jako jsou relace a grafy, můžete spouštět algoritmy strojového učení pomocí TensorFlow Estimator API. Estimátor je instancí třídy Estimator a každý odhadce ztělesňuje algoritmus strojového učení. Hlavní výhodou použití odhadů je, že všechny mají stejné tři metody pro spuštění procesu strojového učení: trénovat, vyhodnocovat a předpovídat.

Jak používat TensorBoard v TensorFlow

Když nainstalujete TensorFlow, instalační program také poskytuje nástroj příkazového řádku s názvem TensorBoard. Tím se vygenerují grafy, které vám umožní vizualizovat provoz vaší aplikace TensorFlow. TensorBoard usnadňuje nalezení chyb ve vašich programech, ale není snadné jej používat. Chcete-li vygenerovat data a zobrazit grafy v TensorFlow, musíte provést šest kroků:

Vytvořte souhrnné operace.
Než budete moci zobrazit data v TensorBoard, musíte identifikovat data, která se mají zobrazit, vytvořením speciálních operací nazývaných souhrnné operace. Tyto operace můžete vytvořit voláním funkcí balíčku tf.summary. Můžete například vytvořit souhrnnou operaci pro jednu hodnotu voláním tf.summary.scalar. Souhrnnou operaci pro řadu hodnot můžete vytvořit voláním tf.summary.histogram. Operace můžete kombinovat voláním funkce jako tf.summary.merge_all.

Proveďte souhrnné operace.
Po vytvoření jedné nebo více souhrnných operací můžete získat souhrnná data provedením operací v relaci. Výsledkem je, že relace vrátí vyrovnávací paměť protokolu obsahující souhrnná data aplikace.

Vytvořte FileWriter.
Než budete moci vytisknout souhrnná data do souboru, musíte vytvořit FileWriter voláním tf.summary.FileWriter. Tento konstruktor přijímá mnoho argumentů, ale jediným povinným argumentem je název adresáře, který má obsahovat souhrnná data.

Vytiskněte souhrnná data.
Třída FileWriter nemá jednoduchou metodu tisku. Místo toho musíte zavolat metodu add_summary FileWriter pro tisk souhrnných dat do souboru. Tato metoda zapíše soubor události do adresáře zadaného v konstruktoru FileWriter. Po vytištění dat je vhodné zavolat metodu close FileWriter, abyste instanci zničili.

Spusťte TensorBoard.
Po instalaci TensorFlow se nástroj tensorboard objeví v adresáři skriptů nejvyšší úrovně. Obslužný program můžete spustit spuštěním příkazu tensorboard a nastavením volby logdir na název adresáře obsahujícího souhrnná data. Pokud jsou například souhrnná data ve výstupním adresáři, můžete spustit TensorBoard spuštěním tensorboard –logdir=output na příkazovém řádku.

Zobrazit TensorBoard v prohlížeči.
Po spuštění nástroje TensorBoard můžete zobrazit jeho rozhraní otevřením prohlížeče. Výchozí adresa URL je http://localhost:6006, ale můžete ji nakonfigurovat nastavením možností hostitele a portu v příkazu tensorboard.

Jak spustit TensorFlow v cloudu

Nejlepší důvod, proč používat TensorFlow pro strojové učení, je ten, že své aplikace můžete spouštět v cloudu. Přesněji řečeno, programy TensorFlow můžete nasadit na stroj strojového učení (ML), který Google zpřístupňuje jako součást Google Cloud Platform (GCP). Tento proces nasazení se skládá ze sedmi kroků:

Vytvořte projekt Google Cloud Platform.
Když pracujete s GCP, projekt slouží jako centrální kontejner konfiguračních nastavení a zdrojových souborů. Nový projekt můžete vytvořit tak, že navštívíte platformu Google Cloud , kliknete na Vybrat projekt a kliknete na tlačítko plus v dialogovém okně Vybrat. Můžete si vybrat název svého projektu, ale GCP nastavuje ID projektu, které je jedinečné mezi všemi projekty GCP.

Povolit přístup k ML Engine.
Každý nový projekt GCP má přístup k řadě funkcí Google, včetně úložiště dat a cloudového úložiště. Ve výchozím nastavení však projekty GCP nemohou nasazovat aplikace do ML Engine. Chcete-li povolit přístup, otevřete nabídku v levé horní části stránky projektu, vyberte API a služby a poté klikněte na Knihovna. Klikněte na odkaz s názvem Google Cloud Machine Learning Engine a poté klikněte na tlačítko POVOLIT.

Nainstalujte sadu Cloud Software Development Kit (SDK).
K GCP můžete přistupovat z příkazového řádku instalací sady Google Cloud SDK . Chcete-li si jej stáhnout, klikněte na příslušný odkaz pro váš operační systém. Po dokončení instalace budete mít přístup k SDK spuštěním příkazů gcloud na příkazovém řádku.

Nahrajte tréninková/předpovědní data do cloudového úložiště.
ML Engine má přístup k vašim tréninkovým/předpovědním datům, pouze pokud je nahrajete do cloudového úložiště Google. S cloudovým úložištěm můžete pracovat z příkazového řádku pomocí nástroje gsutil poskytovaného Cloud SDK. Data cloudového úložiště jsou obsažena v adresářových strukturách nazývaných buckety, a když nahrajete soubor do bucketu, datová struktura se nazývá objekt.

Přidejte modul setup.py do balíčku vaší aplikace.
Chcete-li zpřístupnit aplikaci Pythonu pro ML Engine, musíte ji strukturovat jako balíček. Každý balíček musí mít modul setup.py v adresáři nejvyšší úrovně. Tento modul potřebuje poskytnout kód pro setuptools.setup, který poskytuje konfigurační informace pro ML Engine.

Spusťte tréninkovou úlohu pro ML Engine.
Chcete-li trénovat svůj model v cloudu, musíte spustit úlohu školení spuštěním úloh gcloud ml-engine a odeslat školení s příslušnými možnostmi. Možnosti zahrnují --package-path, která identifikuje umístění balíčku, --module-name, která poskytuje název modulu Python, a –job-dir, která říká ML Engine, kam má uložit výstup. Po dokončení školení ML Engine vytvoří SavedModel obsahující natrénované výsledky.

Spusťte úlohu predikce pro ML Engine.
Poté, co získáte SavedModel, můžete použít ML Engine k provádění predikce spuštěním úlohy gcloud ml-engine odeslat predikci s příslušnými možnostmi. Možnosti zahrnují --input-paths, která identifikuje umístění vstupních souborů projektu, --data-format, která říká ML Engine, jak jsou vstupní data formátována, a --output-path, která určuje, kde by měl výstup predikce být uložen.