Шпаргалка TensorFlow для LuckyTemplates

TensorFlow — це найкраща платформа Google для машинного навчання, і кожна нова версія надає широкий спектр можливостей і функцій. Після того, як ви піднялися по кривій навчання, ви зможете писати складні програми машинного навчання та виконувати їх на високій швидкості.

Але піднятися вгору по кривій навчання непросто — з великою силою приходить велика складність. Щоб допомогти вам у підйомі, ви повинні знати про типи даних TensorFlow, утиліту TensorBoard і розгортання додатків у машинному движку Google Machine Learning Engine.

Основні типи даних у TensorFlow

Ви можете писати програми TensorFlow кількома різними мовами, такими як Python, C++ і Java. Але незалежно від того, яку мову ви використовуєте, ви повинні бути знайомі з серією типів даних, специфічних для TensorFlow:

• Тензори та заповнювачі: тензор є екземпляром класу Tensor, і він служить багатовимірним масивом загального призначення. Заповнювач також є тензором, але замість того, щоб бути ініціалізованим у коді, він отримує дані з сеансу, які будуть дійсними під час одного виконання сеансу. Заповнювачі дозволяють оновлювати вміст тензора від виконання одного сеансу до наступного.
• Графіки: графік — це контейнер, схожий на список або кортеж. Одночасно може бути активним лише один графік, і коли ви кодуєте операцію, яка приймає тензори або змінні, тензори, змінні та операція зберігаються як елементи в графі. Коли ви створюєте оптимізатор і викликаєте його метод мінімізації, TensorFlow зберігає отриману операцію на графіку.
• Сесії . Графи зберігають операції, але вони не можуть виконувати операції самі по собі. Натомість вам потрібно створити сеанс і викликати його метод run. Якщо ви викликаєте run з тензором або операцією, метод виконає операції на графіку, необхідні для отримання бажаного результату.
• Оптимізатори . Метою машинного навчання є уточнення математичної моделі реальної системи до тих пір, поки вона не стане максимально схожою на систему. Цей процес уточнення називається оптимізацією, і дослідники розробили багато методів оптимізації. TensorFlow підтримує багато з цих алгоритмів і надає клас оптимізатора для кожного. Незалежно від класу, ви можете отримати операцію оптимізації, викликавши метод мінімізації оптимізатора.
• Змінні . На відміну від тензорів і заповнювачів, змінна є екземпляром класу Variable. Його основна мета — містити дані, які будуть оновлюватися під час процесу оптимізації. Наприклад, якщо ваша програма моделює систему з прямою лінією, ви збережете нахил лінії та y- перехоплення як змінні. Але перш ніж ви зможете використовувати змінні для оптимізації моделі, вам потрібно створити та виконати спеціальні операції ініціалізації.
• Оцінювачі . Якщо ви не хочете мати справу з низькорівневими структурами даних, такими як сесії та графіки, ви можете виконувати алгоритми машинного навчання за допомогою Estimator API TensorFlow. Оцінювач — це екземпляр класу Estimator, і кожен оцінювач втілює алгоритм машинного навчання. Основна перевага використання оцінювачів полягає в тому, що всі вони мають однакові три методи для запуску процесу машинного навчання: навчання, оцінка та прогнозування.

Як використовувати TensorBoard в TensorFlow

Коли ви встановлюєте TensorFlow, інсталятор також надає утиліту командного рядка під назвою TensorBoard. Це генерує графіки, які дозволяють візуалізувати роботу вашої програми TensorFlow. TensorBoard дозволяє легко знаходити помилки у ваших програмах, але нелегко використовувати. Щоб згенерувати дані та переглянути графіки в TensorFlow, вам потрібно виконати шість кроків:

Створення підсумкових операцій.
Перш ніж ви зможете переглядати дані в TensorBoard, вам потрібно визначити дані, які будуть відображатися, створивши спеціальні операції, які називаються підсумковими операціями. Ви можете створити ці операції, викликавши функції пакета tf.summary. Наприклад, ви можете створити підсумкову операцію для одного значення, викликавши tf.summary.scalar. Ви можете створити підсумкову операцію для серії значень, викликавши tf.summary.histogram. Ви можете об’єднати операції разом, викликавши функцію, наприклад tf.summary.merge_all.

Виконувати підсумкові операції.
Після створення однієї або кількох підсумкових операцій ви можете отримати підсумкові дані, виконавши операції в сеансі. В результаті сеанс поверне буфер протоколу, що містить підсумкові дані програми.

Створіть FileWriter.
Перш ніж ви зможете надрукувати підсумкові дані у файл, вам потрібно створити FileWriter, викликавши tf.summary.FileWriter. Цей конструктор приймає багато аргументів, але єдиним обов’язковим аргументом є ім’я каталогу, що містить підсумкові дані.

Роздрукуйте підсумкові дані.
Клас FileWriter не має простого методу друку. Натомість вам потрібно викликати метод add_summary FileWriter для друку підсумкових даних у файл. Цей метод записує файл події в каталог, зазначений у конструкторі FileWriter. Після того, як ви надрукуєте дані, доцільно викликати метод close FileWriter, щоб знищити екземпляр.

Запустіть TensorBoard.
Після встановлення TensorFlow утиліта tensorboard з’явиться в каталозі сценаріїв верхнього рівня. Ви можете запустити утиліту, виконавши команду tensorboard і встановивши параметр logdir на ім’я каталогу, що містить підсумкові дані. Наприклад, якщо підсумкові дані знаходяться у вихідному каталозі, ви можете запустити TensorBoard, виконавши tensorboard –logdir=output у командному рядку.

Перегляньте TensorBoard у браузері.
Після запуску утиліти TensorBoard ви можете переглянути її інтерфейс, відкривши браузер. URL-адреса за замовчуванням – http://localhost:6006, але ви можете налаштувати це, налаштувавши параметри хосту та порту в команді tensorboard.

Як запустити TensorFlow у хмарі

Найкраща причина використовувати TensorFlow для машинного навчання полягає в тому, що ви можете запускати свої програми в хмарі. Точніше, ви можете розгорнути програми TensorFlow на платформі машинного навчання (ML), яку Google робить доступною як частину Google Cloud Platform (GCP). Цей процес розгортання складається з семи кроків:

Створіть проект Google Cloud Platform.
Коли ви працюєте з GCP, проект служить центральним контейнером налаштувань конфігурації та вихідних файлів. Ви можете створити новий проект, відвідавши платформу Google Cloud , натиснувши «Вибрати проект» і натиснувши кнопку «плюс» у діалоговому вікні «Вибір». Ви можете вибрати назву проекту, але GCP встановлює ідентифікатор проекту, який є унікальним серед усіх проектів GCP.

Увімкнути доступ до ML Engine.
Кожен новий проект GCP може отримати доступ до ряду можливостей Google, зокрема до Datastore і Cloud Storage. Але за замовчуванням проекти GCP не можуть розгортати програми на ML Engine. Щоб увімкнути доступ, відкрийте меню у верхньому лівому куті сторінки проекту, виберіть API та послуги, а потім натисніть Бібліотека. Натисніть посилання під назвою Google Cloud Machine Learning Engine, а потім натисніть кнопку УВІМКНУТИ.

Встановіть Cloud Software Development Kit (SDK).
Ви можете отримати доступ до GCP з командного рядка, встановивши Google Cloud SDK . Щоб завантажити це, натисніть відповідне посилання для вашої операційної системи. Коли інсталяція буде завершена, ви зможете отримати доступ до SDK, запустивши команди gcloud у командному рядку.

Завантажте дані навчання/прогнозування в Cloud Storage.
ML Engine може отримати доступ до ваших даних про навчання/прогнозування, лише якщо ви завантажите їх у Cloud Storage Google. Ви можете взаємодіяти з Cloud Storage з командного рядка за допомогою утиліти gsutil, наданої Cloud SDK. Дані Cloud Storage містяться в структурах, подібних до каталогів, які називаються сегментами, і коли ви завантажуєте файл у відро, структура даних називається об’єктом.

Додайте модуль setup.py до пакета програми.
Щоб зробити програму Python доступною для ML Engine, вам потрібно структурувати її як пакет. Кожен пакет повинен мати модуль setup.py у каталозі верхнього рівня. Цей модуль повинен надати код для setuptools.setup, який надає інформацію про конфігурацію для ML Engine.

Запустіть навчальну роботу для ML Engine.
Щоб навчити свою модель у хмарі, вам потрібно запустити навчальне завдання, запустивши gcloud ml-engine. Подати навчання з відповідними параметрами. Опції включають --package-path, який визначає розташування пакунка, --module-name, що надає ім’я модуля Python, і –job-dir, який повідомляє ML Engine, де зберігати вихідні дані. Після завершення навчання двигун ML створить SavedModel, що містить результати навчання.

Запустіть завдання прогнозування для ML Engine.
Після того як ви отримаєте SavedModel, ви можете використовувати ML Engine для виконання передбачення, запустивши gcloud ml-engine завдання надіслати передбачення з відповідними параметрами. Параметри включають --input-paths, який визначає розташування вхідних файлів проекту, --data-format, який повідомляє механізму ML, як форматуються вхідні дані, та --output-path, який визначає, де має бути вихід прогнозу. зберігатися.