Cloud Machine Learning Engine (CMLE) — это мощный инструмент, предоставляемый Google Cloud Platform (GCP) для обучения моделей машинного обучения распределенным и параллельным образом. Однако он не предлагает автоматического получения и настройки ресурсов, а также не обрабатывает отключение ресурсов после завершения обучения модели. В этом ответе мы рассмотрим детали CMLE, его возможности и необходимость ручного управления ресурсами.
CMLE предназначен для упрощения процесса обучения и развертывания моделей машинного обучения в большом масштабе. Он обеспечивает управляемую среду, которая позволяет пользователям сосредоточиться на разработке моделей, а не на управлении инфраструктурой. CMLE использует возможности инфраструктуры GCP для распределения рабочей нагрузки обучения между несколькими компьютерами, что позволяет сократить время обучения и обрабатывать большие наборы данных.
При использовании CMLE пользователи имеют возможность выбирать тип и количество ресурсов, необходимых для их работы по обучению. Они могут выбрать тип машины, количество рабочих и другие параметры в соответствии со своими конкретными требованиями. Однако CMLE не получает и не настраивает эти ресурсы автоматически. Пользователь несет ответственность за предоставление необходимых ресурсов перед началом обучения.
Для приобретения ресурсов пользователи могут использовать сервисы GCP, такие как Compute Engine или Kubernetes Engine. Эти услуги обеспечивают масштабируемую и гибкую инфраструктуру для выполнения учебной нагрузки. Пользователи могут создавать экземпляры или контейнеры виртуальных машин, настраивать для них необходимые программные зависимости, а затем использовать их в качестве рабочих процессов в CMLE.
После завершения задания обучения CMLE не отключает автоматически ресурсы, используемые для обучения. Это связано с тем, что обученную модель может потребоваться развернуть и использовать для целей вывода. Пользователь сам решает, когда и как прекратить использование ресурсов, чтобы избежать ненужных затрат.
Подводя итог, CMLE предлагает мощную платформу для обучения моделей параллельного машинного обучения. Однако он требует ручного получения и настройки ресурсов и не обеспечивает отключение ресурсов после завершения обучения. Пользователям необходимо предоставить необходимые ресурсы с помощью сервисов GCP, таких как Compute Engine или Kubernetes Engine, и управлять их жизненным циклом в соответствии со своими конкретными требованиями.
Другие недавние вопросы и ответы, касающиеся Развитие машинного обучения:
- Если ядро разветвляется с данными, а оригинал является закрытым, может ли разветвленная версия быть общедоступной, и если да, не является ли это нарушением конфиденциальности?
- Каковы ограничения при работе с большими наборами данных в машинном обучении?
- Может ли машинное обучение оказать некоторую диалогическую помощь?
- Что такое игровая площадка TensorFlow?
- Препятствует ли режим нетерпеливости функциям распределенных вычислений TensorFlow?
- Можно ли использовать облачные решения Google для отделения вычислений от хранилища для более эффективного обучения модели машинного обучения на больших данных?
- Можно ли без проблем обучать модели машинного обучения на произвольно больших наборах данных?
- При использовании CMLE требует ли создание версии указания источника экспортируемой модели?
- Может ли CMLE считывать данные из хранилища Google Cloud и использовать указанную обученную модель для вывода?
- Можно ли использовать Tensorflow для обучения и вывода глубоких нейронных сетей (DNN)?
Посмотреть больше вопросов и ответов в Продвижение в машинном обучении