Выделение веса 80% обучению и весу 20% оценке в контексте машинного обучения является стратегическим решением, основанным на нескольких факторах. Это распределение направлено на достижение баланса между оптимизацией процесса обучения и обеспечением точной оценки производительности модели. В этом ответе мы углубимся в причины этого выбора и исследуем дидактическую ценность, которую он предлагает.
Чтобы понять причину разделения 80% обучения и 20% оценки, крайне важно понять семь шагов машинного обучения. Эти шаги, которые включают сбор данных, подготовку данных, обучение модели, оценку модели, настройку модели, развертывание модели и мониторинг модели, образуют комплексную основу для построения моделей машинного обучения.
Начальный шаг, сбор данных, включает в себя сбор соответствующих данных для обучения модели. Эти данные затем предварительно обрабатываются и подготавливаются на этапе подготовки данных. Как только данные готовы, начинается этап обучения модели, когда модель подвергается воздействию набора обучающих данных для изучения закономерностей и взаимосвязей. Затем производительность модели оценивается с использованием отдельного набора данных на этапе оценки модели.
Решение выделить 80 % веса для обучения и 20 % веса для оценки связано с тем фактом, что обучение является основной фазой, на которой модель учится на данных. Во время обучения модель корректирует свои внутренние параметры, чтобы свести к минимуму разницу между прогнозируемыми выходными данными и фактическими выходными данными в наборе обучающих данных. Этот процесс включает в себя итеративное обновление параметров модели с использованием алгоритмов оптимизации, таких как градиентный спуск.
Назначая более высокий вес обучению, мы отдаем приоритет способности модели учиться на данных и фиксировать сложные закономерности. На этапе обучения модель получает свои знания и обобщает набор обучающих данных, чтобы делать прогнозы на невидимых данных. Чем больше обучающих данных предоставляется модели, тем лучше она может учиться и обобщать. Таким образом, выделение значительной части процесса оценки обучению гарантирует, что модель имеет достаточное количество обучающих данных для эффективного обучения.
С другой стороны, этап оценки играет решающую роль в оценке производительности модели на невидимых данных. Набор данных для оценки, который отделен от набора данных для обучения, служит прокси для реальных сценариев. Это позволяет нам оценить, насколько хорошо модель может обобщить свое обучение на новые и невидимые случаи. Оценка производительности модели необходима для измерения ее точности, воспроизводимости или любых других соответствующих показателей, в зависимости от конкретной проблемной области.
20-процентный вес, придаваемый оценке, гарантирует, что модель тщательно протестирована на невидимых данных, и обеспечивает реалистичную оценку ее возможностей. Этот этап оценки помогает выявить любые потенциальные проблемы, такие как переоснащение, недостаточное соответствие или систематическая ошибка в прогнозах модели. Он также позволяет выполнять точную настройку гиперпараметров и архитектуры модели для повышения производительности.
Чтобы проиллюстрировать эту концепцию, давайте рассмотрим практический пример. Предположим, мы обучаем модель машинного обучения классифицировать изображения кошек и собак. На этапе обучения модель учится различать черты кошек и собак, анализируя большой набор данных с помеченными изображениями. Чем больше изображений может тренировать модель, тем лучше она различает два класса.
После завершения обучения модель оценивается с использованием отдельного набора данных, который содержит изображения, которые она никогда раньше не видела. На этом этапе оценки проверяется способность модели обобщать свое обучение и точно классифицировать новые невидимые изображения. Выделяя 20% веса оценке, мы гарантируем, что производительность модели тщательно оценивается на невидимых данных, обеспечивая надежную меру ее эффективности.
Распределение веса 80 % на обучение и 20 % на оценку в машинном обучении — это стратегический выбор, направленный на оптимизацию процесса обучения при обеспечении точной оценки производительности модели. Выделяя значительную часть процесса оценки обучению, мы отдаем приоритет способности модели учиться на данных и фиксировать сложные закономерности. Одновременно на этапе оценки модель тщательно проверяется на невидимых данных, обеспечивая реалистичную оценку ее возможностей.
Другие недавние вопросы и ответы, касающиеся EITC/AI/GCML Машинное обучение Google Cloud:
- Что такое преобразование текста в речь (TTS) и как оно работает с искусственным интеллектом?
- Каковы ограничения при работе с большими наборами данных в машинном обучении?
- Может ли машинное обучение оказать некоторую диалогическую помощь?
- Что такое игровая площадка TensorFlow?
- Что на самом деле означает больший набор данных?
- Каковы примеры гиперпараметров алгоритма?
- Что такое ансамблевое обучение?
- Что делать, если выбранный алгоритм машинного обучения не подходит и как можно убедиться, что выбран правильный?
- Нуждается ли модель машинного обучения в контроле во время обучения?
- Какие ключевые параметры используются в алгоритмах на основе нейронных сетей?
Просмотреть дополнительные вопросы и ответы в EITC/AI/GCML Google Cloud Machine Learning