Как настроить конкретную среду Python с помощью Jupyter Notebook?

/ / Опубликовано в Искусственный интеллект, EITC/AI/GCML Машинное обучение Google Cloud, Дальнейшие шаги в машинном обучении, Работа с Jupyter

Настройка определенной среды Python для использования с Jupyter Notebook является фундаментальной практикой в ​​рабочих процессах науки о данных, машинного обучения и искусственного интеллекта, особенно при использовании ресурсов Google Cloud Machine Learning (AI Platform). Этот процесс обеспечивает воспроизводимость, управление зависимостями и изоляцию сред проекта. В следующем комплексном руководстве рассматриваются этапы настройки, обоснование и передовые методы создания и интеграции среды Python с Jupyter Notebook с упором на практическое применение в контексте машинного обучения в облачной инфраструктуре.

1. Понимание сред Python

Среда Python — это изолированное рабочее пространство, которое позволяет пользователям устанавливать и управлять пакетами независимо от общесистемной установки Python. Эта изоляция жизненно важна для управления зависимостями для различных проектов, избегания конфликтов версий и обеспечения согласованности сред разработки и производства.

К распространенным инструментам для создания изолированных сред Python относятся:
– virtualenv: Создает облегченные среды Python.
– venv: Стандартный библиотечный модуль для создания виртуальных сред (Python 3.3+).
– Conda: Менеджер пакетов, зависимостей и сред, поддерживающий несколько языков.

Для проектов машинного обучения в Google Cloud широко используются `virtualenv` и `conda`, причем `conda` часто предпочитают из-за его простоты управления как зависимостями Python, так и не-Python.

2. Создание среды Python

Использование виртуального окружения

1. Установить virtualenv (если отсутствует):

bash
   pip install virtualenv

2. Создайте новую среду:

bash
   virtualenv my_ml_env

3. Активируйте среду:
– В Linux/macOS:

bash
     source my_ml_env/bin/activate

– В Windows:

bash
     my_ml_env\Scripts\activate

4. Подтвердите активацию:
Приглашение оболочки изменится, указав активную среду (например, `(my_ml_env)`).

Использование конда

1. Создайте новую среду с определенной версией Python:

bash
   conda create -n my_ml_env python=3.10

2. Активируйте среду:

bash
   conda activate my_ml_env

3. Список сред (необязательно):

{{EJS35}}
3. Установка необходимых пакетов


После активации желаемой среды установите необходимые пакеты, такие как `jupyter`, библиотеки машинного обучения (`scikit-learn`, `tensorflow`, `pandas` и т. д.) и любые другие зависимости.

Пример с pip:

bash
pip install jupyter numpy pandas scikit-learn matplotlib

Пример с conda:
bash
conda install jupyter numpy pandas scikit-learn matplotlib

Для поддержки GPU (например, TensorFlow-GPU) укажите соответствующие версии:
{{EJS38}}
4. Интеграция среды с Jupyter Notebook


Чтобы использовать вновь созданную среду в качестве ядра Jupyter, в среде должен быть установлен пакет `ipykernel`. Это позволяет Jupyter Notebook распознавать и запускать ядра с точными зависимостями и указанной версией Python. 1. Установите ipykernel в активную среду:
   
bash
   pip install ipykernel
   
 or
bash
   conda install ipykernel
   
2. Создайте новое ядро ​​Jupyter для среды:
bash
   python -m ipykernel install --user --name my_ml_env --display-name "Python (my_ml_env)"
   
 - `--user`: Устанавливает ядро ​​для текущего пользователя.
 - `--name`: Внутренний идентификатор ядра.
 - `--display-name`: имя, отображаемое в меню выбора ядра Jupyter Notebook.
3. Проверьте установку ядра:
 Запустите Jupyter Notebook:
bash
   jupyter notebook
   
 В разделе «Ядро» > «Изменить ядро» в качестве опции должен появиться пункт «Python (my_ml_env)».
5. Пример рабочего процесса
Шаг 1: Создание и активация среды
{{EJS43}}
Шаг 2. Установите пакеты


{{EJS44}}
Шаг 3: Добавьте среду как ядро ​​Jupyter


{{EJS45}}
Шаг 4: Запустите Jupyter Notebook и выберите ядро.


bash
jupyter notebook

- В интерфейсе блокнота выберите «Ядро» > «Изменить ядро» > «Python (GCP ML Env)».
Шаг 5: Запуск кода в изолированной среде
python
import sys
import tensorflow as tf
print(sys.executable)
print(tf.__version__)

- Это подтверждает, что ваш ноутбук работает в предполагаемой среде и с соответствующими версиями пакетов.
6. Управление несколькими средами
При работе над несколькими проектами машинного обучения с различными зависимостями или версиями Python повторите описанный выше процесс для каждого проекта. Каждая среда должна быть независимо создана, активирована и зарегистрирована как ядро ​​Jupyter.
Чтобы удалить ядро ​​Jupyter:
bash
jupyter kernelspec uninstall <kernel_name>

Чтобы удалить среду conda:
{{EJS49}}
7. Использование сред с Google Cloud Machine Learning


AI Platform Notebooks от Google Cloud позволяет пользователям запускать серверы JupyterLab или Jupyter Notebook на настраиваемых экземплярах виртуальных машин. Эти экземпляры можно дополнительно настроить через SSH или терминальный доступ для создания и управления пользовательскими средами Python, как описано выше.

Лучшая практика:
- Используйте скрипты запуска или контейнеры Docker для автоматизации настройки среды на экземплярах Google Cloud для обеспечения постоянной воспроизводимости. - Для расширенной изоляции рассмотрите возможность использования контейнеров Docker с Jupyter Notebook и требуемой предварительно установленной средой.

8. Экспорт и совместное использование сред


Для совместного использования сред или обеспечения воспроизводимости:

С pip (virtualenv или venv)


Экспорт:

bash
pip freeze > requirements.txt

Импортировать:
{{EJS51}}
С кондой


Экспорт:

bash
conda env export > environment.yml

Импортировать:
bash
conda env create -f environment.yml

Совместное использование файла `requirements.txt` или `environment.yml` вместе с блокнотами Jupyter позволяет участникам проекта воссоздать точную среду.
9. Устранение распространенных проблем
- Ядро не отображается: Убедитесь, что `ipykernel` установлен в активной среде и что `python -m ipykernel install` выполнен.
 - Конфликты зависимостей: Используйте виртуальные среды или среды Conda, чтобы избежать несоответствия версий.
 - Поддержка графического процессора: Установите правильные версии библиотек (например, TensorFlow-GPU) и проверьте установку CUDA/cuDNN.
 - Разрешения для облака: При работе в Google Cloud убедитесь, что у вас достаточно прав для установки пакетов и создания сред.
10. Лучшие практики и рекомендации
- Изолировать среды для каждого проекта для предотвращения конфликтов зависимостей и улучшения воспроизводимости.
 - Версии пакета Pin в файлах вашей среды для точной репликации.
 - Регулярно обновляйте среды и протестируйте свой код, чтобы убедиться в совместимости.
 - Настройка среды документа этапы проектной документации.
11. Пример: Полная конфигурация на Google Cloud AI Platform Notebook
Предположим, что пользователь работает над проектом машинного обучения, для которого требуются TensorFlow 2.9, scikit-learn 1.1 и pandas 1.4, а проект размещен на Google Cloud AI Platform Notebook. Шаги могут быть следующими:
1. Откройте терминал в интерфейсе JupyterLab.
 2. Создайте новую среду conda:
bash
   conda create -n mygcpml python=3.8
   conda activate mygcpml
   
3. Установите необходимые пакеты:
bash
   conda install tensorflow=2.9 scikit-learn=1.1 pandas=1.4 ipykernel
   
4. Добавьте среду как ядро ​​Jupyter:
bash
   python -m ipykernel install --user --name mygcpml --display-name "Python (My GCP ML)"
   
5. Перезапустите JupyterLab/Notebook и выберите новое ядро.
 6. Проверьте среду:
python
   import tensorflow as tf
   import sklearn
   import pandas as pd
   print(tf.__version__, sklearn.__version__, pd.__version__)
   
Такой подход гарантирует, что эксперименты, модели и анализ данных будут проводиться в контролируемой, воспроизводимой и изолированной среде, что сводит к минимуму вероятность возникновения проблем типа «работает на моем компьютере» и упрощает совместную работу в облаке.
Другие недавние вопросы и ответы, касающиеся EITC/AI/GCML Машинное обучение Google Cloud:
Просмотреть дополнительные вопросы и ответы в EITC/AI/GCML Google Cloud Machine Learning
Еще вопросы и ответы:
Теги: , , , , ,