Как классификация набора признаков в SVM зависит от знака решающей функции (text{sign}(mathbf{x}_i cdot mathbf{w} + b))?

/ / Опубликовано в Искусственный интеллект, Машинное обучение EITC/AI/MLP с Python, Машина опорных векторов, Поддержка векторной оптимизации машины, Обзор экзамена

Машины опорных векторов (SVM) — это мощный алгоритм контролируемого обучения, используемый для задач классификации и регрессии. Основная цель SVM — найти оптимальную гиперплоскость, которая лучше всего разделяет точки данных разных классов в многомерном пространстве. Классификация набора признаков в SVM глубоко связана с функцией решения, особенно с ее знаком, который играет важную роль в определении того, на какую сторону гиперплоскости попадает данная точка данных.

Функция принятия решения в SVM

Функция решения для SVM может быть выражена как:

    \[ f(\mathbf{x}) = \mathbf{w} \cdot \mathbf{x} + b \]

где:
– \mathbf{w} — весовой вектор, определяющий ориентацию гиперплоскости.
– \mathbf{x} — вектор признаков классифицируемой точки данных.
– b это член смещения, который сдвигает гиперплоскость.

Классификация точки данных \mathbf{x}_iиспользуется знак решающей функции:

    \[ \text{sign}(f(\mathbf{x}_i)) = \text{sign}(\mathbf{w} \cdot \mathbf{x}_i + b) \]

Этот знак определяет сторону гиперплоскости, на которой лежит точка данных.

Роль знака в классификации

Знак решающей функции (\text{sign}(\mathbf{w} \cdot \mathbf{x}_i + b)) напрямую определяет метку класса, присвоенную точке данных \mathbf{x}_i, Вот как это работает:

1. Положительный знак: Если \mathbf{w} \cdot \mathbf{x}_i + b > 0, знак решающей функции положительный. Это означает, что точка данных \mathbf{x}_i лежит на той стороне гиперплоскости, где расположен положительный класс. Поэтому, \mathbf{x}_i классифицируется как принадлежащий к положительному классу (обычно обозначается как +1).

2. Отрицательный знак: Если \mathbf{w} \cdot \mathbf{x}_i + b < 0, знак решающей функции отрицательный. Это указывает на то, что точка данных \mathbf{x}_i лежит на той стороне гиперплоскости, где расположен отрицательный класс. Следовательно, \mathbf{x}_i классифицируется как принадлежащий к отрицательному классу (обычно обозначается как -1).

3.                           0: В том редком случае, когда \mathbf{w} \cdot \mathbf{x}_i + b = 0, точка данных \mathbf{x}_i лежит точно на гиперплоскости. Этот сценарий теоретически возможен, но практически редок из-за непрерывного характера реальных данных.

Геометрическая интерпретация

Геометрическая интерпретация функции принятия решения важна для понимания того, как SVM классифицирует точки данных. Гиперплоскость, определяемая \mathbf{w} \cdot \mathbf{x} + b = 0 действует как граница принятия решений между двумя классами. Ориентация и положение этой гиперплоскости определяются весовым вектором \mathbf{w} и термин смещения b.

1. Маржа: Маржа — это расстояние между гиперплоскостью и ближайшими точками данных каждого класса. SVM стремится максимизировать этот запас, чтобы гарантировать, что гиперплоскость не только разделяет классы, но и делает это на максимально возможном расстоянии от ближайших точек данных. Эти ближайшие точки данных известны как опорные векторы.

2. Векторы поддержки: Опорные векторы — это точки данных, расположенные ближе всего к гиперплоскости. Они имеют решающее значение для определения положения и ориентации гиперплоскости. Любое изменение положения этих опорных векторов приведет к изменению гиперплоскости.

Пример

Рассмотрим простой пример, когда у нас есть двумерное пространство признаков с точками данных из двух классов. Обозначим положительный класс +1, а отрицательный класс -1. Предположим, что весовой вектор \mathbf{w} = [2, 3] и термин смещения б = -6.

Для точки данных \mathbf{x}_i = [1, 2], мы можем вычислить функцию решения следующим образом:

    \[ f(\mathbf{x}_i) = \mathbf{w} \cdot \mathbf{x}_i + b = (2 \cdot 1) + (3 \cdot 2) - 6 = 2 + 6 - 6 = 2 \]

С е(\mathbf{x}_i) > 0, знак функции решения положительный, и, следовательно, точка данных \mathbf{x}_i относится к положительному классу (+1).

Для другой точки данных \mathbf{x}_j = [3, 1], мы вычисляем функцию решения как:

    \[ f(\mathbf{x}_j) = \mathbf{w} \cdot \mathbf{x}_j + b = (2 \cdot 3) + (3 \cdot 1) - 6 = 6 + 3 - 6 = 3 \]

Опять же, е(\mathbf{x}_j) > 0, поэтому знак положительный, и \mathbf{x}_j относится к положительному классу (+1).

Теперь рассмотрим точку данных \mathbf{x}_k = [0, 0]:

    \[ f(\mathbf{x}_k) = \mathbf{w} \cdot \mathbf{x}_k + b = (2 \cdot 0) + (3 \cdot 0) - 6 = -6 \]

В этом случае, е(\mathbf{x}_k) < 0, поэтому знак отрицательный, и \mathbf{x}_k классифицируется как принадлежащий к отрицательному классу (-1).

Математическая формулировка

Математическая формулировка SVM включает решение задачи оптимизации для поиска оптимального решения. \mathbf{w} и b которые максимизируют прибыль при правильной классификации обучающих данных. Задачу оптимизации можно выразить так:

    \[ \min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2 \]

    \[ \text{с учетом } y_i (\mathbf{w} \cdot \mathbf{x}_i + b) \geq 1, \quad \forall i \]

в котором й_и это метка класса точки данных \mathbf{x}_i, а ограничение гарантирует, что все точки данных правильно классифицированы с запасом не менее 1.

Уловка ядра

Во многих практических приложениях данные не могут быть линейно разделены в исходном пространстве признаков. Чтобы решить эту проблему, SVM можно расширить до нелинейной классификации, используя трюк с ядром. Функция ядра K(\mathbf{x}_i, \mathbf{x}_j) неявно отображает данные в многомерное пространство, где возможно линейное разделение. Обычно используемые функции ядра включают полиномиальное ядро, ядро ​​радиальной базисной функции (RBF) и сигмовидное ядро.

Функция принятия решения в ядерной SVM становится:

    \[ f(\mathbf{x}) = \sum_{i=1}^N \alpha_i y_i K(\mathbf{x}_i, \mathbf{x}) + b \]

в котором \alpha_i – множители Лагранжа, полученные из двойственной формы задачи оптимизации.

Реализация Python

В Python библиотека scikit-learn обеспечивает простую реализацию SVM через класс SVC. Ниже приведен пример использования SVC для классификации набора данных:

python
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.metrics import accuracy_score

# Load the dataset
iris = datasets.load_iris()
X = iris.data
y = iris.target

# Select only two classes for binary classification
X = X[y != 2]
y = y[y != 2]

# Split the dataset into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Create an SVM classifier with a linear kernel
clf = SVC(kernel='linear')

# Train the classifier
clf.fit(X_train, y_train)

# Predict the class labels for the test set
y_pred = clf.predict(X_test)

# Calculate the accuracy of the classifier
accuracy = accuracy_score(y_test, y_pred)
print(f'Accuracy: {accuracy * 100:.2f}%')

В этом примере класс SVC используется для создания классификатора SVM с линейным ядром. Классификатор обучается на обучающем наборе, а точность оценивается на тестовом наборе. Классификация набора признаков в SVM принципиально зависит от знака решающей функции. \text{sign}(\mathbf{x}_i \cdot \mathbf{w} + b). Знак определяет, на какой стороне гиперплоскости лежит точка данных, тем самым относя ее к соответствующему классу. Функция принятия решения, процесс оптимизации для поиска оптимальной гиперплоскости и потенциальное использование функций ядра для обработки нелинейной разделимости — все это важные компоненты SVM. Понимание этих аспектов дает комплексное представление о том, как работают SVM и их применение в различных задачах машинного обучения.

Другие недавние вопросы и ответы, касающиеся Машинное обучение EITC/AI/MLP с Python:

Просмотрите дополнительные вопросы и ответы в разделе Машинное обучение EITC/AI/MLP с помощью Python

Еще вопросы и ответы:

Теги: , , , , ,