Ako možno použiť knižnice, ako napríklad scikit-learn, na implementáciu klasifikácie SVM v Pythone a aké kľúčové funkcie sú zahrnuté?

/ / vyšlo v Umelá inteligencia, Strojové učenie EITC/AI/MLP s Pythonom, Podpora vektorového stroja, Podporujte optimalizáciu vektorových strojov, Preskúmanie skúšky

Support Vector Machines (SVM) sú výkonnou a všestrannou triedou kontrolovaných algoritmov strojového učenia, ktoré sú obzvlášť účinné pri klasifikačných úlohách. Knižnice, ako napríklad scikit-learn v Pythone, poskytujú robustné implementácie SVM, vďaka čomu je prístupný pre odborníkov aj výskumníkov. Táto odpoveď objasní, ako sa dá scikit-learn použiť na implementáciu klasifikácie SVM, podrobne uvedie kľúčové funkcie a poskytne názorné príklady.

Úvod do SVM

Podporné vektorové stroje fungujú tak, že nájdu nadrovinu, ktorá najlepšie rozdeľuje údaje do rôznych tried. V dvojrozmernom priestore je táto nadrovina jednoducho priamkou, no vo vyšších dimenziách sa stáva rovinou alebo nadrovinou. Optimálna nadrovina je tá, ktorá maximalizuje rozpätie medzi dvoma triedami, pričom rozpätie je definované ako vzdialenosť medzi nadrovinou a najbližšími dátovými bodmi z ktorejkoľvek triedy, známe ako podporné vektory.

Scikit-learn a SVM

Scikit-learn je výkonná knižnica Python pre strojové učenie, ktorá poskytuje jednoduché a efektívne nástroje na dolovanie a analýzu údajov. Je postavený na NumPy, SciPy a matplotlib. Modul `svm` v rámci scikit-learn poskytuje implementáciu algoritmov SVM.

Kľúčové funkcie

1. `svm.SVC`: Toto je hlavná trieda na vykonávanie klasifikácie pomocou SVM. SVC je skratka pre Support Vector Classification.
2. „fit“.: Táto metóda sa používa na trénovanie modelu na daných údajoch.
3. "predpovedať".: Po natrénovaní modelu sa táto metóda používa na predpovedanie označení tried pre dané testovacie údaje.
4. „skóre“.: Táto metóda sa používa na vyhodnotenie presnosti modelu na testovacích údajoch.
5. „GridSearchCV“.: Používa sa na ladenie hyperparametrov na nájdenie najlepších parametrov pre model SVM.

Implementácia klasifikácie SVM pomocou scikit-learn

Uvažujme o krokoch pri implementácii klasifikácie SVM pomocou scikit-learn.

Krok 1: Importovanie knižníc

Najprv importujte potrebné knižnice:

python
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.svm import SVC
from sklearn.metrics import classification_report, confusion_matrix
Krok 2: Načítanie množiny údajov

Na demonštračné účely použijeme súbor údajov Iris, dobre známy súbor údajov v komunite strojového učenia:

python
# Load the Iris dataset
iris = datasets.load_iris()
X = iris.data
y = iris.target
Krok 3: Rozdelenie množiny údajov

Rozdeľte súbor údajov na tréningové a testovacie súbory:

python
# Split the data into training and testing sets
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
Krok 4: Zmena mierky funkcií

Škálovanie prvkov je dôležité pre SVM, pretože je citlivé na rozsah vstupných prvkov:

python
# Standardize features by removing the mean and scaling to unit variance
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)
Krok 5: Školenie modelu SVM

Vytvorte instanciu klasifikátora SVM a natrénujte ho na trénovacích údajoch:

python
# Create an instance of SVC and fit the data
svc = SVC(kernel='linear', C=1.0)
svc.fit(X_train, y_train)

Tu sme použili lineárne jadro a nastavili sme parameter regularizácie `C` na 1.0. Parameter jadra určuje typ nadroviny použitej na oddelenie údajov. Bežné jadrá zahŕňajú 'lineárne', 'poly' (polynóm), 'rbf' (radiálna bázová funkcia) a 'sigmoidná'.

Krok 6: Vytváranie predpovedí

Použite trénovaný model na predpovedanie testovacích údajov:

python
# Predict the class labels for the test set
y_pred = svc.predict(X_test)
Krok 7: Vyhodnotenie modelu

Vyhodnoťte výkonnosť modelu pomocou metrík, ako je matica nejasností a správa klasifikácie:

python
# Evaluate the model
print(confusion_matrix(y_test, y_pred))
print(classification_report(y_test, y_pred))

Matica zmätku poskytuje súhrn výsledkov predikcie, zatiaľ čo správa o klasifikácii obsahuje presnosť, vybavovanie, skóre F1 a podporu pre každú triedu.

Ladenie hyperparametrov pomocou GridSearchCV

Ladenie hyperparametrov je nevyhnutné na optimalizáciu výkonu modelu SVM. `GridSearchCV` spoločnosti Scikit-learn sa dá použiť na vykonanie vyčerpávajúceho vyhľadávania cez špecifikovanú mriežku parametrov:

python
from sklearn.model_selection import GridSearchCV

# Define the parameter grid
param_grid = {
    'C': [0.1, 1, 10, 100],
    'gamma': [1, 0.1, 0.01, 0.001],
    'kernel': ['rbf']
}

# Create a GridSearchCV instance
grid = GridSearchCV(SVC(), param_grid, refit=True, verbose=2)
grid.fit(X_train, y_train)

# Print the best parameters and the corresponding score
print("Best parameters found: ", grid.best_params_)
print("Best score: ", grid.best_score_)

# Use the best estimator to make predictions
grid_predictions = grid.predict(X_test)

# Evaluate the model with the best parameters
print(confusion_matrix(y_test, grid_predictions))
print(classification_report(y_test, grid_predictions))

V tomto príklade sme pomocou jadra RBF hľadali v mriežke hodnôt „C“ a „gamma“. Inštancia `GridSearchCV` upraví model s najlepšími parametrami nájdenými počas vyhľadávania.

Vizualizácia rozhodovacej hranice

Pre lepšie pochopenie toho, ako funguje klasifikátor SVM, je často užitočné vizualizovať si hranicu rozhodovania. V dvojrozmernom priestore funkcií je to jednoduchšie. Nižšie je uvedený príklad použitia syntetického súboru údajov:

python
from sklearn.datasets import make_blobs

# Generate a synthetic dataset
X, y = make_blobs(n_samples=100, centers=2, random_state=6)

# Fit the SVM model
svc = SVC(kernel='linear', C=1.0)
svc.fit(X, y)

# Create a mesh to plot the decision boundary
h = .02
x_min, x_max = X[:, 0].min() - 1, X[:, 0].max() + 1
y_min, y_max = X[:, 1].min() - 1, X[:, 1].max() + 1
xx, yy = np.meshgrid(np.arange(x_min, x_max, h), np.arange(y_min, y_max, h))

# Predict the class for each point in the mesh
Z = svc.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)

# Plot the decision boundary
plt.contourf(xx, yy, Z, alpha=0.8)
plt.scatter(X[:, 0], X[:, 1], c=y, edgecolors='k', marker='o')
plt.xlabel('Feature 1')
plt.ylabel('Feature 2')
plt.title('SVM Decision Boundary')
plt.show()

Vyššie uvedený kód generuje syntetický súbor údajov s dvoma triedami, prispôsobuje model SVM lineárnemu jadru a vizualizuje hranicu rozhodovania. Funkcia `contourf` sa používa na vykreslenie hranice rozhodovania a bodový graf zobrazuje dátové body. Scikit-learn poskytuje komplexné a užívateľsky prívetivé rozhranie na implementáciu klasifikácie SVM v Pythone. Kľúčové funkcie ako `svm.SVC`, `fit`, `predict` a `score` sú nevyhnutné na vytváranie a vyhodnocovanie modelov SVM. Ladenie hyperparametrov pomocou `GridSearchCV` ďalej zvyšuje výkon modelu nájdením optimálnych parametrov. Vizualizácia rozhodovacej hranice môže poskytnúť cenné poznatky o správaní klasifikátora. Nasledovaním týchto krokov je možné efektívne implementovať a optimalizovať klasifikáciu SVM pomocou scikit-learn.

Ďalšie nedávne otázky a odpovede týkajúce sa Strojové učenie EITC/AI/MLP s Pythonom:

Pozrite si ďalšie otázky a odpovede v časti EITC/AI/MLP Machine Learning with Python

Ďalšie otázky a odpovede:

Označené pod: , , , , ,