量化投资学习笔记22——回归分析:支持向量机

发表于 | 分类于
| 字数统计: 1.2k | 阅读时长 ≈ 4

支持向量机(Support Vector Machine, SVM)是一种基于统计学习的模式识别的分类方法，主要用于模式识别。所谓支持向量指的是在分割区域边缘的训练样本点，机是指算法。就是要找到具有最大间隔的分隔面。实际上解决的是一个最优分类器设计的问题。
问题
目的:找到一个最优分类器，即找到一个分类器，使得分类间隔最大。
优化的目标函数:分类间隔，需要使得分类间隔最大。
优化对象:分类超平面(决策平面)，通过调整分类超平面的位置，使得间隔最大，实现优化目标。

超平面(Hyperplane)，指n维欧氏空间中余维度等于1的线性子空间。二维空间中为一条直线，三维空间中为一个二维平面。
间隔:支持向量对应点到分类超平面的垂直距离的两倍。即W =2d。
现在要做的是，在所有的样本点中，找到合适的支持向量，在保证分类正确的前提下，让间隔W = 2d最大。
再往后就是具体的求解推导的过程了，听听就行了。
对于线性不可分的情况，考虑将样本映射到更高维的空间中去，希望在这个高维空间中其线性可分。
例:一条直线上的两个不同分类的点也许不可分，将其映射到二维平面里也许就可以区分了。

如果原始空间是有限维，即属性数有限，一定存在一个高维特征空间使样本线性可分。
这就引出了核函数的概念。K(x, x’) = φ(x)·φ(x’)
当后者不容易求时，可找到一个函数K，即为核函数。
推导看不懂。
选择核函数无明确的指导原则，常用RBF，其次是线性核。
异常点造成的非线性，SVM允许在一定程度上偏离一下超平面。
SVM多分类
直接法:将多分类面的参数求解合并到一个最优化问题中。
间接法:组合多个二分类SVM分类器
有一对一法和一对多法。
下面来实践，还是使用iris数据。参考https://blog.csdn.net/u012679707/article/details/80501358

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
import matplotlib.pyplot as plt
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn import svm


# 转换类别
def Iris_label(s):
    it = {b'Iris-setosa':0, b'Iris-versicolor':1, b'Iris-virginica':2}
    return it[s]


if __name__ == "__main__":
    # 读取数据
    data = np.loadtxt("iris.data", dtype = float, delimiter = ',', converters = {4 : Iris_label})
   
    print(data)
   
    # 划分数据与标签
    x, y = np.split(data, indices_or_sections = (4,), axis = 1)
    x = x[:, 0:2] # 为了画图，只选前两列
    train_data, test_data, train_label, test_label = train_test_split(x, y, random_state = 1, train_size = 0.6, test_size = 0.4)
    print("训练集大小:", train_data.shape)
    print(train_data)
    print(test_data)
   
    # 训练svm分类器
    classifier = svm.SVC(C = 2, kernel = "rbf", gamma = 10, decision_function_shape = "ovr") #ovr 一对多策略
    classifier.fit(train_data, train_label.ravel())
   
    # 计算分类准确率
    print("训练集:", classifier.score(train_data, train_label))
    print("测试集:", classifier.score(test_data, test_label))
   
    # 查看决策函数
    print("训练决策函数:", classifier.decision_function(train_data))
    print("预测结果:", classifier.predict(train_data))

结果:
训练集: 0.8555555555555555
测试集: 0.7
训练集比测试集结果好。
再画图看看。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# 绘图
    fig = plt.figure()
    x1_min, x1_max = x[:, 0].min(), x[:, 0].max()
    x2_min, x2_max = x[:, 1].min(), x[:, 1].max()
    x1, x2 = np.mgrid[x1_min:x1_max:200j, x2_min:x2_max:200j]
    grid_test = np.stack((x1.flat, x2.flat), axis = 1)
   
    # 设置颜色
    cm_light = ListedColormap(['#A0FFA0', '#FFA0A0', '#A0A0FF'])
    cm_dark = ListedColormap(['g','r','b'])
    grid_hat = classifier.predict(grid_test)
    grid_hat = grid_hat.reshape(x1.shape)
    # 绘图
    plt.pcolormesh(x1, x2, grid_hat, cmap = cm_light)
    plt.scatter(x[:, 0], x[:, 1], c = y[:, 0], s = 30, cmap = cm_dark)
    plt.scatter(test_data[:, 0], test_data[:, 1], c = test_label[:, 0], s = 30, edgecolors = "k", zorder = 2, cmap = cm_dark)
    plt.xlabel("length")
    plt.ylabel("width")
    plt.xlim(x1_min, x1_max)
    plt.ylim(x2_min, x2_max)
    plt.savefig("result.png")


试一下把四列数据都进行建模的结果:
四列数据都进行建模的结果
训练集: 1.0
测试集: 0.95
结果很好。
接下来用这个方法解决一下泰坦尼克号问题吧。下次。
本文代码:
https://github.com/zwdnet/MyQuant/tree/master/21

我发文章的四个地方，欢迎大家在朋友圈等地方分享，欢迎点“在看”。
我的个人博客地址：https://zwdnet.github.io
我的知乎文章地址： https://www.zhihu.com/people/zhao-you-min/posts
我的博客园博客地址： https://www.cnblogs.com/zwdnet/
我的微信个人订阅号：赵瑜敏的口腔医学学习园地

欢迎打赏！感谢支持！