分类(四):逻辑回归(Logistic Regression)

理论知识的理解参考:http://blog.csdn.net/zouxy09/article/details/20319673


对于数学公式不知道怎么推导出来的,可以参考:http://pan.baidu.com/s/1hqLeaMS ,密码:z4lr

其中有篇文档介绍如何用初等数学解读逻辑回归的,讲的比较容易懂


核心思想:

  • 几何变换的视角:高维空间映射到一维空间 → 一维空间映射到[0,1]区间       → [0,1]区间映射到具体的值,求最优化解

  • 特征处理的视角:特征运算函数求特征单值z → sigmoid函数求概率 → 代价函数求代价评估值,求最优化解

首先要说明的是,在逻辑回归的问题中,这两个视角是并行的,而不是包含关系。它们是同一个数学过程的两个方面。 

  • 比如,我们后来处理复杂的非线性可分问题的时候,看似只用的是特征处理的思路。其实,对于复杂的非线性分离边界,也可以映射到高维空间进行线性可分的处理。在SVM中,有时候某些核函数所做的映射与之非常类似。这将在我们接下来的SVM系列文章中有更加详细的说明。

在具体的分析过程中,运用哪种视角都可以,各有优点。 

  • 比如,作者个人比较倾向几何变换的视角来理解,这方便记忆整个逻辑回归的核心过程,画几张图就够了。相应的信息都浓缩在图像里面,异常清晰。

  • 于此同时,特征处理的视角方便你思考你手上掌握的特征是什么,怎么处理这些特征。这其实的数据挖掘的核心视角。因为随着理论知识和工作经验的积累,越到后面越会发现,当我们已经拿到无偏差、倾向性的数据集,并且做过数据清洗之后,特征处理的过程是整个数据挖掘的核心过程:怎么收集这些特征,怎么识别这些特征,挑选哪些特征,舍去哪些特征,如何评估不同的特征……这些过程都是对你算法结果有决定性影响的极其精妙的精妙部分。这是一个庞大的特征工程,里面的内容非常庞大,我们将在后续的系列文章中专门讨论。

总的来说,几何变换视角更加直观具体,特征处理视角更加抽象宏观,在实际分析过程中,掌握着两种视角的内在关系和转换规律,综合分析,将使得你对整个数据挖掘过程有更加丰富和深刻的认识。


为了将这两种视角更集中地加以对比,请看下面的图表,方便读者查阅。





赞 (0) 评论 分享 ()