有些人经常混淆数据分析和机器学习。机器学习这个话题已经很普遍了,大家都在说,但是很少有人能理解透彻。今天老李就和大家分享一下机器学习的概念。
数据分析和机器学习
如果你认为大数据只是SQL查询和海量数据,那么别人会理解你,但大数据真正的目的是通过推断数据,从数据中获取价值,找到有用的东西。例如,“如果我降低5%的价格,我将增加10%的销售量。”
数据分析是最重要的技术,包括以下几个方面:
描述性分析:确定发生了什么。这通常包括描述所发生事情的报告。例如,将这个月的销售额与去年同期进行比较。特征分析:解释现象产生的原因,这通常涉及使用具有OLAP技术的控制台来分析和研究数据,并根据数据挖掘技术找到数据之间的相关性。预测分析:评估可能发生的事情的概率。可能是利用预测分析,根据你的工作性质和个人兴趣,认为你是潜在的读者,从而能够链接到其他人。机器学习适用于预测分析。
一个例子说明了什么是机器学习。
机器学习是指利用计算机来模拟或实现人类的学习行为。机器是如何学习的?我们以相亲为例。有一个年轻女孩在约会。候选人是青年A、B、C和d。这四个青年的属性是:
A:“高、帅、富”B:“高、帅、穷”C:“高、丑、富”D:“矮、丑、富”经过一番筛选,女方将[A C D]分为适合婚恋的一组,[B]分为不适合婚恋的一组。这就是人类的学习过程。
因为相亲次数太多,年轻女孩无法相处,于是向机器求助。首先,她会训练机器,并告诉它以下信息:
a:属性“高、帅、富”——标签“适合结婚群体”B:属性“高、帅、穷”——标签“不适合结婚群体”C:属性“高、丑、富”——标签“适合结婚群体”D:属性“矮、丑、富”——标签“适合结婚群体”现在有青年E、F、G的属性值...少女把这堆属性值告诉机器,机器返回哪些是可以继续发展的对象,哪些被淘汰。
这是有监督的机器学习,就是把训练数据的属性和标签告诉机器,机器用某种算法建立属性和标签的关系,利用这种关系,就可以根据新数据的属性得到新数据的标签,如下图所示。
机器是如何学习工作的?
垃圾邮件过滤就是一个很好的例子。它使用机器学习技术来学习如何从数百万封邮件中识别垃圾邮件,其中使用了统计技术。
例如,如果每100封电子邮件中有85封被认为是垃圾邮件,包括“便宜”和“伟哥”这两个词,我们可以说有85%的概率确定它是垃圾邮件。通过其他几个指标的组合,利用数十亿封邮件对算法进行测试,准确率随着训练次数的增加而提高。
事实上,谷歌表示,它现在可以屏蔽大约99.99%的垃圾邮件。
机器学习的算法有哪些?
我做了一个机器学习算法选择的快速列表:
这个查找表可以帮助你根据自己的具体问题和情况,从众多的机器学习算法中选择最合适的算法。以下是如何使用这个快速列表。
因为是针对初学者的,所以在涉及算法的时候,我们会尽量做一些最简单的假设。下面提到的算法也是很多数据科学家、机器学习专家和开发者推荐的。
查找表怎么用?
根据“使用if”的逻辑,检查快速列表上的路径和算法标签。例如:
如果想降维,就用主成分分析。如果你需要快速得到数值预测,使用决策树和逻辑回归。如果需要分层结果,请使用分层聚类。有时候我们可能需要不止一个算法,有时候这些算法没有一个是最合适的。我和很多数据科学家交流过,他们认为在这种情况下,最安全的做法是尝试所有的算法,找到最合适的。



