CDA数据分析师制作
作者:达尔希尔·帕马尔
编译:米卡
[简介]
数据科学、机器学习和数据工程有什么区别?带你了解这篇文章。
数据科学是一个广阔的领域。
因为它是如此多样化,我们很难具体定义数据科学家应该做什么。但最重要的是,我们应该认识到,数据科学是一个过程,而不仅仅是一个职称。
数据科学可以应用于许多不同的领域,可以用来做许多不同的事情。
现在数据科学、机器学习、数据工程发展速度非常快。
2011年至2027年全球大数据市场规模预测
资料来源:统计数据
随着数据领域的快速发展,许多人对这些领域的概念有一些误解。
在本文中,我们将带您了解数据工程师、数据科学家和机器学习工程师之间的差异。
我们先来了解一个完整的数据项目包括哪些环节。
公司通过各种渠道从客户那里收集数据,比如亚马逊。他们可能会收集用户的电子邮件、姓名、年龄、位置和其他数据。
以及关于用户的购买历史和订单、用户的搜索关键词和最近查看的项目等的数据。
现在,这些数据有各种形式和格式,数据可能位于不同的表和不同的位置。
任何数据项的出发点,无一例外都是从数据中提取价值,从而帮助企业决策,改进产品和服务。
这里可以看到一个案例——亚马逊建立的推荐系统,将用户频繁购买的商品排列在一起,根据其表现进行排名。
任何数据项的第一步是理解。
企业真正需要的是什么?
比方说,我们想为将回购他们购买的商品的客户构建一个分类器。
我们定义所需的最终结果,它可能会根据可用的数据而改变,但假设现在一切都准备好了,可以开始项目开发。
这时候数据工程师就派上用场了。
在数据项目工作中,数据工程师将从各种来源提取数据并编写查询,或者使用ETL工具将所有数据集中在一个地方。
数据以各种格式存储,如SQL表、CSV文件、JSON文件等。
所以,一个数据工程师要做的就是把这些数据转换,把所有的东西整合在一起。并负责建立数据库模型、模式、表格、结构和数据的整体结构。
一旦数据准备好,数据科学家、数据分析师或BI人员就会登场。
为了便于理解,这里我们用数据科学家来概括这些角色,因为数据科学是一个非常广泛的领域,他们所做的工作无所不包。
现在,数据科学家拥有正确格式的数据,而数据科学家对业务有很好的理解。他非常清楚要完成工作需要做什么。
数据科学家负责:
提取业务所需的数据;
为机器学习模型清理数据;
定义培训模型所需的功能;
构建仪表板或可视化以更好地理解数据;
为机器学习模型准备数据等等。
因为数据项目需要团队合作,这个过程会有很多人参与。
不是每个人都会清理数据或构建数据可视化,这完全取决于数据人员的技能和角色。
然后我们需要机器学习工程师,他们既有软件工程的知识,又有数据科学的知识。
他们使用大数据工具和编程框架来确保从数据管道中收集的原始数据被重新定义为数据科学模型,并根据需要进行扩展。
在这个推荐系统项目中,我们可能需要一个实时的预测模型,我们还需要调用API来提供预测模型。
机器学习工程师的职责是建立机器学习模型,适当调整,确保模型产生好的结果,并在产品中部署模型。
机器学习工程师使机器能够识别自己编程数据中的模式,并自学理解命令。
标签
现在这三个领域相互依存,没有更好的对比了。每个领域都有自己的角色、责任和所需的技能,这完全取决于你选择哪一个。
现在,这三个职业相互依存,没有更好的了。在一个工作项目中,三者都有不同的角色、职责和技能要求,选择哪一个完全取决于你自己的兴趣。
如果你喜欢建立管道、数据模型和模式,那么成为一名数据工程师是一个不错的选择。
如果你更喜欢清理数据、可视化数据和构建仪表板,那么你可以选择成为一名数据科学家,或者机器学习工程师,前提是你拥有完成工作所需的知识和技能。
所以问问自己,你更适合哪一个?数据工程师,数据科学家,还是机器学习工程师?欢迎给我们留言。



