欢迎来到985免费论文网-论文免费参考网!
当前位置: 首页 > 医学论文 >

做数据分析与挖掘,需要具备哪些知识与技术

来源:985免费论文网  | 时间:2024-11-12 04:22:26 |

做数据分析与挖掘,需要具备哪些知识与技术

首先明确地说一点, 数据分析与数据挖掘无论是在职业上还是技术栈上并没有很明显的界限。两者的技术和工作内容存在很大的重合,比如数据分析也有很多时候用到数据挖掘的理论和模型,很多数据分析从业者使用SAS、R、SPSS就是一个很好的例子,另一方面,做数据挖掘项目时同样需要有人懂业务懂数据,能够根据业务需要提出正确的数据挖掘需求和方案,能够提出备选的算法模型,实际上这样的人一脚在数据分析上另一只脚已经在数据挖掘上了。

如果非要说有什么区别的话,我觉得可能数据分析更注重对已知事实的分析,即出现了某个业务现象,通过数据分析探索发生的原因,进而进行针对性地应对。而数据挖掘更注重在大数据中进行探索,挖掘潜藏在数据背后的业务规律,进而为业务发展寻找突破点。

回到题主关注的技术层面,针对数据分析师,需要掌握的技能有:概率论和统计学知识,能够熟练运用Excel、SQL,R、Python、SPSS等至少一门专业分析软件,注意是熟练运用,而且Excel是必备技能,如果做大数据分析的话,SQL,HIVE等也要比较熟练的使用,最后还有最最重要的一项,要有深刻的内部业务见解和外部商业分析能力,这是很多数据分析师的痛点和薄弱点,数据分析重在业务,不是技术,千万不要本末倒置!!!

数据挖掘入门门槛就要高一点了,不仅要具备基础的工程能力,还要具备一定的算法能力和业务经验,主要包括:

一、工程能力:

1、编程语言:Python,Java至少要会一种吧,shell也会用到很多,也是要会的

2、操作系统:Linux基础的操作要会的

3、数据结构:这是实现算法的必备,必然要掌握的

二、算法能力

1、数学基础:概率论,数理统计,线性代数,随机过程,最优化理论

建议:这些是必须要了解的,即使没法做到基础扎实,起码也要掌握每门学科的理论体系,涉及到相应知识点时通过查阅资料可以做到无障碍理解;

2、机器学习/深度学习:掌握常见的机器学习模型(线性回归,逻辑回归, SVM ,感知机;决策树,随机森林, GBDT , XGBoost ;贝叶斯, KNN , K-means , EM 等);掌握常见的机器学习理论(过拟合问题,交叉验证问题,模型选择问题,模型融合问题等);掌握常见的深度学习模型( CNN ,RNN 等);

推荐书籍:《统计学习方法》《机器学习》《机器学习实战》

3、自然语言处理:掌握常见的方法( tf-idf , word2vec ,LDA );

三、业务经验

除了以上工程能力和算法能力,还有很重要的就是业务经验,就是对业务的熟悉程度,这决定了你如何构造你的数据集,如何构造你的特征,如何进行数据清洗,如何进行模型调参,所有的数据挖掘都要落地到实际业务中产生价值,否则就毫无意义,落地业务最关键的一点就是熟悉业务,道理很简单,但却很容易被忽视。

以上是从事我从事数据分析和数据挖掘相关工作以来的一些感悟,一家之言仅供参考,也希望更多行业里的大神多多指教交流!


1、对异常数据进行捕捉,确定数据的真实性;

2、确定你自己想从这个异常数据中得知什么信息;

3、研究这个数据的产生流程,梳理关键影响因素,进行每一个环节的持续提问,并作出推断假设。直到你能提出有效的建议为止;

4、全局观,要充分明白,你是处在一个商业环境中的,要权衡决策在整体商业上带来的利弊。

谢邀!文学艺术创作中的灵感,它是一种新颖奇特的思维。唯其新颖,才显得重要。

我们常说,灵感稍纵即逝,就是指灵感总是思想刹那间的闪光。只有敏感的心灵,敏锐的目光才能及时捕捉到突现的灵感,尔后加以发挥。

这样说,灵感似乎是很神秘的东西,其实不然。灵感的来源仍然是平时生活的积累。一个对生活漠然,缺少热情的人,那是无从谈起灵感的。

对生活充满激情,生活就会给你康慨地赠予。那些鲜活的人物,新鲜的事物都会储存于大脑之中,当你偶尔想起来,灵感就会出现,用你的笔记录下来,就是一份好心情,一种正能量。与人分享,就是一种美好。

看看那些大师们的写作,总是那样行云流水,妙笔生花。其实他们的得心应手,还是来源于平时的观察与思考,来源于自己勤勉与笔耕不辍。正是生活中点滴积累,才激发了他们的创作灵感,产生了创作的冲动和欲望,这种冲动和欲望,或许就是灵感。

总之,灵感不是高深莫测的东西,每个人与生俱来都有的好奇心,上进心,就是最好的基础。像蜜蜂一样,采过许多花,就一定能酿造出又香又甜的蜜来。


《做数据分析与挖掘,需要具备哪些知识与技术》由:互联网用户整理提供;
链接地址:/show/86952.html
转载请保留,谢谢!
推荐专题
相关文章