要写出好的论文,在导师给定你的论文方向后,全靠自己下功夫了。研究生一入学,就要认真阅读该领域的文献,特别是国外学者的,大致弄清楚当前的其他领军人物研究进展,弄清楚自己的研究路线,关键的几篇文献要仔细研读。且不可肚子不舒服了才去找厕所。很多学生的论文中引用的参考文献,和论文引用处内容要么不符,要么不是最原始的出处,要么太老,等等。还有学生的论文罗列的公式都是从多处copy过来的,连自已都搞不清公式意义,前后数学符号不一致,公式中变量的上下标位置混淆。自已缺乏的基础知识,赶紧补上。不要像有些博士生到答辨时,用张量描述物理方程还会在free index、dummy index上犯错误。如果是工程类学生,现在计算机功能和网上的各种资源足够支撑你写出一篇好论文。比如把Python语言学会,处理数据,建模,绘图则是轻而易举的事。想在论文中用上人工智能(比如google的tensorflow)从大量的本领域积累的历史数据去寻找新的方法或规律也是可能的,且十分有效。努力到了,不光是吸引导师眼球,可能是吸引世人眼球了。
随着人工智能的发展,那些重复性、机械性以及低技术含量的工作慢慢会被取代。 所以,未来需要一种全新的教育范式,来培养学生发现问题和创造性解决问题的能力。因为它们是机器目前无法替代的,教学内容领域的机会,就在这里。具体来看,首先发现问题是解决问题的基础,而训练发现问题的能力需要批判性思维。
前几天,哈工大、哈工程两所大学,其他10多家公司被美国上了“实体清单”。之前,另外还有不少高校上了这个实体清单,包括西工大、电子科技大学、四川大学等等。
上实体清单会对上名单的单位有什么影响么?按照规定,这些单位不能买美国的高科技产品和服务。还有一个更苛刻的规定,即便一个产品不是美国公司的,但里面用了美国公司的专利,超过一定比例之后,也不能卖给中国的这些公司。
最近,大家都关注着台积电的动作。台积电是台湾的一家公司,是世界上最大的晶圆代工企业。华为很多芯片都是台积电来制造的。美国政府要求台积电不给华为供货,原因就是台积电的制造用到了美国的专利。
这件事折腾了有快两年的时间了,台积电当然不愿意断供,华为是它的很大的客户。但折腾到现在,台积电对华为的供货有了一定影响。
全国人民也在这件事被普及。我们芯片制造工艺还不行,光刻机技术还不行。
哈工大、哈工程是大学,其实影响更大。科学研究需要各种尖端的实验设备,这些实验设备大部分都来自于欧美。像MATLAB是一款使用非常广的软件,用来进行数据分析、仿真建模、科学数据可视化等等,在工科领域,几乎每个行业都会用到它。
当然,现在有人说了,可以用其他语言来写这些函数。解决方法会有一些,但终归是麻烦很大,而且不是所有人都会替代方案。
MATLAB只是一个很小的软件。还有,Windows、Office,这两个国内勉强还有替代方案,Linux、WPS,那Auto-CAD、Pro-E等专用的画图软件怎么办?在电路设计中的EDA软件怎么办?这些软件咱们没有替代软件。还有,国外出版巨头们提供的外文期刊数据库怎么办?
上面所说的只是一小部分软件,还有需要高精尖的仪器,光学仪器、分析仪器、电镜等等。可以说影响巨大。
从这些东西看出来,我们国家的科技并不很厉害,有很多短板,尤其是一些基础性的技术在人家手里。一方面,我们自己是需要努力,尽量赶上世界水平。另一方面,要看到,美国这么做是毫无道理的,我们的高校就是普通高校,做的是美国高校一样的科研,美国高校自己也有国防项目,这是非常正当的行为。
最后技术并不能隔绝,靠冷战时期的做法在现代已经行不通了。现代科技发展已经不允许每家都搞一套了,交流、合作才能双赢。我相信,美国实体清单的公司和学校名单越来越长,对它自身经济、科技的打击也是很大的。这是把双刃剑。大家可以走着瞧。
我们的民族是有韧性的民族,不怕困难。我甚至觉得,只有在困难之下,我们的民族才能迸发出力量来,发展得更好。祝福国家,祝福哈工大。
1)hadoop简介
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 Hadoop实现了一个分布式文件系统HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的硬件上;而且它提供高吞吐量来访问应用程序的数据,适合那些有着超大数据集的应用程序。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算
2)hadoop优点
Hadoop 以一种可靠、高效、可伸缩的进行数据处理。
可靠性: Hadoop将数据存储在多个备份,Hadoop提供高吞吐量来访问应用程序的数据。
高扩展性: Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
高效性: Hadoop以并行的工作,通过并行处理加快处理速度。
高容错性: Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
低成本: Hadoop能够部署在低廉的(low-cost)硬件上。
1)spark简介
Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark拥有Hadoop MapReduce所具有的优点,Spark在Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark性能以及运算速度高于MapReduce。
2)spark优点
计算速度快: 因为spark从磁盘中读取数据,把中间数据放到内存中,,完成所有必须的分析处理,将结果写回集群,所以spark更快。
Spark 提供了大量的库: 包括Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX。
支持多种资源管理器: Spark 支持 Hadoop YARN,及其自带的独立集群管理器
操作简单: 高级 API 剥离了对集群本身的关注,Spark 应用开发者可以专注于应用所要做的计算本身
1)应用场景不同
Hadoop和Spark两者都是大数据框架,但是各自应用场景是不同的。Hadoop是一个分布式数据存储架构,它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储,降低了硬件的成本。Spark是那么一个专门用来对那些分布式存储的大数据进行处理的工具,它要借助hdfs的数据存储。
2)处理速度不同
hadoop的MapReduce是分步对数据进行处理的,从磁盘中读取数据,进行一次处理,将结果写到磁盘,然后在从磁盘中读取更新后的数据,再次进行的处理,最后再将结果存入磁盘,这存取磁盘的过程会影响处理速度。spark从磁盘中读取数据,把中间数据放到内存中,,完成所有必须的分析处理,将结果写回集群,所以spark更快。
3)容错性不同
Hadoop将每次处理后的数据都写入到磁盘上,基本谈不上断电或者出错数据丢失的情况。Spark的数据对象存储在弹性分布式数据集 RDD,RDD是分布在一组节点中的只读对象集合,如果数据集一部分丢失,则可以根据于数据衍生过程对它们进行重建。而且RDD 计算时可以通过 CheckPoint 来实现容错。
Hadoop提供分布式数据存储功能HDFS,还提供了用于数据处理的MapReduce。 MapReduce是可以不依靠spark数据的处理的。当然spark也可以不依靠HDFS进行运作,它可以依靠其它的分布式文件系统。但是两者完全可以结合在一起,hadoop提供分布式 集群和分布式 文件系统,spark可以依附在hadoop的HDFS代替MapReduce弥补MapReduce计算能力不足的问题。
总结一句话:spark在hadoop肩膀上可以让大数据跑的更快
读书在精不在多,分享以下基本可以提升数据分析思路的书籍,从入门到进阶,题主可以合理选择~
电子工业出版社的经典书目系列,从数据分析基本步骤开始、实验方法、最优化方法、假设检验方法、贝叶斯统计方法、主观概率法、启发法、直方图法、回归法、误差处理、相关数据库、数据整理技巧一一讲到。图比较多,适合入门。
推荐理由同上,适合入门者的经典教材。
R是属于GNU系统的一个自由、免费、源代码开放的软件,用于统计计算和统计制图。这本书从实用的统计研究角度逐例分析R在数据处理、模型构建、以及图形操作上的由浅入深的结合,堪称经典。
作者是华盛顿大学理论物理学博士。这本书是数据分析的经典之一,包含大量的R语言模拟过程及结果展示,例举了很多数据分析实例和代码。
作者是Data Miners的创办人,有二十多年的营销和客户关系管理结合数据挖掘的经验。详细介绍了作为一个数据挖掘团队需要的知识体系,包括数据库、SAS使用、统计学、机器学习、数据可视化、如何访问用户收集需求、如何写论文与沟通等等。有条件的建议看英文原版。
作者Cathy O’Neil是哈佛大学的博士,MIT的数据博士后,曾今作为一名Quant在对冲基金D.E. Shaw 工作,目前是一家纽约初创公司的Data scientist 。这本书需要有一定的编程和理论基础,作为入门教材来说有点难,虽然只有400来页,但是涉及的知识点很全面。每一章节的核心内容都附有编程案例,R/Python/Shell三种语言任君挑选,另一作者Rachel Schutt曾在谷歌研究院工作数年,负责设计算法原型并通过建模理解用户行为。
墙裂推荐。Python数据分析必看,适合入行不久的数据分析师。作者Wes McKinney,资深数据分析专家,在创建Lambda Foundry(数据分析公司)之前,曾是AQR Capital Management的定量分析师。有多年的Python数据分析工作经验,对各种Pyhon包iPython,NumPy,pandas,matpotlib等有着很深的理解。他仅凭一己之力撰写了大量与Python数据分析相关的经典文章,并开发了用于数据分析的著名开源Python库:Pandas。看完这本,敲完代码,Python数据分析就算上道了。
目前(2019年)未有中文版,但这不妨碍它的质量,内容优秀且丰富。很多牛人(如Tom Phillips,Google搜索和分析业务主管)为之作序,数据科学如何与商业结合?相信这本书会给你不少启发。
2016年6月出版的,500页保质保量,目前已有中文版,作者(Jake VanderPlas)是华盛顿大学电子科学研究所的高级数据科学研究员,研究领域包括天文统计学、机器学习和可扩展计算。书的前半部分介绍了用于数据分析和一般的科学计算的基本Python库,后面从实际应用的角度使用Python库scikit-learn开始机器学习实践。适合有一定Python基础人(或者R基础),并且想学习如何使用Python进行数据分析的人。
作者Cole NussbaumerKnaflic,私募分析师,前Google人力分析团队总监。本书展示了如何高效率展示量化资讯,如何用丰富的资料讲故事。Google内部的数据可视化课程讲师,之前也在Maryland Institute College of Art兼职讲师。如果你想知道如何以图叙事,这边好书不容错过。
数据科学界为数不多的国内出版物,几个友人看过后觉得不错,中国工程院院士,前中国科学院计算技术研究所所长李国杰也为之做序。作者唐亘,数据科学家,国人的书一向注重实操性,此书用了大量的例子和模型进行软件实操演练,将统计学、机器学习和计算机科学融会贯通,对于刚刚入行还摸不清门道的人来说,可能会帮你解决一些实际问题。
PS:这些书籍很多都已经出版中文版啦,大家可以自行搜索!
OK,这几本够看一阵了,后续再为大家更新~别忘了关注伙伴云哦~