本文共 815 字，大约阅读时间需要 2 分钟。

　　感悟：曾经一直对自己在组内的研究方向特别困惑，一方面师兄想让自己在组内研究Spark，但组内的师兄和导师对Spark并不太熟悉，另外也没有具体的任务驱动去完成这件事；另一方面自己觉得师兄对deep learning比较熟悉，跟着或许能学点东西。但是今日和同学锦坤交流后又觉得对于目前的自己来说deep learning并不能做出什么特别有用的成就，这方向更适合搞研究而不是做工程，然而我对做研究的信息并不大，因此往deep learning这个方向走可能对以后的就业的帮助并不大。然而Spark的话，对于组内来说王老师和师兄都是大力支持的，而上学期的我基本就是半玩半忽悠就走过来了，几乎没做什么对组内和对自己有用的实事，这点需要深入地自我批评一番。抛开这个，Spark对于组内和将来走出去的就业方向来说都是大有前途的，我是大数据方向的，学好数据处理的平台以及用好相应的构建，并学习一些数据分析和数据处理的方法，再结合Deep Learning等技术，这对于今后的发展肯定大有裨益。

      今后该走哪条路线呢（碰到每个新事物都尝试着去用一用）？1.将Spark生态圈的所有构建都使用一遍：包括开发包mllib，sparkSQL，sparkStreamming等，这个需要出一个每个工具的使用概括，性能分析的文档； 2.把Spark相应的论文和Spark submit上介绍的开发应用的视频和PPT好好研究一遍，这个需要总结Spark在理论，应用上所做的工作以及一些trick的文档；    3.将Spark实践中踩过的每个坑记录下来并紧跟Spark社区的讨论和分析；    4.再次回到Spark的源码中，打Log分析Spark中不清楚的流程，最好这个搭建的流程需要时分布式的测试平台。    5.把Spark弄熟之后呢，要开始着手对Spark生态圈的整个框架做深入研究，比如对YARN和HDFS的深入研究，再一个就是一些NOSQL的数据库的分析探究。

转载地址：http://grtnmu.baihongyu.com/