博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
与朋友闲谈感悟
阅读量:35194 次
发布时间:2020-01-31

本文共 815 字,大约阅读时间需要 2 分钟。

  感悟:曾经一直对自己在组内的研究方向特别困惑,一方面师兄想让自己在组内研究Spark,但组内的师兄和导师对Spark并不太熟悉,另外也没有具体的任务驱动去完成这件事;另一方面自己觉得师兄对deep learning比较熟悉,跟着或许能学点东西。但是今日和同学锦坤交流后又觉得对于目前的自己来说deep learning并不能做出什么特别有用的成就,这方向更适合搞研究而不是做工程,然而我对做研究的信息并不大,因此往deep learning这个方向走可能对以后的就业的帮助并不大。然而Spark的话,对于组内来说王老师和师兄都是大力支持的,而上学期的我基本就是半玩半忽悠就走过来了,几乎没做什么对组内和对自己有用的实事,这点需要深入地自我批评一番。抛开这个,Spark对于组内和将来走出去的就业方向来说都是大有前途的,我是大数据方向的,学好数据处理的平台以及用好相应的构建,并学习一些数据分析和数据处理的方法,再结合Deep Learning等技术,这对于今后的发展肯定大有裨益。

      今后该走哪条路线呢(碰到每个新事物都尝试着去用一用)?1.将Spark生态圈的所有构建都使用一遍:包括开发包mllib,sparkSQL,sparkStreamming等,这个需要出一个每个工具的使用概括,性能分析的文档; 2.把Spark相应的论文和Spark submit上介绍的开发应用的视频和PPT好好研究一遍,这个需要总结Spark在理论,应用上所做的工作以及一些trick的文档;    3.将Spark实践中踩过的每个坑记录下来并紧跟Spark社区的讨论和分析;    4.再次回到Spark的源码中,打Log分析Spark中不清楚的流程,最好这个搭建的流程需要时分布式的测试平台。    5.把Spark弄熟之后呢,要开始着手对Spark生态圈的整个框架做深入研究,比如对YARN和HDFS的深入研究,再一个就是一些NOSQL的数据库的分析探究。

转载地址:http://grtnmu.baihongyu.com/

你可能感兴趣的文章
调python返回图片_Python异常处理,3个好习惯分享给你
查看>>
15拆解_收藏:15款劲芯微芯片无线充产品拆解
查看>>
弹出u盘_都说:U盘直接拔出不会丢失文件,“安全弹出”形同虚设,对吗?
查看>>
怎么查看elementui版本_2021新年 Vue3.0 + Element UI 尝鲜小记
查看>>
adreno630gpu参数_小米8搭载Adreno 630图形处理器 比荣耀play上的GPU Turbo更成熟
查看>>
带bitlocker解密的pe_如何在PE下解锁bitlocker
查看>>
lj245a引脚功能图_谁找到74254,74LS245芯片引脚的功能和功能图啊?
查看>>
sts 创建webservice项目_通过eclipse将Java生成webservice | 学步园
查看>>
python数字字符串和数字相加_数字和字符串
查看>>
python风控模型举例_一文搞定风控模型6大核心指标(附代码)
查看>>
java arraylist 写入文件_java-将自定义对象的ArrayList写入文件
查看>>
ice glacier2 java_ICE提纲之demo/Glacier2/callback(跨网回调)
查看>>
java 转发上传文件_java 后台请求其他接口转发文件
查看>>
Java get set 同步_java – getResultSet()“每个结果只能调用一次”
查看>>
java jmx 配置_为什么在配置JMX时Java打开3个端口?
查看>>
java thread回调_使用Runnable在Java中实现回调
查看>>
java 内存区_Java内存模型和Java内存区域的区别和联系?
查看>>
java定时任务监控_Spring定时任务使用及如何使用邮件监控服务器
查看>>
java crc32 使用_Java CRC32的用法
查看>>
java读取unicode_java怎么样将unicode解码读取?Java读取本地文件进
查看>>