大数据未来
2020年及以后的大数据的未来
大数据不仅是一个术语，而且还与许多新兴技术捆绑在一起，例如人工智能，机器学习，区块链，增强现实，物联网等。我之所以列出上述技术的原因是，许多报告预测，这些技术将大行其道，并将在2020年及之后实现革命性的增长。对于所有这些技术，大数据将成为关键来源，甚至我们可以说它是“新兴技术的生命”。
我们生活在数字时代，在世界的每个角落，都有人不断寻找新技术或某种东西来改造这个世界。结果，每天都会引入许多技术或趋势。一些在流行和接受度很高的游戏中占据上风，但是某些技术在特定时期内一直保持病毒式传播，在此之后它就消失了。
但是，大数据并不是消失的技术之一。许多行业专家预测，大数据前景广阔，在任何情况下都不会黯淡。
随着云技术的爆炸式增长，处理不断增长的数据海的需求已成为设计数字架构的底层考虑。 在一个交易，库存乃至IT基础架构可以完全以虚拟状态存在的世界中，良好的大数据方法可通过从许多来源获取数据来创建整体概览，包括：
虚拟网络日志
安全事件和模式
全球网络流量模式
异常检测与解决
合规信息
客户行为和偏好跟踪
地理位置数据
社交渠道数据，用于品牌情感跟踪
库存水平和货运跟踪
下面是根据PayScale统计的大数据相关岗位TOP7：
- 数据科学家
能够为大型企业挖掘和解释复杂数据的人才信息技术（IT）数据科学家有很多机会。 他们与跨职能的IT团队合作，编译并创建各种统计数据模型，以为他们制定与系统相关的建议和行动计划提供信息。
首选资格-IT数据科学家应该对不同的数据挖掘技术（例如聚类，回归分析，决策树和支持向量机）有深入的了解。 这种职位通常需要计算机科学的高级学位（例如，硕士或博士学位），此外还需要相关领域的前几年工作经验。
- 数据工程师
数据工程师利用其计算机科学和工程技术的优势来汇总，分析和处理海量数据集。常见任务包括创建计算机算法并将其转换为原型代码，开发技术流程以改善数据可访问性，以及为最终用户设计报告，仪表板和工具。
首选资格-雇主通常要求数据工程职位的应聘者必须成功完成计算机科学，工程学或相关领域的大学学位。他们还更喜欢在该领域拥有三到五年经验的申请人。
所需的技术能力包括Linux系统知识，SQL数据库设计能力以及对诸如Java，Python，Kafka，Hive或Storm之类的编码语言的熟练掌握。
软技能包括出色的书面和口头交流能力以及独立工作和与团队合作的能力。
- 数据分析
PayScale描述了数据分析人员如何通过设计和实施大规模调查来收集有关各种主题的可行信息。 他们的工作是招募调查参与者，汇编和解释提交的数据，并以传统图表和报告以及数字格式传达他们的发现。
优先任职资格-寻找数据分析师工作的人员必须对计算机程序（例如Microsoft Excel，PPT和SQL数据库）有所了解。 数据分析师还需要良好的沟通和表达能力，并且需要能够将经常复杂的信息有效地翻译给公司利益相关者。
- 安全工程师
安全工程师在IT灾难计划，规避和缓解中起着至关重要的作用。它们通过设置计算机防火墙，检测和响应入侵来减少企业风险。他们还为新的或更新的软件和硬件创建和实施测试计划，并为计算机网络建立多层防御协议。
首选资格-该职位需要工程，计算机科学或相关领域的学士学位，以及几年的相关工作经验以及理想的行业安全认证。除了对计算机语言和操作系统的技术了解之外，安全工程师还应具备扎实的解决问题和数学能力以及独立工作的能力。
数据库管理员
经过培训且在项目管理和多任务处理方面非常熟练的数据库管理员可以对复杂的数据库进行诊断和修复。 他们还审查对数据和数据使用情况的业务请求，评估数据源以改善数据馈送并帮助设计和安装存储硬件。
首选资格–数据库经理的招聘广告通常会列出信息技术学士学位，并且至少要在数据库领导职位中担任五年以上才能作为首选资格。 数据库管理角色的求职者也应该精通不同的数据库软件，例如MySQL和Oracle。数据架构师
数据架构师使用他们对面向数据的计算机语言的知识来组织和维护关系数据库和公司存储库中的数据，从而为企业数据模型的每个主题领域开发数据架构策略。
优先任职资格–雇主在数据架构师中寻求的常见工作技能和关键字属性包括高级技术水平（尤其是SQL等语言），出色的分析敏锐度，出色的数据平台架构能力(比如Hadoop相关的大数据平那台）、
创造性的可视化能力和解决问题的能力，以及注重细节的能力。 大多数数据架构师至少在计算机科学相关领域获得了学士学位（并且通常是高级学位）。
- 技术招聘人员
技术招聘人员专门为人才库寻找和筛选有才华的大数据，IT和其他技术专业人员。 他们与公司紧密合作以评估其招聘需求，然后在市场上寻找最适合特定职位空缺的候选人。
他们还支持他们在整个工作申请，面试，雇用和入职过程中招募的专业候选人。
最后打个小广告，本人从事大数据行业6年，曾在多家世界500强企业数据岗位待过.关注我可以免费送Hadoop、Hive、Spark、Python相关大数据学习资料。
大数据就业方向
其实大数据行业是个很大的范围，里面分很多个方向。我来列几个工业界最长见的方向吧：
- 大数据开发。
这是招聘的坑位相对较多的一种岗位。
主要需要的技术栈有：Java/Scala，Hadoop，Spark/Flink，Hive，HBase，Kafka，Zookeeper.
还有其它Hadoop衍生出来的技术框架：Impala/Presto，Kylin，Druid等等。
这个岗位是一个开发岗位，所以需要Java基础比较好，一般都是要有一定的开发经验。然后需要学的技术栈
主要是围绕着Hadoop体例的框架。这都需要有比较大的付出。
工作内容一般是开发一些数据处理平台的后端，比如ETL平台、数据报表平台、机器学习自动化平台等等
- 大数据运维/架构
这个岗位招的人比较少。
主要技能：Linux/shell脚本, Hadoop原理，调度工具Oozie/Azkaban/Airflow
工作内容一般是搭建和维护Hadoop集群，比如CDH集群；搭建和维护Hadoop下的各种组件，
Hive、HBase、Kafka、Zookeeper等等。
这种工作比起大数据开发更不费脑力，但是工作比较繁杂。对不太喜欢做开发的人，是个不错的选择。
- ETL工程师
这种也是招人数量比较多的岗位，但要求一般不高，有专科学历就够了。
因为很多公司尤其是大公司，有大量数据需要人力去倒腾处理。
主要需要的技能有：各种数据库的SQL，PLSQL。各种关系型数据库如MySQL/PostgresSQL, Hive
会一点编程语言比如Python更好，如虎添翼。
工作内容一般是做数据清洗，比如从爬虫出来的数据一般比较脏比较乱，需要过滤出有用的信息保存到数据库中，
然后将数据从一个地方转移到另一个地方。比如从MySQL到Hive
- 大数据分析师
这个岗位属于大数据比较上层的岗位，比较适合女生，因为比起大数据开发，大数据分析所学的东西少了很多。
主要的技能有：SQL/Hive-SQL, Spark, Python/R
其它的技能视自己想发展的小方向而定。强烈推荐学精通一些Python，因为Python有很多数据分析各个方向
的第三方模块，比如pandas,matplotlib,seaborn,superset,tensorflow,sklearn等等
工作内容就是在大数据前提下的数据分析，以前用Excel就足够了，但现在数据量大了就得用新的数据分析技能