课程描述
在本课程中,您将学习使用Apache Hadoop的大数据。为什么选择Hadoop?它是IT行业最热门的技能之一。美国平均年薪为112,000美元,旧金山的平均年薪高达160,000美元(来源:Indeed)。
本课程面向Apache Hadoop开发的初学者以及正在寻找数据工程师、大数据工程师或开发人员以及软件开发人员新工作的人员。
Hadoop和“大数据”的世界可能令人望而生畏——数百种具有神秘名称的不同技术构成了Hadoop生态系统,但您将亲自动手学习如何使用它们来解决实际的业务问题!了解Hadoop对于在拥有大量数据的公司工作的任何人来说都是一项非常宝贵的技能。
您将学习如何使用目前大数据行业中最流行的软件,使用批处理和实时处理。
我们还将学习
大数据介绍。
大数据的三个V。
大数据到底有多大?
大数据分析如何对组织有用?
什么是Hadoop?
为什么选择Hadoop及其用例。
Hadoop的不同生态系统。
结构化、非结构化和半结构化数据。
在Windows 10上安装Apache Hadoop 3.3.0单节点。
HDFS(Shell命令实践)。
HDFS架构。
数据复制。
HDFS快照。
YARN架构。
您将通过本课程获得对Hadoop及其相关分布式系统的真正深入的理解,并且您可以将Hadoop应用于实际问题。此外,一个有价值的结业证书正在等待您!
请注意,本课程的重点是应用程序开发,而不是Hadoop管理。尽管您会在学习过程中获得一些管理技能。
目标
- 大数据基础知识。
- Apache Hadoop基础知识。
- Hadoop分布式文件系统(HDFS)实践命令。
- YARN架构基础知识。
- 在Windows 10系统上安装单节点Hadoop系统。
- HDFS(Shell命令实践)。
- HDFS架构。
- 数据复制。
- HDFS快照。
先决条件
- 您需要拥有Windows 10操作系统才能获得实践经验。
- 建议至少8 GB RAM。
课程大纲
查看课程内部的详细分解
[此处应为一个绿色勾号图标,宽58px,高50px] 大数据简介
[此处应为一个绿色向下箭头图标,宽21px,高21px] 7个讲座
- [此处应为一个播放图标] 简介 02:53 02:53
- [此处应为一个播放图标] 大数据简介 03:42 03:42
- [此处应为一个播放图标] 大数据的三个V 01:51 01:51
- [此处应为一个播放图标] 大数据到底有多大? 01:21 01:21
- [此处应为一个播放图标] 大数据分析如何帮助企业? 02:01 02:01
- [此处应为一个播放图标] 传统系统的挑战 01:26 01:26
- [此处应为一个播放图标] 大数据工程学习路线图 03:28 03:28
Hadoop简介
13个讲座
Ubuntu Linux系统上Apache Hadoop 3.3.0单节点安装
4个讲座
HDFS和YARN架构
14个讲座
MapReduce
16 节课
Apache Pig
27 节课
Apache Pig 常见问题
9 个讲座
使用Apache Sqoop导入数据
14个讲座
Apache Flume
9 个讲座
Apache Hive 常见问题
8 个讲座
Kafka 命令行界面 (CLI) 工具
10 个讲座
Databricks 使用 Python
5 节课
讲师 详情
大数据工程师
我是一名解决方案架构师,拥有 12 多年的银行、电信和金融服务行业经验,在信用卡、支付、数据仓库和数据中心项目中担任过各种不同的角色。
我的大数据和云架构师角色是作为大数据团队的一员,提供软件解决方案。
职责包括:
- 支持所有与 Hadoop 相关的问题
- 对现有系统进行基准测试,分析现有系统的挑战/瓶颈,并根据各种大数据技术提出合适的解决方案以消除这些问题
- 分析和定义各种技术和平台的优缺点
- 定义用例、解决方案和建议
- 定义大数据战略
- 对业务问题和技术环境进行详细分析
- 基于客户需求分析,定义务实的大数据解决方案
- 定义务实的大数据集群建议
- 教育客户了解各种大数据技术,帮助他们了解大数据的优缺点
- 数据治理
- 建立工具以提高开发人员的工作效率并实施标准实践
我相信这些课程的知识可以让你更有力量,在生活中取得成功。
祝一切顺利!
课程 证书
使用您的证书来改变职业或在您目前的职业中提升。