全部文章
Articles

全部文章

第 6 / 7 页

Hive使用(一) hadoop学习
· 约 5 分钟阅读

Hive使用(一)

前言 之前写过Hive的安装,学习到了今天Hive的使用也有了一些的经验,Hive的基本命令与MySQL和SqlServer基本相似,都是建表建库那一套.但是Hive作为Hadoop的组件之一,肯定是有它特殊的意义,Hive在进行一些查询操作时,走的是MapReduce的流程,而...

1024程序员节 日常
· 约 2 分钟阅读

1024程序员节

前言 1024程序员节是广大程序员的共同节日。1024是2的十次方,二进制计数的基本计量单位之一。针对程序员经常周末加班与工作日熬夜的情况,部分互联网机构倡议每年的10月24日为1024程序员节,在这一天建议程序员拒绝加班,中国首届全球程序员节2017年在西安举办。 程序员就像是...

Hadoop的HA搭建 搭建自己的hadoop学习集群
· 约 4 分钟阅读

Hadoop的HA搭建

前言 之前我们看过Hadoop的HA配置,大概对于HA的配置有了一些了解,我们现在开始从头搭建Hadoop的HA环境 修改配置文件 我们HA的搭建要修改hadoop下的几个文件,主要有: core site.xml hdfs site.xml hadoop env.sh slav...

Storm的安装 搭建自己的hadoop学习集群
· 约 10 分钟阅读

Storm的安装

前言 ​ Apache Storm是一个分布式的、可靠的、容错的实时数据流处理框架。它与Spark Streaming的最大区别在于它是逐个处理流式数据事件,而Spark Streaming是微批次处理,因此,它比Spark Streaming更实时。 一、Apache Stor...

Sqoop安装 搭建自己的hadoop学习集群
· 约 2 分钟阅读

Sqoop安装

前言 Sqoop是什么 1、Sqoop是一款在Hadoop和其它关系型数据库之间传递数据的工具。 2、核心的功能有两个: 导入数据:MySQL,Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统; 导出数据:从 Hadoop 的文件系统中导...

HBASE的安装 搭建自己的hadoop学习集群
· 约 3 分钟阅读

HBASE的安装

前言 ​ HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在...

Kafka的安装与测试 搭建自己的hadoop学习集群
· 约 4 分钟阅读

Kafka的安装与测试

前言 Kafka 是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 ...

Hadoop的HA配置 搭建自己的hadoop学习集群
· 约 12 分钟阅读

Hadoop的HA配置

前言 Hadoop HA 是什么? hadoop2.x版本中可以有多个namenode结点,一个是活跃(active)状态,一个是准备(standby)状态。(haoop 1.x不存在此特性) HA可以干什么? 1.1 HDFS HA背景 HDFS集群中NameNode 存在单点...

Anaconda的安装 python学习记录
· 约 4 分钟阅读

Anaconda的安装

Anaconda的安装 前言 Anaconda指的是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。 因为包含了大量的科学包,Anaconda 的下载文件比较大(约 531 MB),如果只需要某些包,或者需要节省带宽或存储空间,也可以...

Spark安装 搭建自己的hadoop学习集群
· 约 2 分钟阅读

Spark安装

前言——Spark介绍 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎是类似于Hadoop MapReduce的通用并行框架。 Spark拥有Hadoop MapReduce所具有的优点,但不同于MapReduce的是——Job中间输出结果可以保存在内存...

Hive的安装 搭建自己的hadoop学习集群
· 约 6 分钟阅读

Hive的安装

前言——Hive介绍 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低,可以通过和SQL类似的HiveQL语言快速实现简单的MapRedu...