mlkui的文章

2019-12-08mlkui阅读(3336)评论(0)

Hive导入数据有四种方式： 1、从本地文件系统导入数据 2、从HDFS中导入数据 3、从其他的Hive表中导入数据 4、创建表的同时导入数据（CTAS结构） 在使用导入数据时，通常会用到INTO和OVERWRITE INTO两个关键字。其...

2019-12-08mlkui阅读(3426)评论(0)

在Hive中使用ALTER修改列类型时长餐刚看到如下的错误： [crayon-6769115eb1a31187429205/] 问题在于在Hive中执行ALTER列操作时只能按照如下的强制类型转换规则进行： 转载时请保留出处，违法转载追究到...

2019-12-07mlkui阅读(3181)评论(0)

Ambari在编译过程中需要下载包括node、npm、yarn等在内的大量依赖，在国内编译时会遇到无法绕过网络问题。由于s3.amazonaws.com基本不可用，因此在在下载诸如HBase等大文件时极为缓慢且成功的概率基本为零；而HBas...

2019-12-07mlkui阅读(4548)评论(0)

考虑到扩展性，使用Apache Ambari构建Hadoop stack。Ambari基本上没有考虑对存量集群进行管理，基本考虑需要新装集群。 对于Apache Ambari而言，基本上根据官网的《Installation Guide》进行...

2019-12-05mlkui阅读(5759)评论(0)

由于Hive采用了类似SQL的查询语言HiveQL，因此很容易将Hive理解为数据库。但其实上除了HiveQL是SQL的一种方言、Hive和数据库一样除了拥有类似的查询语言外，两者再无类似之处，Hive是为数据仓库而设计的，不适合用于联机事...

2019-12-04mlkui阅读(4830)评论(1)

在《HBase 2.2.2 on Hadoop 3.2.1完全分布式部署》中，我们提到需要在hbase-site.xml中增加如下配置： [crayon-6769115eb247e010402068/] 才能解决由于文件系统不支持hsync...

2019-12-03mlkui阅读(5053)评论(0)

在《HBase使用独立部署ZooKeeper的伪单机模式》中我们使用单机模式部署了HBase，这不能满足企业级的使用要求，接下来我们使用完全分布式部署。 由于HBase和Hadoop存在版本依赖关系（HBase和Hadoop之间的RPC需要...

2019-12-02mlkui阅读(9093)评论(0)

在《Hadoop集群搭建（3.1.2）-HDFS》一文中，我们完成了HDFS的搭建，接下来继续搭建基础的MapReduce环境。 一、环境搭建 HDFS主要由NameNode和DataNode组成，而Yarn主要由ResourceManag...

2019-12-01mlkui阅读(1956)评论(0)

运行[crayon-6769115eb2d4e500933592-i/]命令查看实例上的数据盘： [crayon-6769115eb2d51619312978/] 执行命令后一般是/dev/vdb、/dev/vdb-/dev/vdz，若没有...

2019-12-01mlkui阅读(2070)评论(0)

通常，.ssh目录中具有如下四个文件： [crayon-6769115eb2f7d152855355/] 其中： 1、id_rsa和id_rsa.pub通常由[crayon-6769115eb2f80259697744-i/]生成，分别是私...