分布式基础设施

2019-12-03mlkui阅读(5053)评论(0)

在《HBase使用独立部署ZooKeeper的伪单机模式》中我们使用单机模式部署了HBase，这不能满足企业级的使用要求，接下来我们使用完全分布式部署。 由于HBase和Hadoop存在版本依赖关系（HBase和Hadoop之间的RPC需要...

2019-12-02mlkui阅读(9093)评论(0)

在《Hadoop集群搭建（3.1.2）-HDFS》一文中，我们完成了HDFS的搭建，接下来继续搭建基础的MapReduce环境。 一、环境搭建 HDFS主要由NameNode和DataNode组成，而Yarn主要由ResourceManag...

2019-09-20mlkui阅读(3036)评论(0)

从官网上下载Hadoop，当前最新版是3.1.2： 使用[crayon-6769c558d3954300518174-i/]解压，并在所有机器上使用[crayon-6769c558d3959849538380-i/]修改环境变量： 主要修改...

2019-09-18mlkui阅读(2986)评论(0)

1、从http://download.smartloli.org下载，当前最新版是v1.3.9： 2、将下载到的压缩包解压出来，路径之类的并无要求，例如我们直接解压至/root下： 3、修改环境变量，在/etc/enviroment中增加K...

2019-09-17mlkui阅读(4386)评论(0)

kafka启动脚本kafka-server-start.sh的最后一行是： 最后一行实际上就是调用了kafka-run-class.sh脚本，其中有一段： KAFKA_JMX_OPTS中是标准的JMX的配置，但在某些情况下可能需要显示指定绑...

2019-09-17mlkui阅读(2617)评论(0)

Kafka集群的搭建非常简单，需要先安装JDK。 一、从官网下载Kafka 目前的最新稳定版是2.3.0，下载kafka_2.12-2.3.0.tgz然后直接解压即可： 二、修改配置文件server.properties 修改config目...

2019-07-08mlkui阅读(4275)评论(0)

1、修改hbase-env.sh [crayon-6769c558d3da0446976591/] 2、修改hbase-site.xml [crayon-6769c558d3da4286212504/] 3、修改regionservers ...

2019-07-07mlkui阅读(3630)评论(0)

ZK集群的搭建非常简单，需要先安装JDK。 一、从官网下载ZooKeeper 目前的最新稳定版是3.5.5，下载apache-zookeeper-3.5.5-bin.tar.gz然后直接解压即可。 二、新建配置文件zoo.cfg 将conf...

2019-06-23mlkui阅读(3123)评论(0)

Java中RSA秘钥需使用PKCS#8编码，OpenSSL默认生成的秘钥可通过如下的命令转换为PKCS#8格式： [crayon-6769c558d4029252345243/] 对比如下： 在Java中的使用形如： [crayon-676...

2019-06-20mlkui阅读(5223)评论(0)

我们常常用树形结构来表征数据的层次关联关系，如机构、账户树、商品品类、新闻栏目等。由于传统关系数据库使用的是二维表，因此在持久化时就涉及到这类层次关系的存储问题，需要设计合理的表结构及CRUD算法，并保证： 1、相对可理解； 2、冗余数据少...