大数据hadoop三块

***大数据可视化交互工具：Hue、Zeppelin
***新一代存储加计算工具：ClickHouse、Doris

1、hdfs（存储）：hbase、kudu、druid等
2、mapreduce（计算）：hive、spark、flink、kylin、impala等
3、yarn（分布式部署）：mesos、k8s 

1、docker 安装hadoop

参考：https://github.com/kiwenlau/hadoop-cluster-docker
https://caidao.gitbooks.io/reading-notes/content/you-yi-si-de-jing-li/ji-yu-docker-kuai-su-da-jian-hive-huan-jing.html

1、下载docker image
docker pull kiwenlau/hadoop:1.0
2、下载代码
git clone https://github.com/kiwenlau/hadoop-cluster-docker
cd /hadoop-cluster-docker 修改start-container.sh的脚本（增加两个端口和去掉了sudo）

#!/bin/bash

# the default node number is 3
N=${1:-3}


# start hadoop master container
docker rm -f hadoop-master &> /dev/null
echo "start hadoop-master container..."
docker run -itd \
                --net=hadoop \
                -p 50070:50070 \
                -p 8088:8088 \
				-p 10000:10000 \
                -p 9999:9999 \
                --name hadoop-master \
                --hostname hadoop-master \
                kiwenlau/hadoop:1.0 &> /dev/null


# start hadoop slave container
i=1
while [ $i -lt $N ]
do
	docker rm -f hadoop-slave$i &> /dev/null
	echo "start hadoop-slave$i container..."
	docker run -itd \
	                --net=hadoop \
	                --name hadoop-slave$i \
	                --hostname hadoop-slave$i \
	                kiwenlau/hadoop:1.0 &> /dev/null
	i=$(( $i + 1 ))
done 

3、创建docker单独网络
docker network create --driver=bridge hadoop
4、在管理员cmd下运行容器
cd hadoop-cluster-docker
./start-container.sh
5、进入msater容器
docker exec -it hadoop-master bash
6、容器内启动hadoop
./start-hadoop.sh
7、Hadoop网页管理地址
NameNode: http://127.0.0.1:50070/
ResourceManager: http://127.0.0.1:8088/

2、docker安装mysql

参考：https://www.runoob.com/docker/docker-install-mysql.html

1、拉去image
docker pull mysql:5.7
2、运行
docker run -itd --name mysql-test -p 3306:3306 -e MYSQL_ROOT_PASSWORD=123456 mysql:5.7

-p 3306:3306 ：映射容器服务的 3306 端口到宿主机的 3306 端口，外部主机可以直接通过 宿主机ip:3306 访问到 MySQL 的服务。
MYSQL_ROOT_PASSWORD=123456：设置 MySQL 服务 root 用户的密码。

3、进入容器查看及运行
docker exec -it 容器id    /bin/bash
mysql -h localhost -u root -p
（密码：123456）

外部使用工具连接：

3、docker安装hive

参考：https://blog.csdn.net/ys_230014/article/details/80825312

1、进入hadoop master容器
docker exec -it hadoop-master /bin/bash
2、下载hive及mysql连接器
wget https://archive.apache.org/dist/hive/hive-1.2.1/apache-hive-1.2.1-bin.tar.gz

tar -zxvf apache-hive-1.2.1-bin.tar.gz

wget https://downloads.mysql.com/archives/get/p/3/file/mysql-connector-java-5.1.38.zip

apt-get install zip
unzip mysql-connector-java-5.1.38.zip

3、jar包传入hive下lib目录下
cp mysql-connector-java-5.1.38/m
ysql-connector-java-5.1.38-bin.jar  apache-hive-1.2.1-bin/lib/

4、apache-hive-1.2.1-bin下conf目录中复制一份模板出来,并命名为hive-site.xml
cp conf/hive-default.xml.template conf/hive-site.xml

5、修改hive-site.xml配置
apt-get update
apt-get install vim

vim hive-site.xml

大概在396行；172.17.0.1为容器ip（docker inspect 容器id）

<property>
      <name>javax.jdo.option.ConnectionURL</name>
      <value>jdbc:mysql://172.17.0.1:3306/hive?createDatabaseIfNotExist=true&amp;
useSSL=false&amp;serverTimezone=GMT<</value>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionDriverName</name>
      <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionUserName</name>
      <value>root</value>
  </property>
  <property>
      <name>javax.jdo.option.ConnectionPassword</name>
      <value>123456</value>
  </property>

然后50几行更改下，system:java.io.tmpdir 、system:user.name都换成绝对路径；在apache-hive-1.2.1-bin目录下创建了个mkdir tmpdir文件（不更改最后运行./hive会报错）

6、在apache-hive-1.2.1-bin下bin目录下初始化mysql hive连接
./schematool -dbType mysql -initSchema

报错，通过./schematool -dbType mysql -initSchema --verbose查看

这错误是在800多行也有个javax.jdo.option.ConnectionUserName；值为APP需要把改成root即可，再运行即可正常

7、在apache-hive-1.2.1-bin下bin目录下运行hive
./hive