微服务之——Harbor企业级docker仓库搭建

一、Harbor简介

1.Harbor介绍

Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器，通过添加一些企业必需的功能特性，例如安全、标识和管理等，扩展了开源Docker Distribution。作为一个企业级私有Registry服务器，Harbor提供了更好的性能和安全。提升用户使用Registry构建和运行环境传输镜像的效率。Harbor支持安装在多个Registry节点的镜像资源复制，镜像全部保存在私有Registry中， 确保数据和知识产权在公司内部网络中管控。另外，Harbor也提供了高级的安全特性，诸如用户管理，访问控制和活动审计等。

2.Harbor特性

• 基于角色的访问控制 ：用户与Docker镜像仓库通过“项目”进行组织管理，一个用户可以对多个镜像仓库在同一命名空间(project)里有不同的权限。
• 镜像复制 ： 镜像可以在多个Registry实例中复制(同步)。尤其适合于负载均衡，高可用，混合云和多云的场景。
• 图形化用户界面 ： 用户可以通过浏览器来浏览，检索当前Docker镜像仓库，管理项目和命名空间。
• AD/LDAP 支持 ： Harbor可以集成企业内部已有的AD/LDAP，用于鉴权认证管理。
• 审计管理 ： 所有针对镜像仓库的操作都可以被记录追溯，用于审计管理。
• 国际化 ： 已拥有英文、中文、德文、日文和俄文的本地化版本。更多的语言将会添加进来。
• RESTful API ： RESTful API 提供给管理员对于Harbor更多的操控, 使得与其它管理软件集成变得更容易。
• 部署简单 ： 提供在线和离线两种安装工具， 也可以安装到vSphere平台(OVA方式)虚拟设备。

3.Harbor组件

Harbor在架构上主要由6个组件构成：

• Proxy：Harbor的registry, UI, token等服务，通过一个前置的反向代理统一接收浏览器、Docker客户端的请求，并将请求转发给后端不同的服务。
• Registry： 负责储存Docker镜像，并处理docker push/pull 命令。由于我们要对用户进行访问控制，即不同用户对Docker image有不同的读写权限，Registry会指向一个token服务，强制用户的每次docker pull/push请求都要携带一个合法的token, Registry会通过公钥对token 进行解密验证。
• Core services： 这是Harbor的核心功能，主要提供以下服务：
• UI：提供图形化界面，帮助用户管理registry上的镜像(image), 并对用户进行授权。
• webhook：为了及时获取registry 上image状态变化的情况， 在Registry上配置webhook，把状态变化传递给UI模块。
• token 服务：负责根据用户权限给每个docker push/pull命令签发token. Docker 客户端向Regiøstry服务发起的请求,如果不包含token，会被重定向到这里，获得token后再重新向Registry进行请求。
• Database：为core services提供数据库服务，负责储存用户权限、审计日志、Docker image分组信息等数据。
• Job Services：提供镜像远程复制功能，可以把本地镜像同步到其他Harbor实例中。
• Log collector：为了帮助监控Harbor运行，负责收集其他组件的log，供日后进行分析。

各个组件之间的关系如下图所示：

4.Harbor实现

Harbor的每个组件都是以Docker容器的形式构建的，官方也是使用Docker Compose来对它进行部署。用于部署Harbor的Docker Compose模板位于 harbor/docker-compose.yml,打开这个模板文件，发现Harbor是由7个容器组成的；

[root@fxkj ~ ]# docker-compose ps

Name Command State Ports

------------------------------------------------------------------------------------------------------------------------------

harbor-adminserver /harbor/harbor_adminserver Up

harbor-db docker-entrypoint.sh mysqld Up 3306/tcp

harbor-jobservice /harbor/harbor_jobservice Up

harbor-log /bin/sh -c crond && rm -f ... Up 127.0.0.1:1514->514/tcp

harbor-ui /harbor/harbor_ui Up

nginx nginx -g daemon off; Up 0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp, 0.0.0.0:80->80/tcp

registry /entrypoint.sh serve /etc/ ... Up 5000/tcp

nginx：nginx负责流量转发和安全验证，对外提供的流量都是从nginx中转，所以开放https的443端口，它将流量分发到后端的ui和正在docker镜像存储的docker registry。

harbor-jobservice：harbor-jobservice 是harbor的job管理模块，job在harbor里面主要是为了镜像仓库之前同步使用的;

harbor-ui：harbor-ui是web管理页面，主要是前端的页面和后端CURD的接口;

registry：registry就是docker原生的仓库，负责保存镜像。

harbor-adminserver：harbor-adminserver是harbor系统管理接口，可以修改系统配置以及获取系统信息。

这几个容器通过Docker link的形式连接在一起，在容器之间通过容器名字互相访问。对终端用户而言，只需要暴露proxy (即Nginx)的服务端口。

harbor-db：harbor-db是harbor的数据库，这里保存了系统的job以及项目、人员权限管理。由于本harbor的认证也是通过数据，在生产环节大多对接到企业的ldap中；

harbor-log：harbor-log是harbor的日志服务，统一管理harbor的日志。通过inspect可以看出容器统一将日志输出的syslog。

这几个容器通过Docker link的形式连接在一起，这样，在容器之间可以通过容器名字互相访问。对终端用户而言，只需要暴露proxy (即Nginx)的服务端口。

二、安装和配置Harbor

1.环境说明

2.首先安装docker

安装Harbor需要先安装docker和docker-compose

[root@fxkj ~ ]# yum install -y yum-utils device-mapper-persistent-data lvm2

[root@fxkj ~ ]# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

[root@fxkj ~ ]# yum install docker-ce

启动docker

[root@fxkj ~ ]# systemctl start docker

3.安装docker-compose

(必须先安装docker)

a.下载二进制文件

[root@fxkj ~ ]# curl -L https://github.com/docker/compose/releases/download/1.16.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

b.赋予二进制文件可执行权限

[root@fxkj ~ ]# chmod +x /usr/local/bin/docker-compose

d.测试是否安装成功

[root@fxkj ~ ]# docker-compose --version

docker-compose version 1.21.2, build a133471

4.安装Harbor

[root@fxkj ~ ]# wget -P /usr/loca/src/ https://github.com/vmware/harbor/releases/download/v1.2.0/harbor-online-installer-v1.2.0.tgz

[root@fxkj ~ ]# cd /usr/local/src/

[root@fxkj src ]# tar zxf harbor-online-installer-v1.2.0.tgz -C /usr/local/

[root@fxkj src ]# cd /usr/local/harbor/

5.修改配置文件

配置文件为：/usr/local/harbor/harbor.cfg

[root@fxkj src ]# vim /usr/local/harbor/harbor.cfg

hostname = harbor.fxkj.com

#邮箱配置

email_server = smtp.163.com

email_server_port = 25

email_username = [email protected]

email_password =12345678

email_from = UnixFBI

email_ssl = false

self_registration = off #禁止用户注册

project_creation_restriction = adminonly #设置只有管理员可以创建项目

6.执行安装脚本

[root@fxkj src ]# /usr/local/harbor/install.sh

7.Harbor启动和停止

Harbor 的日常运维管理是通过docker-compose来完成的，Harbor本身有多个服务进程，都放在docker容器之中运行，我们可以通过docker ps命令查看。

[root@fxkj src ]# docker ps

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES

fef700a33f47 vmware/harbor-jobservice:v1.1.2 "/harbor/harbor_jo..." 28 minutes ago Up 10 minutes harbor-jobservice

a97cb900e624 vmware/nginx:1.11.5-patched "nginx -g 'daemon ..." 28 minutes ago Up 10 minutes 0.0.0.0:80->80/tcp, 0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp nginx

1b958487393b vmware/harbor-ui:v1.1.2 "/harbor/harbor_ui" 28 minutes ago Up 10 minutes harbor-ui

78547af8f6c1 vmware/harbor-db:v1.1.2 "docker-entrypoint..." 28 minutes ago Up 10 minutes 3306/tcp harbor-db

6c03f37b5f41 vmware/harbor-adminserver:v1.1.2 "/harbor/harbor_ad..." 28 minutes ago Up 10 minutes harbor-adminserver

09a3c5139f01 vmware/registry:2.6.1-photon "/entrypoint.sh se..." 28 minutes ago Up 10 minutes 5000/tcp registry

cb579c74fbe8 vmware/harbor-log:v1.1.2 "/bin/sh -c 'crond..." 28 minutes ago Up 10 minutes 127.0.0.1:1514->514/tcp harbor-log

docker-compose 来查看

[root@fxkj src ]# docker-compose ps

Name Command State Ports

------------------------------------------------------------------------------------------------------------------------------

harbor-adminserver /harbor/harbor_adminserver Up

harbor-db docker-entrypoint.sh mysqld Up 3306/tcp

harbor-jobservice /harbor/harbor_jobservice Up

harbor-log /bin/sh -c crond && rm -f ... Up 127.0.0.1:1514->514/tcp

harbor-ui /harbor/harbor_ui Up

nginx nginx -g daemon off; Up 0.0.0.0:443->443/tcp, 0.0.0.0:4443->4443/tcp, 0.0.0.0:80->80/tcp

registry /entrypoint.sh serve /etc/ ... Up 5000/tcp

Harbor的启动和停止

启动Harbor： docker-compose start

停止Harbor： docker-comose stop

重启Harbor： docker-compose restart

8.访问测试

四、测试上传和下载镜像

1.修改各docker client配置

增加 --insecure-registry harbor.fxkj.com

[root@fxkj src ]# vim /usr/lib/systemd/system/docker.service

ExecStart=/usr/bin/dockerd --insecure-registry harbor.fxkj.com

重启docker：

[root@fxkj src ]# systemctl daemon-reload

[root@fxkj src ]# systemctl restart docker

创建/etc/docker/daemon.json文件，在文件中指定仓库地址

# cat > /etc/docker/daemon.json << EOF

{ "insecure-registries":["harbor.fxkj.com"] }

EOF

然后重启docker就可以。

[root@fxkj src ]# systemctl restart docker

2.创建Dockerfile

[root@fxkj src ]# vim Dockerfile

FROM centos:centos7.1.1503

ENV TZ "Asia/Shanghai"

3.构建镜像

[root@fxkj /root ]# docker build -t harbor.fxkj.com/library/centos7.1:0.1 .

(最后有个点别忘记写)

4.把镜像push到Harbor

登陆harbor仓库：

[root@fxkj /root ]# docker login harbor.fxkj.com

上传镜像到harbor 中去：

[root@fxkj /root ]# docker push harbor.fxkj.com/library/centos7.1:0.1

再下载个busybox 的镜像：

[root@fxkj /root ]# docker pull busybox

打上标签：

[root@fxkj /root ]# docker tag busybox:latest harbor.fxkj.com/library/busybox:latest

上传镜像到harbor 中去：

[root@fxkj /root ]# docker push harbor.fxkj.com/library/busybox:latest

5.登录web页面查看镜像

6.pull镜像

从别的机器上拉一下镜像

[root@test /root ]# docker rmi -f $(docker images -q -a ) #删除本机上的镜像

[root@test /root ]# docker pull harbor.fxkj.com/library/centos7.1:0.1

0.1: Pulling from library/centos7.1 07618ba636d9: Pull complete

Digest: sha256:7f398052ae0e93ddf96ba476185c7f436b15abd27acd848a24b88ede4bb3c322

Status: Downloaded newer image for harbor.fxkj.com/library/centos7.1:0.1

查看本机的所有镜像：

[root@test /root ]# docker images

REPOSITORY TAG IMAGE ID CREATED SIZE harbor.fxkj.com/library/centos7.1 0.1 6c849613a995 5 hours ago 212MB

五、Harbor配置TLS证书

1.修改Harbor配置文件

为Harbor默认使用http协议访问，所以我们这里在配置文件中，开启https配置；

配置harbor.cfg

hostname = harbor.fxkj.com ui_url_protocol = https ssl_cert = /etc/certs/ca.crt ssl_cert_key = /etc/certs/ca.key

2.创建自签名证书key文件

[root@fxkj /root ]# mkdir /etc/certs

[root@fxkj /root ]# openssl genrsa -out /etc/certs/ca.key 2048

Generating RSA private key, 2048 bit long modulus

.+++

............+++

e is 65537 (0x10001)

3.创建自签名证书crt文件

注意命令中/CN=harbor.fxkj.com字段中harbor.fxkj.com修改为你自己的仓库域名。

[root@fxkj /root ]# openssl req -x509 -new -nodes -key /etc/certs/ca.key -subj "/CN=harbor.fxkj.com" -days 5000 -out /etc/certs/ca.crt

4.开始安装Harbor

./install.sh

----Harbor has been installed and started successfully.----

Now you should be able to visit the admin portal at https://192.168.23.63.

For more details, please visit https://github.com/vmware/harbor .

5.客户端配置

客户端需要创建证书文件存放的位置，并且把服务端创建的证书拷贝到该目录下，然后重启客户端docker。我们这里创建目录为：

把服务端crt证书文件拷贝到客户端，例如我这的客户端为：192.168.23.61

[root@fxkj /root ]# scp /etc/certs/ca.crt [email protected]:/etc/docker/certs.d/harbor.fxkj.com/

重启客户端docker

[root@fxkj /root ]# systemctl restart docker

6.测试是否支持https访问

docker login harbor.fxkj.com

Username (admin): Password: Login Succeeded