技术标签: kubernetes devops ci/cd gitlab 环境搭建 docker
测试项目地址: https://gitee.com/texousliu/demo-gitlabci.git
关闭防火墙
$ systemctl stop firewalld
$ systemctl disable firewalld
关闭 swap
$ swapoff -a # 临时
$ vi /etc/fstab # 永久, 注释 swap 那一行
设置主机名
$ vi /etc/sysconfig/network
# HOSTNAME=k8s-master
添加 主机名与 ip 映射
$ cat /etc/hosts
172.16.3.40 k8s-master
172.16.3.41 k8s-node1
172.16.3.42 k8s-node2
同步时间
$ yum install ntpdate -y
$ ntpdate ntp.api.bz
移除旧 docker
$ sudo yum remove docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-engine
安装必要的包
$ sudo yum install -y yum-utils \
device-mapper-persistent-data \
lvm2
配置 stable 仓库
$ sudo yum-config-manager \
--add-repo \
https://download.docker.com/linux/centos/docker-ce.repo
安装 docker
$ sudo yum install docker-ce docker-ce-cli containerd.io
启动 docker
$ sudo systemctl start docker
配置开机启动
$ sudo systemctl enable docker
编写 kubernetes.repo 文件
$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
关闭 selinux
$ setenforce 0
$ sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config
安装 kubelet kubeadm kubectl
$ yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
配置启动 kubelet
$ systemctl enable --now kubelet
流量桥接(如果需要)
$ cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
$ sysctl --system
执行安装命令
$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml
$ kubeadm init \
--apiserver-advertise-address=192.168.220.35 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.17.0 \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16
# --apiserver-advertise-address: 填写主节点 ip
# --image-repository: 国内使用 aliyun 镜像
# --kubernetes-version: k8s 版本号
# 后面两个配置不需要变,固定就好
# 安装好后日志打印的最后一行需要保留下来, 这是 node 节点加入的命令: 如果命令过期的话,需要重新生成 secret
$ mkdir -p $HOME/.kube
$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
$ sudo chown $(id -u):$(id -g) $HOME/.kube/config
根据主节点安装成功日志打印最后一行提示加入
获取 gitlab 镜像
$ docker pull gitlab/gitlab-ce
运行 gitlab 镜像
说明:5005 是用来开启私有镜像仓库的端口, 如果需要开启私有镜像仓库的则需要映射
$ docker run -d \
--name gitlab --restart always \
-p 443:443 -p 80:80 -p 222:22 -p 5005:5005 \
-v /home/gitlab/config:/etc/gitlab \
-v /home/gitlab/logs:/var/log/gitlab \
-v /home/gitlab/data:/var/opt/gitlab \
gitlab/gitlab-ce
# -d:后台运行
# -p:将容器内部端口向外映射
# --name:命名容器名称
# -v:将容器内数据文件夹或者日志、配置等文件夹挂载到宿主机指定目录
配置 gitlab
$ vi /home/gitlab/config/gitlab.rb
# 配置http协议所使用的访问地址,不加端口号默认为80
external_url 'http://192.168.220.40'
# 配置ssh协议所使用的访问地址和端口
gitlab_rails['gitlab_ssh_host'] = '192.168.220.40'
gitlab_rails['gitlab_shell_ssh_port'] = 222 # 此端口是run时22端口映射的222端口
# 如果不想开启镜像仓库则不需要下面的配置: 比如已经有 nexus3 或者不使用 gitlab-ci/cd 流程
registry_external_url 'http://192.168.220.40:5005'
gitlab_rails['registry_enabled'] = true
gitlab_rails['registry_host'] = "192.168.220.40"
gitlab_rails['registry_port'] = "5005"
# gitlab_rails['registry_path'] = "/var/opt/gitlab/gitlab-rails/shared/registry"
重启 gitlab
$ docker restart gitlab
安装 gitlab-runner
$ docker run -d --name gitlab-runner --restart always \
-v /srv/gitlab-runner/config:/etc/gitlab-runner \
-v /var/run/docker.sock:/var/run/docker.sock \
gitlab/gitlab-runner:latest
注册 runner
$ docker run --rm -t -i -v /srv/gitlab-runner/config:/etc/gitlab-runner gitlab/gitlab-runner register
# 输入 gitlab -> settings -> runners 中的 url
# 输入 gitlab -> settings -> runners 中的 token
# 输入描述
# 输入 tags gitlab cicd 的时候要用到
# 选择 runner exector
# 如果是 docker exector
# alpine:latest
配置 maven 挂载
配置后就不用每次都去远程下载 jar
$ vi /srv/gitlab-runner/config/config.toml
# 找到 volumes
# volumes = ["/var/run/docker.sock:/var/run/docker.sock","/cache","/data/.m2/:/root/.m2/"]
# .gitlab-ci.yml 添加
# variables:
# MAVEN_OPTS: "-Dmaven.repo.local=/root/.m2"
配置 docker 私有库 http 访问
配置后访问私有镜像仓库才不会走 https
$ cat /etc/docker/daemon.json
{
"registry-mirrors": ["https://registry.docker-cn.com", "http://hub-mirror.c.163.com"],
"insecure-registries":["192.168.220.40:5005"]
}
$ sudo systemctl daemon-reload
$ sudo systemctl restart docker
下载文件 & 解压文件
$ tar -zxvf helm-v3.0.2-linux-amd64.tar.gz
配置 helm
$ mv linux-amd64/helm /usr/local/bin/helm
查看是否安装成功
$ helm help
下载 gitlab-runner charts
$ helm pull gitlab/gitlab-runner
解压下载后的 *.tgz
$ tar -zxvf gitlab-runner-0.12.0.tgz
进入 gitlab-runner 修改 values.yaml
$ vi gitlab-runner/values.yaml
gitlabUrl: https://gitlab.example.com/
runnerRegistrationToken: ""
rbac:
create: true
clusterWideAccess: true
serviceAccountName: gitlab-runner-gitlab-runner
runners:
tags: ""
serviceAccountName: gitlab-runner-gitlab-runner
添加 helm 仓库
$ helm repo add gitlab https://charts.gitlab.io
启动 gitlab-runner
# For Helm 3
$ helm install --namespace <NAMESPACE> gitlab-runner -f <CONFIG_VALUES_FILE> gitlab/gitlab-runner
更新配置
$ helm upgrade --namespace <NAMESPACE> -f values.yaml gitlab-runner gitlab/gitlab-runner
创建角色: 用来追加权限,helm 权限不足
# 添加配置文件
$ vi role-gitlab-runner-services.yaml
# 配置文件内容
apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
name: gitlab-runner-services
rules:
- apiGroups:
- ""
resources:
- services
- secrets
- configmaps
verbs:
- get
- list
- watch
- create
- update
- patch
- delete
- apiGroups:
- "apps"
resources:
- deployments
verbs:
- get
- list
- watch
- create
- patch
- delete
# 执行配置文件
$ kubectl apply -f role-gitlab-runner-services.yaml
绑定 serviceaccount 和 role
$ kubectl create clusterrolebinding crbd-gitlab-runner-serivces \
--clusterrole=gitlab-runner-services \
--serviceaccount=<NAMESPACE>:gitlab-runner-gitlab-runner \
--namespace=<NAMESPACE>
如果 上面两步有问题可以执行以下语句重新设置
# 删除角色用户绑定
$ kubectl delete clusterrolebinding crbd-gitlab-runner-serivces
# 删除角色
$ kubectl delete clusterrole gitlab-runner-services
获取容器
$ docker ps -a
查看 Id
$ docker inspect --containerid-- | grep Id
进入容器对应目录
$ cd /var/lib/docker/containers
$ cd --Id--
停止 docker
$ systemctl stop docker
修改对应文件:config.v2.json, hostconfig.json
$ vi hostconfig.json
# 关键字 PortBindings
$ vi config.v2.json
# 关键字 ExposedPorts
重启 docker
$ systemctl start docker
编写 yaml 文件
$ vi gitlab-runner-namespaces.yaml
apiVersion: v1
kind: Namespace
metadata:
name: web-servers
labels:
name: web-servers
创建命名空间
$ kubectl apply -f gitlab-runner-namespaces.yaml
登录 docker (gitlab 登录的用户名和密码:或者在管理员处生成 token)
$ docker login 192.168.220.40:5005 -u root -p ****
验证账户是否有拉取镜像的权限
$ docker pull ***
创建 secret
$ kubectl -n [namespace] create secret docker-registry [secret-key] \
--docker-server=192.168.220.40:5005 \
--docker-username=root \
--docker-password=****
配置 k8s 项目发布文件 imagePullSecrets
apiVersion: apps/v1
kind: Deployment
metadata:
name: test-api
namespace: web-servers
spec:
selector:
matchLabels:
app: test-api
replicas: 3
template:
metadata:
labels:
app: test-api
namespace: web-servers
spec:
imagePullSecrets:
- name: [secret-key]
containers:
- name: test-api
image: 192.168.220.40:5005/test-group/test-api:master
imagePullPolicy: Always
env:
envFrom:
ports:
- name: http
containerPort: 7080
$ cat /etc/docker/daemon.json
{
"registry-mirrors": ["https://registry.docker-cn.com", "http://hub-mirror.c.163.com"]
}
$ sudo systemctl daemon-reload
$ sudo systemctl restart docker
$ cat /etc/docker/daemon.json
{
"registry-mirrors": ["https://registry.docker-cn.com", "http://hub-mirror.c.163.com"],
"insecure-registries":["192.168.220.40:5005"]
}
$ sudo systemctl daemon-reload
$ sudo systemctl restart docker
# stable https://kubernetes-charts.storage.googleapis.com/
# incubator https://aliacs-app-catalog.oss-cn-hangzhou.aliyuncs.com/charts-incubator/
# gitlab https://charts.gitlab.io
# aliyuncs https://apphub.aliyuncs.com
# bitnami https://charts.bitnami.com/bitnami
$ helm repo add --name-- --url--
==> /var/log/gitlab/unicorn/unicorn_stderr.log <==
ArgumentError: Already running on PID:464 (or pid=/opt/gitlab/var/unicorn/unicorn.pid is stale)
/opt/gitlab/embedded/lib/ruby/gems/2.6.0/gems/unicorn-5.4.1/lib/unicorn/http_server.rb:205:in `pid='
/opt/gitlab/embedded/lib/ruby/gems/2.6.0/gems/unicorn-5.4.1/lib/unicorn/http_server.rb:137:in `start'
/opt/gitlab/embedded/lib/ruby/gems/2.6.0/gems/unicorn-5.4.1/bin/unicorn:126:in `<top (required)>'
/opt/gitlab/embedded/bin/unicorn:23:in `load'
/opt/gitlab/embedded/bin/unicorn:23:in `<top (required)>'
直接进入容器 docker exec -it gitlab /bin/bash
删除 unicorn.pid rm -f /opt/gitlab/var/unicorn/unicorn.pid
在 .gitlab-ci.yml 中添加
services:
- docker:dind
或者编辑 config.toml: volumes = ["/var/run/docker.sock:/var/run/docker.sock","/cache","/data/.m2/.m2/"]
官方不建议 docker:dind 和 volumes 同时使用,会报警告
运行中如果出现警告
8 *** WARNING: Service runner-54veezcJ-project-1-concurrent-0-docker-0 probably didn't start properly.
9 Health check error:
10 service "runner-54veezcJ-project-1-concurrent-0-docker-0-wait-for-service" timeout
11 Health check container logs:
12 Service container logs:
13 2020-01-12T03:47:12.937638103Z Generating RSA private key, 4096 bit long modulus (2 primes)
14 2020-01-12T03:47:13.372231321Z .......................................................................................................................++++
15 2020-01-12T03:47:13.802294515Z ............................................................................................................................++++
16 2020-01-12T03:47:13.802602245Z e is 65537 (0x010001)
17 2020-01-12T03:47:13.825214061Z Generating RSA private key, 4096 bit long modulus (2 primes)
18 2020-01-12T03:47:13.898733513Z ...................++++
19 2020-01-12T03:47:14.152767307Z ........................................................................++++
20 2020-01-12T03:47:14.153038007Z e is 65537 (0x010001)
21 2020-01-12T03:47:14.188604234Z Signature ok
22 2020-01-12T03:47:14.188640014Z subject=CN = docker:dind server
23 2020-01-12T03:47:14.188645194Z Getting CA Private Key
24 2020-01-12T03:47:14.199326798Z /certs/server/cert.pem: OK
25 2020-01-12T03:47:14.202184844Z Generating RSA private key, 4096 bit long modulus (2 primes)
26 2020-01-12T03:47:14.704597101Z ................................................................................................................................................++++
27 2020-01-12T03:47:14.849756207Z ........................................++++
28 2020-01-12T03:47:14.850123836Z e is 65537 (0x010001)
29 2020-01-12T03:47:14.872807703Z Signature ok
30 2020-01-12T03:47:14.872845853Z subject=CN = docker:dind client
31 2020-01-12T03:47:14.872929393Z Getting CA Private Key
32 2020-01-12T03:47:14.884195236Z /certs/client/cert.pem: OK
33 2020-01-12T03:47:14.889143189Z mount: permission denied (are you root?)
34 2020-01-12T03:47:14.889326308Z Could not mount /sys/kernel/security.
35 2020-01-12T03:47:14.889347098Z AppArmor detection and --privileged mode might break.
36 2020-01-12T03:47:14.890875106Z mount: permission denied (are you root?)
37 *********
可以通过配置 config.toml
$ vi /srv/gitlab-runner/config/config.toml
# privileged = true
文章浏览阅读1.6k次,点赞5次,收藏20次。【有害垃圾】:电池(1 号、2 号、5 号)、过期药品或内包装等;【可回收垃圾】:易拉罐、小号矿泉水瓶;【厨余垃圾】:小土豆、切过的白萝卜、胡萝卜,尺寸为电池大小;【其他垃圾】:瓷片、鹅卵石(小土豆大小)、砖块等。文件结构|----classes.txt # 标签种类|----data-txt\ # 数据集文件集合|----images\ # 数据集图片|----labels\ # yolo标签。_垃圾回收数据集
文章浏览阅读272次。之前写到 通过封装的API 已经可以做到使用redis进行缓存天气信息但是这一操作每次都由客户使用时才进行更新 不友好 所以应该自己实现半小时的定时存入redis 使用quartz框架 首先添加依赖build.gradle中// Quartz compile('org.springframework.boot:spring-boot-starter-quartz'..._cityid=101280803
文章浏览阅读1.8k次,点赞2次,收藏8次。对于使用触发事件来反应的按钮传递参数如下:可以通过lambda对function的参数传递:t.Bind(wx.EVT_BUTTON, lambda x, textctrl=t: self.input_fun(event=x, textctrl=textctrl))前提需要self.input_fun(self,event,t):传入参数而同时两个Frame之间的参数传..._wxpython frame.bind
文章浏览阅读1.9k次。最近接到一个任务要开发消消乐小游戏,当然首先就想到乐cocosCreator来作为开发工具。开发本身倒没有多少难点。消消乐的开发官网发行的书上有专门讲到。下面主要总结一下开发中遇到的问题以及解决方法屏幕适配由于设计尺寸是750*1336,如果适应高度,则在iphonX下,内容会超出屏幕宽度。按宽适应,iphon4下内容会超出屏幕高度。所以就需要根据屏幕比例来动态设置适配策略。 onLoad..._750*1336
文章浏览阅读745次,点赞21次,收藏21次。web项目的框架,通常更简单的数据源。21世纪的今天,随着社会的不断发展与进步,人们对于信息科学化的认识,已由低层次向高层次发展,由原来的感性认识向理性认识提高,管理工作的重要性已逐渐被人们所认识,科学化的管理,使信息存储达到准确、快速、完善,并能提高工作管理效率,促进其发展。论文主要是对银行贷款管理系统进行了介绍,包括研究的现状,还有涉及的开发背景,然后还对系统的设计目标进行了论述,还有系统的需求,以及整个的设计方案,对系统的设计以及实现,也都论述的比较细致,最后对银行贷款管理系统进行了一些具体测试。_vue3重构信贷管理系统
文章浏览阅读774次。题目描述原题目戳这里小明过生日的时候,爸爸送给他一副乌龟棋当作礼物。乌龟棋的棋盘是一行 NNN 个格子,每个格子上一个分数(非负整数)。棋盘第 111 格是唯一的起点,第 NNN 格是终点,游戏要求玩家控制一个乌龟棋子从起点出发走到终点。乌龟棋中 MMM 张爬行卡片,分成 444 种不同的类型( MMM 张卡片中不一定包含所有 444 种类型的卡片,见样例),每种类型的卡片上分别标有 1,2,3,41, 2, 3, 41,2,3,4 四个数字之一,表示使用这种卡片后,乌龟棋子将向前爬行相应的格子数
文章浏览阅读1.5k次。吐槽内存泄露 ? 内存暴涨 ? OOM ?首先提一下我自己曾经历过多次内存泄露,到底有几次? 我自己心里悲伤的回想了下,造成线上影响的内存泄露事件有将近5次了,没上线就查出内存暴涨次数可能更多。这次不是最惨,相信也不会是最后的内存的泄露。有人说,内存泄露对于程序员来说,是个好事,也是个坏事。 怎么说? 好事在于,技术又有所长进,经验有所心得…. 毕竟不是所有程序员都写过OOM的服务…. 坏事..._python内存泄露
文章浏览阅读747次。1.sensor typeTYPE_ACCELEROMETER=1 TYPE_MAGNETIC_FIELD=2 (what's value mean at x and z axis)TYPE_ORIENTATION=3TYPE_GYROSCOPE=4 TYPE_LIGHT=5(in )TYPE_PRESSURE=6TYPE_TEMPERATURE=7TYPE_PRO_draft sensor
文章浏览阅读581次。/* * Copyright (c) 2009 湖南师范大学数计院 一心飞翔项目组 * All Right Reserved * * 文件名:matrix.cpp 定义Point、Node、Matrix类的各个方法 * 摘 要:定义矩阵类,包括矩阵的相关信息和方法 * * 作 者:刘 庆 * 修改日期:2009年7月19日21:15:12 **/
文章浏览阅读1.7w次,点赞6次,收藏20次。HTML不再推荐页面中使用框架集,因此HTML5删除了<frameset>、<frame>和<noframes>这三个元素。不过HTML5还保留了<iframe>元素,该元素可以在普通的HTML页面中使用,生成一个行内框架,可以直接放在HTML页面的任意位置。除了指定id、class和style之外,还可以指定如下属性:src 指定一个UR..._iframe allow-top-navigation
文章浏览阅读785次,点赞29次,收藏12次。Zipkin 是 Twitter 的一个开源项目,它基于 Google Dapper 实现,它致力于收集服务的定时数据,以解决微服务架构中的延迟问题,包括数据的收集、存储、查找和展现。我们可以使用它来收集各个服务器上请求链路的跟踪数据,并通过它提供的 REST API 接口来辅助我们查询跟踪数据以实现对分布式系统的监控程序,从而及时地发现系统中出现的延迟升高问题并找出系统性能瓶颈的根源。除了面向开发的 API 接口之外,它也提供了方便的 UI 组件来帮助我们直观的搜索跟踪信息和分析请求链路明细,
文章浏览阅读358次。“随着天网工程的建设,中国已经建成世界上规模最大的视频监控网,摄像头总 数超过2000万个,成为世界上最安全的国家。视频图像及配套数据已经应用在反恐维稳、治安防控、侦查破案、交通行政管理、服务民生等各行业各领域。烁博科技视频安全核心能力:精准智能数据采集能力:在建设之初即以应用需求为导向,开展点位选择、设备选型等布建工作,实现前端采集设备的精细化部署。随需而动的AI数据挖掘能力:让AI所需要的算力、算法、数据、服务都在应用需求的牵引下实现合理的调度,实现解析能力的最大化。完善的数据治理能力:面_2018年8月由于某知名视频监控厂商多款摄像机存在安全漏洞