技术标签: sequoiadb
SequoiaDB v3.2.3及以上版本支持sac一键部署集群
此次部署集群使用centos7.x版本,每台虚机内存分配2g或以上
1. 修改主机名
# 按照顺序,修改三台主机名分别为sdb01,sdb02,sdb03
vi /etc/hosts
2. 关闭防火墙
# 查看防火墙状态
systemctl status firewalld
# 永久关闭防火墙
systemctl disable firewalld
# 确认关闭
systemctl status firewalld
3. 修改系统参数(可省略)
#########调整调整 ulimit############################
vim /etc/security/limits.conf
## for sequoiadb
sdbadmin - core 0
sdbadmin - data unlimited
sdbadmin - fsize unlimited
sdbadmin - rss unlimited
sdbadmin - as unlimited
sdbadmin - stack 1024
sdbadmin - nproc unlimited
sdbadmin - nofile 300000
## end for sequoiadb
#检查/etc/security/limits.conf
cat /etc/security/limits.conf
vim /etc/security/limits.d/90-nproc.conf
将* soft nproc 1024修改为:# * soft nproc 1024
#新增
sdbadmin - nproc unlimited
#检查 /etc/security/limits.d/90-nproc.conf
cat /etc/security/limits.d/90-nproc.conf
4. 调整内核参数(可省略)
########调整内核参数################################
vim /etc/sysctl.conf
## begin for sequoiadb
vm.swappiness = 0
vm.dirty_ratio = 100
vm.dirty_background_ratio = 80
vm.dirty_expire_centisecs = 3000
vm.dirty_writeback_centisecs = 500
vm.vfs_cache_pressure = 200
vm.min_free_kbytes = 10240
vm.overcommit_memory = 2
vm.overcommit_ratio = 85
fs.file-max = 10000000
## end for sequoiadb
#执行如下命令,使配置生效:
/sbin/sysctl -p
#检查配置是否生效
cat /proc/sys/vm/swappiness
cat /proc/sys/vm/dirty_ratio
cat /proc/sys/vm/dirty_background_ratio
cat /proc/sys/vm/dirty_expire_centisecs
cat /proc/sys/vm/vfs_cache_pressure
cat /proc/sys/vm/min_free_kbytes
cat /proc/sys/vm/overcommit_memory
cat /proc/sys/vm/overcommit_ratio
5. 关闭selinux
# 检查selinux状态
[root@localhost ~]# getenforce
Enforcing
# 永久关闭:
[root@localhost ~]# vim /etc/sysconfig/selinux
# SELINUX=enforcing 改为 SELINUX=disabled
# 然后需要重启系统: init 6
5. 关闭numa,和transparent_hugepage
# 修改配置文件
# GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet numa=off transparent_hugepage=never",确保name值为off和transparent_hugepage=never
vi /etc/default/grub
# 重启服务器
reboot
# 查看numa状态
dmesg | grep -i numa
# 显示结果
[ 0.000000] Command line: BOOT_IMAGE=/vmlinuz-3.10.0-327.el7.x86_64 root=/dev/mapper/centos-root ro crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quiet numa=off
[ 0.000000] NUMA turned off
[ 0.000000] Kernel command line: BOOT_IMAGE=/vmlinuz-3.10.0-327.el7.x86_64 root=/dev/mapper/centos-root ro crashkernel=auto rd.lvm.lv=centos/root rd.lvm.lv=centos/swap rhgb quietnuma=off
1. 上传安装包,解压
2. 运行sequoiadb安装文件
3. 这里om服务只在sdb01上安装,其他两台不安装
4. 一路默认即可完成安装
1. 登录sdb01,切换sdbadmin用户,检查sdbcm运行状态
# 查看sdbcm运行状态
service status sdbcm
# 若停止,则开启
service start sdbcm
2. 进入sdb shell,创建临时协调节点(使用完毕之后需要删除)
sdb
>oma = new Oma("localhsot",11790);
# 创建临时协调节点
>oma.createCoord(18800, "/opt/sequoiadb/database/coord/18800")
# 启动临时协调节点
> oma.startNode(18800)
3. 配置和启动编目节点
# 连接临时协调节点
> var db = new Sdb("localhost",18800)
# 创建一个编目节点组
> db.createCataRG("sdb01", 11800, "/opt/sequoiadb/database/cata/11800")
# 创建另外两个编目节点
> var cataRG = db.getRG("SYSCatalogGroup");
> var node1 = cataRG.createNode("sdb02", 11800,"/opt/sequoiadb/database/cata/11800")
> var node2 = cataRG.createNode("sdb03", 11800,"/opt/sequoiadb/database/cata/11800")
> node1.start()
> node2.start()
4. 配置和启动数据节点组
# 创建数据组
> db.createRG("datagroup01")
> dg = db.getRG("datagroup01")
# 增加节点
> dg.createNode("sdb01",11900,"/opt/sequoiadb/database/data/11900")
> dg.createNode("sdb02",11900,"/opt/sequoiadb/database/data/11900")
> dg.createNode("sdb03",11900,"/opt/sequoiadb/database/data/11900")
# 开启数据节点
> dg.start()
5. 配置和启动协调节点组
# 创建协调节点组
> var rg = db.createCoordRG()
> rg.createNode("sdb01",11810,"/opt/sequoiadb/database/coord/11810")
> rg.createNode("sdb02",11810,"/opt/sequoiadb/database/coord/11810")
> rg.createNode("sdb03",11810,"/opt/sequoiadb/database/coord/11810")
# 启动协调节点组
> rg.start()
6. 创建完毕之后,关闭临时协调节点并删除
> oma.removeCoord(18800)
7. 修改sequoiadb的limits.conf文件
# 使用sdbadmin用户登录
vim /opt/sequoiadb/conf/limits.conf
# 修改其中的 open_files=60000 为 open_files=300000
# 重启sdb集群节点
sdbstop
sdbstart
1. 运行sequoiadb安装tar中包含的mysql安装包,一路默认即可完成安装。
2. 配置mysql
1)增加mysql实例
# 打开mysql安装位置
cd /opt/sequoiasql/mysql/
# 运行脚本 增加实例 -p可指定端口号,默认3306
bin/sdb_sql_ctl addinst sdb01inst -D database/3306
# 检查实例配置,sdb信息是否正确
vim database/3306/auto.cnf
#修改配置信息之后重启实例
bin/sdb_sql_ctl restart sdb01inst
#确认实例
bin/sdb_sql_ctl list
2) 修改mysql实例的最大连接数
# 使用sdbadmin用户修改mysql的最大连接数:
vi /opt/sequoiasql/mysql/database/3306/auto.cnf
max_connections=3000
# 使用root用户,在服务配置文件中增加两个配置参数:
vi /usr/lib/systemd/system/sequoiasql-mysql.service
LimitNOFILE=infinity
LimitMEMLOCK=infinity
# 使用root用户,重启sequoiasql-mysql服务:
systemctl restart sequoiasql-mysql
3. 审计日志插件安装
mysql之间同步ddl需要配置审计日志
1)在mysql中创建sdbadmin用户
> CREATE USER 'sdbadmin'@'%' IDENTIFIED BY 'sdbadmin';
> GRANT all on *.* TO 'sdbadmin'@'%' with grant option;
2)将审计插件放到lib/plugin目录下
cp /opt/sequoiasql/mysql/tools/lib/server_audit.so /opt/sequoiasql/mysql/lib/plugin
3)配置mysql实例的配置文件,/opt/sequoiasql/mysql/database/3306/auto.cnf,在mysqld下添加以下内容
日志目录auditlog需要手动创建
# 加载审计插件
plugin-load=server_audit=server_audit.so
# 审计记录的审计,建议只记录需要同步的DCL和DDL操作
server_audit_events=CONNECT,QUERY_DDL,QUERY_DCL
# 开启审计
server_audit_logging=ON
# 审计日志文件名
server_audit_file_path=/opt/sequoiasql/mysql/data/auditlog/server_audit.log
# 强制切分审计日志文件
server_audit_file_rotate_now=OFF
# 审计日志文件大小10MB,超过该大小进行切割,单位为byte
server_audit_file_rotate_size=10485760
# 审计日志保留个数,超过后会丢弃最旧的
server_audit_file_rotations=999
# 输出类型为文件
server_audit_output_type=file
# 限制每行查询日志的大小为100kb,若表比较复杂,对应的操作语句比较长,建议增大该值
server_audit_query_log_limit=102400
4)编辑config文件,配置需要同步的mysql 的ip和端口
5)启动同步脚本
python /opt/sequoiasql/mysql/tools/metaSync/meta_sync.py &
6)设置定时任务
crontab -e
# 每隔一秒执行一次
*/1 * * * * python /opt/sequoiasql/mysql/tools/metaSync/meta_sync.py &
7)重启mysql实例
sdb_sql_ctl restart sdb01inst
8)其他两台机器步骤相同
9)建库验证
1. 运行sequoiadb压缩包中的pg包。
2. 一路默认即可完成安装。
3. 创建实例,配置pg
# 创建pg实例
#1. 进入安装目录
cd /opt/sequoiasql/postgresql/
#2. 创建实例
bin/sdb_sql_ctl addinst sdb01pginst -D database/5432
#3. 运行实例
bin/sdb_sql_ctl start sdb01pginst
4. 修改系统参数,不重启数据库,否则可能会报错server closed the connection unexpectedly This probably means the server…
vim /etc/systemd/logind.conf
# 将 RemoveIPC=yes 改为no
6. 配置pg实例的配置参数文件postgresql.conf
cd /opt/sequoiasql/postgresql/database/5432/
sed -i "s/#log_destination = 'stderr'/log_destination = 'stderr'/g" postgresql.conf
sed -i "s/#logging_collector = off/logging_collector = on/g" postgresql.conf
sed -i "s/#log_directory = 'pg_log'/log_directory = 'pg_log'/g" postgresql.conf
sed -i "s/#log_connections = off/log_connections = on/g" postgresql.conf
sed -i "s/#log_disconnections = off/log_disconnections = on/g" postgresql.conf
sed -i "s/#log_line_prefix = ''/log_line_prefix = '%m %p %r %x'/g" postgresql.conf
sed -i "s/#log_directory = pg_log/log_directory = pg_log/g" postgresql.conf
sed -i "s/#log_filename = /log_filename = /g" postgresql.conf
sed -i "s/#exit_on_error = off/exit_on_error = on/g" postgresql.conf
sed -i "s/#listen_addresses = 'localhost'/listen_addresses = '*'/g" postgresql.conf
sed -i "s/#standard_conforming_strings = on/standard_conforming_strings = off/g" postgresql.conf
sed -i "s/#log_min_duration_statement = -1/log_min_duration_statement = 100/g" postgresql.conf
5. 进入pg shell,创建pg表
# 创建数据库,进入pg shell界面
createdb sdbadmin01
psql sdbadmin01
# 加载sdb驱动
sdbadmin01=# create extension sdb_fdw;
# 配置与sdb连接的参数
sdbadmin01=# create server sdb_server foreign data wrapper sdb_fdw options(address '127.0.0.1', service '11810', user 'sdbUserName', password 'sdbPassword', preferedinstance 'A', transaction 'off');
# 关联sdb中的集合空间和集合(集合空间和集合需要在sdb中提前建好)
sdbadmin01=# create foreign table test(id int ,name varchar) server sdb_server options(collectionspace: "sdbadmin01",collection:"test",decimal:"on)
# 插入一条数据,在sdb shell中查看对应的集合中是否有这条数据
sdbadmin01=# insert into test values(234 ,"yangss")
1. 环境要求,前期准备
spark需要jdk环境,分别在三台虚拟机配好jdk1.8的环境变量。
配置免秘钥
# 密钥生成*3
ssh-keygen -t rsa
# 拷贝公钥*3
ssh-copy-id node1
# 分发sdb01上的公钥文件
scp .ssh/authorized_keys sdb02:$PWD/.ssh
scp .ssh/authorized_keys sdb03:$PWD/.ssh
2.准备spark安装包,修改配置文件。(三台机器操作相同)
# 进入spark安装目录下的conf目录
cd /opt/spark-2.1.3-bin-hadoop2.7/conf
# 重命名文件
mv spark-env.sh.template spark-env.sh
# 修改,添加以下参数
cat > spark-env.sh <<EOF
#!/bin/bash/env bash
# 建议添加,不加也行
export JAVA_HOME=/opt/jdk1.8.0_201
# master节点
export SPARK_MASTER_HOST=sdb01
# master管理端口
export SPARK_MASTER_PORT=7077
EOF
# 修改salves文件,配置主机名,sdb01,sdb02,sdb03
vim salves
#
# Licensed to the Apache Software Foundation (ASF) under one or more
# contributor license agreements. See the NOTICE file distributed with
# this work for additional information regarding copyright ownership.
# The ASF licenses this file to You under the Apache License, Version 2.0
# (the "License"); you may not use this file except in compliance with
# the License. You may obtain a copy of the License at
#
# http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#
# A Spark Worker will be started on each of the machines listed below.
sdb01
sdb02
sdb03
3. 启动
start-all.sh
文章浏览阅读218次。mysql语句启动mysql services.msc登录mysql -uroot -proot退出exitmysql 数据库操作数据库表格操作修改表删除表表-数据-增删改查条件查询 (复杂)连接查询(连表查询)子查询 (一个查询的结果作为另一个查询的一部分)启动mysql services.msc登录mysql -uroot -proot退出exitmysql 数据库操作登录mysql -uroot -prootquit/exit查看当前使用数据库: select database();_mysql服务启动语句
文章浏览阅读1.3k次。当网站地址变更时,需要将旧域名301重定向到新的URL地址,实际上就是把旧地址的访问请求重新引导到新域名上。301永久重定向无论是对用户还是搜索引擎都是比较友好的,对SEO完全没有不好的一面。通过旧网站的关键词排名和PR等级都会传递给新网站,网站更换了域名,用域名301永久重定向的方式告诉搜索引擎本网页已经永久性转移到新的域名,避免搜索引擎无法找到页面,网站对于搜索引擎相对比较友好。域名重定向的好..._一个域名301重定向到另一个域名的url上
文章浏览阅读1.4k次,点赞2次,收藏11次。【软考-软件设计师精华知识点笔记】第八章 算法分析设计_软考决策树
文章浏览阅读2.7w次,点赞28次,收藏169次。ubuntu怎么切换到root用户,使用su root命令,去切换到root权限,会提示输入密码,可是如何也输不对,提示“Authentication failure”或者是提示认证失败。该错误有两种情况一个是密码错了,另一种就是新安装好的Linux系统,暂时还没有给root设置密码。1、打开Ubuntu,输入命令:su root,回车提示输入密码,如何输入都不对。2、给root用户设置密码,命令“sudo passwd root ” 。 输入密码,并确认密码。3、重新输入命_unbuntu切换到root用户
文章浏览阅读6.6k次。本文涵盖了阿里巴巴、腾讯、字节跳动、京东、华为等大厂的Java面试真题,不管你是要面试大厂还是普通的互联网公司,这些面试题对你肯定是有帮助的,毕竟大厂一定是行业的发展方向标杆,很多公司的面试官同样会研究大厂的面试题。与此同时,今年算法面试一定是会被问的,而算法不是光靠背面试题就有用的,它是需要数学逻辑思维的,因此,小编会在文末为大家准备一份非常优质的算法学习手册,重点在于学习思维方法,话不多说,直接开始上精选的大厂面试真题!1.JAVA 中的几种数据类型是什么,各自占用多少字节。2.String 类能被继承_java程序员大厂真题解析 作者图灵学院 周瑜
文章浏览阅读960次。众所周知,我们的网页右侧一般都有一个组件,那就联系QQ这个功能的实现就是一行代码解决QQ推广是不允许复制粘贴网页里的代码< a href="http://wpa.qq.com/msgrd?v=3&uin=1393882772&site=qq&menu=yes">联系客服</a>利用超链接实现跳转外部QQ链接在任何标签里边都可以实现此功能..._htmlqq聊天超链接
文章浏览阅读8.5k次,点赞54次,收藏23次。本专栏研究领域为【超分辨率重建】,涵盖图像超分、视频超分,实时超分,4K修复等方面。主要内容包括主流算法模型的论文精读、论文复现、毕业设计、涨点手段、调参技巧、论文写作、应用落地等方面。算法模型从SRCNN开始更新至今,一般是一篇论文精读对应一篇论文复现。论文精读详解理论,归化繁为简,归纳核心,积累词句,培养阅读论文和论文写作能力。论文复现依托Pytorch代码,实现完整的模型训练流程,总结调参方法,记录碰到的bug,论文插图可视化,培养读写代码能力、做实验的能力、以及应用落地能力。
文章浏览阅读327次。普通网站在实现文件上传功能的时候,一般是使用Python,Java等后端程序实现,比较麻烦。Nginx有一个Upload模块,可以非常简单的实现文件上传功能。此模块的原理是先把用户上传的文件保存到临时文件,然后在交由后台页面处理,并且把文件的原名,上传后的名称,文件类型,文件大小set到页面。下面和大家具体介绍一下。一、编译安装Nginx为了使用Nginx Upload Module,需要编译安装..._向nginx_upload_module服务器上传文件的python脚本
文章浏览阅读1k次,点赞15次,收藏30次。 作者主页:不吃西红柿****一、为什么要学Python短短 20 年间,**「计算机和互联网」**以一种前所未有的速度,改变了人类的生活 。我们使用微信 「交流」,使用淘宝 「购物」,使用搜索引擎 「获取信息」,随着 Uber、滴滴、美团的出现,甚至我们的出行、吃饭都越来越离不开互联网了。而这些改变,都来源于编程。如果说上个世纪是全球化的时代,掌握了英语,就能成为时代的宠儿;那么在 语义识别 和 人工智能 愈发成熟的今天,**「人和人的沟通」**不再是难题, 「人和计算机的沟通」 会显得越来越重要。我
文章浏览阅读2.5k次。配置对于一个程序到底有多重要自然不用多说,每个库均有它自己的配置管理方式,比如Spring有`Enviroment`抽象等。本文即将介绍的是Ribbon中一个使用频繁,且非常重要的接口:`IClientConfig`,它负责Ribbon的**配置管理**,包括所有默认值的维护,以及提供提供其读写能力。_iclientconfig lai
文章浏览阅读9.5k次,点赞11次,收藏66次。想必很多小伙伴在matlab中对文件进行批处理时经常会使用dir函数吧,dir函数用于列出文件夹中的内容。使用语法如下:% Matlabdir % 列出当前文件夹中的文件和文件夹,当然调用方式也可以是listing = dirdir name % 列出当前文件夹中与name同名的文件和文件夹,不支持调用方式listing = dir namelisting = dir(name) % 列出当前文件夹中与name同名的文件和文件夹当_matlab dir函数用法
文章浏览阅读228次。I'm having an issue running ZeroMQ with Java using Eclipse and Windows XP. I've successfully installed [I think] the 0MQ libraries as well as the Java bindings. The instructions I used to do that are ..._zeromq java