flume+springboot+kafka集成_springboot kafka flume-程序员宅基地
技术标签： java kafka flume 集成 hdfs 大数据进阶之路 大数据
接上篇flume+springboot，本篇讲解一下是如何集成kafka的。
1、首先，在slave1或者slave2的flume/conf中添加配置文件：kafka_flume.conf
a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.bind = 10.1.18.202
a1.sources.r1.port = 44444
#这个配置是可以直接进行打印的logger日志文件
#a1.sinks.k1.type = logger
#对于sink的配置描述 使用avro日志做数据的消费
a1.sinks.k1.type = avro
# hostname是最终传给的主机名称或者ip地址
a1.sinks.k1.hostname = 10.1.18.201
a1.sinks.k1.port = 44444
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1还是使用webserver作为数据源，使用master:44444作为sink方
2、在master的flume/conf中添加一个kafka_flume.conf文件，作为master的启动文件
a1.sources = r1
a1.sinks = k1
a1.channels = c1
a1.sources.r1.type = avro
a1.sources.r1.bind = 10.1.18.201
a1.sources.r1.port = 44444
#a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
#a1.sinks.k1.kafka.topic = testtopics
#a1.sinks.k1.kafka.bootstrap.servers = 10.1.18.201:9092
#a1.sinks.k1.kafka.flumeBatchSize = 5
#a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.brokerList = 10.1.18.201:9092
a1.sinks.k1.topic = testtopics
a1.sinks.k1.batchSize = 5
a1.sinks.k1.requiredAcks =1
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1其中sink的那部分配置比起上一篇文章来说很明显不同，这里的sink是kafka的某个topic，我这里的topicName是testtopics
简单说下kafka怎么新建话题
bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 2 --partitions 2 --topic testtopics新建话题后查看话题
bin/kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:21813、最后一步就是启动 运行
（1）启动javaweb项目
root@slave1:/opt/software# nohup java -jar logs_flume-0.0.1-SNAPSHOT.jar （2）启动集群中所有节点的zk(这里没有使用kafka中内置的zk)
root@slave1:/opt/zookeeper# bin/zkServer.sh start（3）启动集群中所有节点的kafka
root@slave1:/opt/kafka_2.11-2.1.1# bin/kafka-server-start.sh config/server.properties &（4）查看是否都启动成功
（5）启动flume-agent（分别启动slave和master的flume，注意配置文件分别对应不同的文件！）
./bin/flume-ng agent --conf conf --conf-file conf/flume-conf.properties --name a1 -Dflume.root.logger=INFO,console（6）最后一步，创建一个消费者
bin/kafka-console-consumer.sh --bootstrap-server master:9092 --from-beginning --topic testtopics在客户端运行javaweb，查看程序是否运行成功，消费者端是否正确输出
日志已正确打印出
完活，下一步就是将kafka的持久化到hdfs中了
智能推荐
验证工具类-程序员宅基地
文章浏览阅读36次。public class Regexlib { /// <summary> /// 判断字符串是否是a-zA-Z0-9_范围内（4,18位范围内） /// </summary> /// <param name="strIn"></param> /// <returns..._工具类产品检验规范通用版
Wireshark数据包分析之DHCP协议包解读-程序员宅基地
文章浏览阅读1.8k次。*此篇博客仅作为个人笔记和学习参考DHCP协议包格式DHCP报文类型DHCP Discover、DHCP Offer、DHCP Request、DHCP ACK、DHCP NAK、DHCP Release、DHCP Decline、DHCP Infrom;DHCP Discover数据包分析(发现)Bootstrap Protocol (Discover)Message typ..._liteonte
黑鲨游戏手机再推新品，游戏手机市场将会迎来怎样变数？ ...-程序员宅基地
文章浏览阅读200次。小米创始人兼CEO雷军、京东零售子集团3C电子及消费品零售事业群陈婷、优点科技刘江峰都来了，谁能有这么大的号召力？答案是黑鲨游戏手机。3月18日晚，黑鲨游戏手机在北京举行了新一代产品的发布会。发布会开场后，直奔“产品”主题。 雷锋网划重点，汇总产品信息如下： X－核心：黑鲨设计DNA持续进化，更具速度感和人体工学的全系设计语言 金属加玻璃的双..._红魔mare怎么游戏界面返回左面
Python总结第三篇之字符串_python string中第三个a-程序员宅基地
文章浏览阅读95次。字符串算是python 文本处理中用到的非常多的内容了，下面就对此总结下。查找字符串#!usr/bin/env import reimport stringtarget = 'test.txt'file = open(target) keyword = 'help'for line in file: # 这一行的目的是为了查看，是否有从首位开始就与keyword匹配的字符串..._python string中第三个a
STM8S（105K4）使用笔记——活跃停机模式的配置与AWU唤醒_stm8s awu时间-程序员宅基地
文章浏览阅读1.7k次，点赞2次，收藏6次。STM8S提供的可编程的电源管理等待(Wait)模式：通过WFI指令进入。该模式下CPU将停止运行，但外设与中断控制器仍保持运行。该模式下可以通过外设时钟门控、降低CPU时钟频率、选择低功耗时钟源(LSI，HSI)进一步降低功耗。在等待模式下，所有寄存器与RAM的内容不变，进入等待模式前所定义的时钟配置也不会在进入等待模式后改变。每当一个内部或外部中断产生时，CPU从等待模式唤醒并恢复工作。停机(Halt)模式：通过HALT指令进入。该模式下主时钟停止，即由fMASTER提供时钟的CP_stm8s awu时间
支付宝办公神器语雀上线“空间”功能，8大实用指南快速上手！-程序员宅基地
文章浏览阅读1.3k次。近日，蚂蚁金服旗下知识创作与分享工具语雀发布“空间功能”，上周我们对这一办公室神器进行了介绍。（详情请戳：阿里员工都在用的知识管理工具，究竟有何特别？）总体而言，语雀支持在线文档编写、多人协作、灵活的团队管理和金融级安全存储的基础上，新增“空间”功能，助力企业知识管理，帮助企业快速提升团队内容协作与知识管理效率，同时搭建企业知识门户，系统沉淀企业数据资产。语雀是蚂蚁金服体验科技研发的创新产品，目前..._语雀我自己和个人空间区别
随便推点
百箱齐发：2019智能音箱谁主沉浮？-程序员宅基地
文章浏览阅读155次。2018年可谓是中国智能音箱的元年。业内普遍认为，智能音箱是切入智能家居使用场景、并易于被用户接受的理想入口，而智能家居的开关一旦被打开，更多的产品和服务将快速进入消费者的日常生活，获得一个更多元的商业环境。因此，近两年国内外科技巨头、互联网巨头皆大力发展智能音箱，使得该领域得到飞跃式增长，并从小众逐渐走向大众。值得一提的是，智能音箱除了具有巨大的消费市场外，对于互联网巨头们来说更起到AI市...
Hive启动时报错：cannot access ....spark/lib/spark-assembly-*.jar: No such file or directoryog解决_cannot access /data/apps/spark-3.1.3/lib/spark-ass-程序员宅基地
文章浏览阅读2.3k次。在安装spark后，通过bin/hive 启动hive时报错:ls:cannot access /export/servers/spark/lib/spark-assembly-*.jar: No such file or directoryog原因分析：spark2的jar包结构改变，安装的hive中，hive启动脚本内容与之不匹配。解决方案：进入hive目录中，vim bin/hi..._cannot access /data/apps/spark-3.1.3/lib/spark-assembly-*.jar: no such file
网络交换机配置技巧全攻略-程序员宅基地
文章浏览阅读196次。交换机的配置一直以来是非常神秘的，不仅对于一般用户，对于绝大多数网管人员来说也是如此，同时也是作为网管水平高低衡量的一个重要而又基本的标志。这主要在两个原因，一是绝大多数企业所配置的交换机都是桌面非网管型交换机，根本不需任何配置，纯属“傻瓜”型，与集线器一样，接上电源，插好网线就可以正常工作；另一方面多数中、小企业老总对自己的网管员不是很放心，所以即使购买的交换机是网管型的，..._网络交换机配置
PHP面向对象编程基本原则-程序员宅基地
文章浏览阅读41次。首先祝大家节日快乐！！！额，不知道你们剁手没，小梦是没有！整整已经错过了第九个年头！小伙伴是不是有一种感觉，PHP入门的时候简直爱不释手，总是把 ”PHP是世界上最好的语言“ 挂在嘴边上，觉得他简单，快速完成项目！然儿，终于有一天，你开发的项目过于...
找个页面中出现次数最多的三个标签_统计使用次数最多的三个标签名称-程序员宅基地
文章浏览阅读150次。let arr = Object.entires([...document.getElementByTagName('*')].map(v => v.tagName).reduce((obj, a)=> { obj[a] = obj[a] ? obj[a] + 1 : 1; return obj;}, {}));arr.sort((a,b) => b[1] - a[1]);console.table(arr.slice(0,2))_统计使用次数最多的三个标签名称
c# 低功耗蓝牙_c# - 如何使用C＃手动绑定到WinForm中的蓝牙低能耗设备？ - 堆栈内存溢出...-程序员宅基地
文章浏览阅读754次。我想到了。 我走在正确的轨道上。使用以下连接后：var dev = await BluetoothLEDevice.FromBluetoothAddressAsync(args.BluetoothAddress);您需要执行自定义配对：var prslt = await device.DeviceInformation.Pairing.Custom.PairAsync(DevicePairing..._bluetoothledevice.frombluetoothaddressasync