flink实战 - 程序员宅基地

Flink实战六_直播礼物统计

接上文：Flink实战四_TableAPI&SQL 1、需求背景现在网络直播平台非常火爆，在斗鱼这样的网络直播间，经常可以看到这样的总榜排名，体现了主播的人气值。人气值计算规则：用户发送1条弹幕互动，赠送1个荧光棒...

flink实战--CheckpointedFunction 自定义带有状态的算子

简介 CheckpointedFunction是stateful transformation functions的核心接口，用于跨stream维护state snapshotState在checkpoint的时候会被调用，用于snapshot state，通常用于flush、commit、synchronize外部系统 ...

Flink 实战 —— Flink 集成 Hive

标签：大数据 flink

flink sql flink 整合 hive

Flink实战二_DataStream API

标签： flink java DataStream

Flink实战之DataStream API

flink实战--StreamGraph，JobGraph，ExecutionGraph生成流程解析

标签： flink flink执行计划 StreamGraph

Flink在执行用户的任务时，会涉及到StreamGraph，JobGraph，ExecutionGraph，物理执行图。其中StreamGraph和JobGraph是在client端生成的，ExecutionGraph是在JobMaster中执行的，本文将详细介绍这些Graph的生成流程...

flink实战--flink on k8s (Kubernetes)

标签：大数据 flink k8s

随着 Flink 的逐渐普及，越来越多的 Flink 任务被提交在用户的集群中，用户发现在 session 模式下，任务之间会互相影响，隔离性比较差，因此在 Flink 1.6 版本中，推出了 Per Job 模式，单个任务独占一个 Flink 集群...

【Flink 实战系列】Flink 使用 ParameterTool 动态加载外部配置文件

标签： flink kafka java

直接在代码里面写死。把配置信息维护在一个类里面，所有用到的地方直接引用即可。把配置信息放在项目 resource 下面的一个配置文件中，然后从这个配置文件中加载配置。把配置文件放在外部，启动任务的时候传入一个...

Flink实战：使用Flink Mysql CDC实现MySQL数据同步到StarRocks数据库

标签：数据库 flink mysql

本文将介绍如何使用Apache Flink和MySQL Change Data Capture（CDC）功能将MySQL数据实时同步到StarRocks数据库。我们将通过Flink SQL来开发，并提供相应的源代码示例。上述代码片段创建了一个名为starrocks_sink的...

flink实战--flinksql自定义table source

标签： flink 大数据 big data

自定义FlinkSQL流程总结与案例

flink经典实战案例

标签： flink big data java

一、java版flink-wordcount-离线计算版 1.1maven构建flink，加入依赖  <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java...

flink实战--FlinkSQl实时写入hudi表元数据自动同步到hive

标签： flink hadoop hudi

在Flink操作表的时候，自动同步Hive的元数据。Hive metastore通过目录结构的来维护元数据，数据的更新是通过覆盖来保证事务。但是数据湖是通过追踪文件来管理元数据，一个目录中可以包含多个版本的文件。这一点和...

Flink SQL大数据项目实战（基于Flink1.14.3版本）

标签： FlinkSQL flink 大数据

分享课程——《Flink SQL大数据项目实战》，2022新课，基于Flink1.14.3版本。提供视频配套的源码和文档下载！ Flink SQL大数据项目实战课程以FlinkSQL流批一体技术为主线，全面讲解Flink Table编程、SQL编程、Time...

flink实战-- 生产环境flink程序注意事项

标签： flink

正常情况下Flink 社区已尝试为每个配置提供合理的默认值，但是特殊应用场景需要我们设置具体配置项确保我们线上程序可以高性能的运行，重启等。本篇文章将详细介绍一下线上环境flink程序注意事项，避免入坑。 1. ...

Flink实战- （8）Flink UDF实现数据脱敏

标签： flink java 大数据

在Flink环境实现数据实时同步的过程中，需要对某些字段进行脱敏处理或者特殊处理，这是需要自己定义UDF函数进行转换。

【Flink实战系列】Flink SQL 实时同步数据到 Hive

标签： hive flink sql

通过 HiveCatalog, Apache Flink 可以对 Apache Hive Tables 进行统一的 BATCH 和 STREAM 处理。这意味着Flink 可以作为一个比 Hive 的批处理引擎性能更好的选择，或者可以连续地在 Hive 表中读写数据，从而支持实时...

【Flink实战系列】Flink SQL 之 Session Window 的用法

标签： flink sql 大数据

Flink SQL 之 Session Window 的用法 Session Windows 会话窗口分配器按活动的会话对元素进行分组。与翻滚窗口和滑动窗口相比，会话窗口没有重叠，也没有固定的开始和结束时间。相反，当会话窗口在一段时间内没有...

Flink大数据项目实战

标签：大数据云计算/大数据企业级

本课程基于某电商公司运营实时...通过本课程的学习，既能获得Flink企业级真实项目经验，也能深入掌握Flink的核心理论知识，还能获得Flink在生产环境中安装、部署、监控的宝贵经验，从而一站式全面、深入掌握Flink技术。

Flink实战（八十六）：flink-sql使用（十三）Flink 与 hive 结合使用（五）Hive Streaming

标签： hive flink sql

声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》 ...Flink supports to write, read and join the hive table in the form of streaming. 1 Stream

《Flink实战与性能优化》阅读总结

标签： flink 性能优化大数据

《Flink实战与性能优化》是一本深入实践Flink的实时计算引擎的实用指南。通过详细介绍Flink的流处理和批处理功能，以及表格API的使用，读者可以全面掌握Flink的基本概念和操作。同时，本书的重点在于Flink性能优化和...

【Flink实战系列】Flink 本地 Web UI 的配置及使用

标签： flink

当你在本地开发调试 Flink 任务的时候，如果没有搭建集群环境，但是又想要查看 Flink 的 Web UI 该怎么办呢？其实 Flink 是提供有在本地查看 Flink UI 功能的。添加依赖 <!-- 本地查看 Flink UI 需要这个包 --&...

flink实战--flinksql 窗口TVF

标签： flink javascript java

⽽在Flink的上⼀个稳定版本1.13中，社区通过FLIP-145提出了窗⼝表值函数(window TVF)的实现，⽤于替代旧版的窗⼝分组(group window)语法。本文将从 Window TVF 语法、近实时累计计算场景、 Window 性能优化、多维...

【Flink 实战系列】Flink 同步 Kafka 数据到 HDFS parquet 格式存储 snappy 压缩

标签： kafka flink hdfs

这里使用的是 bulk encoding 格式，这个方法有两个参数，第一个表示的是数据存储的路径，第二个表示的是数据的存储逻辑。这个消费 Kafka 用的是 KafkaSource 也是实现了新的接口 Source，在反序列的时候还是用的我们...

Flink实时引擎项目实战

标签： flink 大数据 java

最近如果拉过austin项目代码的同学，可能就会发现多...这个模块主要是接入（flink），用于实时计算清洗数据给到业务以及系统维护者更方便去使用消息推送平台austin。这篇文章主要来聊聊接入的背景以及我浅薄的经验吧。

Flink实战之实时风控规则引擎

标签： flink 大数据 big data

Flink实战之实时风控规则引擎

Flink实战-基础环境精准一次消费Kafka模板

标签： kafka flink 大数据

Flink实战-基础环境精准一次消费Kafka模板

flink实战 -- flink on yarn 任务日志收集与监控

标签： flink kafka big data

在 Flink on yarn 的模式下,taskManager的日志会存储到所在的DataNode上,当 Flink 任务发生异常，产生异常日志时，需要我们第一时间感知任务已经出现异常，避免影响业务。因此我们需要将Flink任务的日志实时收集...

Flink实战--多流合并

标签： flink java 大数据

本文介绍Flink的流合并操作。在Flink中，流的合并操作算子有：Union和Connect等。本文主要介绍这个两个算子的使用方法

flink实战--flinksql窗口提前触发参数解析

标签： flink kafka 大数据

下面介绍一下FlinkSQL如何提前触发窗口计算。在代码中设置如下两个参数：不开启提前触发窗口如下 demo，从 kafka 读取数据，窗口聚合，输出一天的 pv、uv 注：为了方便测试，1 天的窗口改为 1 分钟的窗

flink实战--flinkSQL写入hudi的四种方式

标签：数据库 mysql hudi

hudi官方提供了下面四种方式写入hudi，可以根据不通的业务需求选择合适的方式。

【Flink实战系列】Flink SQL 字符串类型的字段如何实现列转行？

标签： flink sql kafka

既然不能使用UDTF，那我们就来想想Flink的内置函数能不能满足需求，我们知道unnest函数需要的参数是Row类型的，对应到JSON里面也就是object类型，所以问题就变成了怎么把字符串转成object类型，那我们可以用FlinkSQL...

”flink实战“ 的搜索结果

Flink实战六_直播礼物统计

flink实战--CheckpointedFunction 自定义带有状态的算子

Flink 实战 —— Flink 集成 Hive

Flink实战二_DataStream API

flink实战--StreamGraph，JobGraph，ExecutionGraph生成流程解析

flink实战--flink on k8s (Kubernetes)

【Flink 实战系列】Flink 使用 ParameterTool 动态加载外部配置文件

Flink实战：使用Flink Mysql CDC实现MySQL数据同步到StarRocks数据库

flink实战--flinksql自定义table source

flink经典实战案例

flink实战--FlinkSQl实时写入hudi表元数据自动同步到hive

Flink SQL大数据项目实战（基于Flink1.14.3版本）

flink实战-- 生产环境flink程序注意事项

Flink实战- （8）Flink UDF实现数据脱敏

【Flink实战系列】Flink SQL 实时同步数据到 Hive

【Flink实战系列】Flink SQL 之 Session Window 的用法

Flink大数据项目实战

Flink实战（八十六）：flink-sql使用（十三）Flink 与 hive 结合使用（五）Hive Streaming

《Flink实战与性能优化》阅读总结

【Flink实战系列】Flink 本地 Web UI 的配置及使用

flink实战--flinksql 窗口TVF

【Flink 实战系列】Flink 同步 Kafka 数据到 HDFS parquet 格式存储 snappy 压缩

Flink实时引擎项目实战

Flink实战之实时风控规则引擎

Flink实战-基础环境精准一次消费Kafka模板

flink实战 -- flink on yarn 任务日志收集与监控

Flink实战--多流合并

flink实战--flinksql窗口提前触发参数解析

flink实战--flinkSQL写入hudi的四种方式

【Flink实战系列】Flink SQL 字符串类型的字段如何实现列转行？

推荐文章