|
Flink的集群搭建 集群搭建系统架构JobManager真正意义上的管理者（master），负责管理调度，所以在不考虑高可用的情况下只能有一个•JobMaster•负责处理单独的Job•ResourceManager•负责资源的分配和调度•Dispatcher•用来提交应用，并且负责给每一个新提交的作业启动一个新的JobMasterTaskManager是工作者（worker），负责执行任务，处理数据，所以可以有多个运行方式standaloneFlink自己管理自己YarnSessionMode•Flink整体在Yarn上面申请一大块资源•多个Job共享一个集群，Job退出 集群也不会退出•使用场景•频繁提交大量 小job的场景•命令•启动并分配 资源•yarn-session.sh -n 3 -jm 1024 -tm 1024•-n 指明container容器个数，即 taskmanager的进程个数。•-jm 指明jobmanager进程的内存大小•-tm 指明每个taskmanager的进程内存大小•提交任务•flink run -c com.yjxxt.flink.Hello01Standalone -p 2 -m node03:39495 /root/flink060106_util.jarPer-Job Mode•每个Job独享一个集群，Job退出则集群退出•使用场景•适合比较大Job，运行时间很长•因为每启动一个Job，都要去向Yarn申请容器启动jm，tm，相对来说耗时较长•命令•提交任务•flink run -m yarn-cluster -yjm 1024 -ytm 1024 -c com.yjxxt.flink.Hello01StandAloneflink060105_tools-1.0-SNAPSHOT.jar•-m: 后面跟的是yarn-cluster，不需要指明地址。这是由于Single job模式是每次提交任务会新建flink集群，所以它的jobmanager是不固定的•-yn: 指明taskmanager个数ApplicationMode•每次提交的任务，会随机选择 一个节点作为JobManager•命令•提交任务•flink run-application -t yarn-application /root/flink060106_util.jar•列出集群上正在运行的作业,列出jobId、jobName•flink list -t yarn-application -Dyarn.application.id=application_1666689812613_0003•取消任务： jobId•flink cancel -t yarn-application -Dyarn.application.id=application_1666689812613_0003Flink CEP概念CEP(Complex Event Processing可以在无限事件流中检测出特定的事件其实就是类似正则表达式，用来过滤数据的规则简单的模式就成为模式复杂的模式称为模式的序列每个模式必须有一个独一无二的名字，可以在后面使用来识别匹配到的事件模式单个模式量词•pattern.oneOrMore()•一个事件出现一次或者多次的模式•pattern.times(#ofTimes)•一个事件出现指定次数的模式•pattern.times(#fromTimes, #toTimes)•一个事件出现的次数在最大值和最小值之间•pattern.greedy()•让循环模式变成贪心的•pattern.optional()•让方法变成可选的条件•pattern.where()•pattern.or() •pattern.until() 组合模式严格连续•希望所有匹配的事件严格的一个接一个的出现，中间没有任何不匹配的事件松散连续•忽略匹配事件之间不匹配的事件不确定的松散连续•更进一步的松散连续，允许忽略掉一些匹配事件的附加匹配代码•next()•严格连续•followedBy（）•松散连续•followedByAny()•不确定的松散连续•notNext()•后面不想直接连着一个事件•notFollowedBy()•不想一个事件发生在两个事件之间的任何地方循环模式默认是松散连续如果想使用 严格连续 ，需要使用 consecutive() 方法明确指定匹配后跳过策略NO_SKIP•每一个成功的匹配都会被输出SKIP_TO_NEXT•丢弃以相同事件开始的所有部分匹配SKIP_PAST_LAST_EVENT•丢弃起始在这个匹配的开始和结束之间的所有部分匹配SKIP_TO_FIRST•丢弃起始在这个匹配的开始和第一个出现的指定名称的事件之间的所有匹配SKIP_TO_LAST•丢弃起始在这个匹配的开始和最后一个出现的指定名称的事件之间的所有匹配Flink MetricsFlink 集群运行中的各项指标类别Count 计数器对一个计数器进行累加可以通过调用 counter(String name)来创建和注册 MetricGroupGauge 指标瞬时值反应一个指标的瞬时值使用前首先创建一个实现org.apache.flink.metrics.Gauge 接口的类。返回值的类型没有限制。可以通过在 MetricGroup 上调用 gaugeMeter 平均值计算一个指标在一个时间段内的平均值通过 markEvent() 方法注册事件的发生 Histogram 直方图用于统计一些数据的分布通过调用 histogram(String name, Histogram histogram) 来注册一个 MetricGroup
|