Spark Streaming |
您所在的位置:网站首页 › 无状态计算 › Spark Streaming |
无状态转化:
每次计算的时间,仅仅计算当前时间切片的内容,每个批次处理都不依赖于先前批次的数据。
如,每次只计算1s时间内产生的RDD。 如,计算某个单词出现的次数,需要把当前的状态与历史的状态相累加,随着时间的流逝, 数据规模会越来越大,包括updateStatebyKey()和window() |
今日新闻 |
点击排行 |
|
推荐新闻 |
图片新闻 |
|
专题文章 |
CopyRight 2018-2019 实验室设备网 版权所有 win10的实时保护怎么永久关闭 |