Flink基本概念

ALittleMoreLove 2021-09-07 原文


Flink基本概念

Flink基本概念

1.The history of Flink?

2.What is Flink?

Apache Flink是一个开源的分布式高性能高可用准确的流处理框架,主要由Java代码实现,支持实时流(stream)处理和批(batch)处理,批数据只是流数据的一个极限的特例。原生支持了迭代管理、内存计算和程序优化。

3.The Feature of Flink?

流式优先(streaming-first:连续处理),容错(fault-tolerant:有状态的计算),可伸缩(scalable:可支持上千个节点),性能(performance:高吞吐-每秒处理的数据量很大、低延迟-数据产生时Flink立刻可以处理掉 数据的产生到处理间隔的时间很短)。

4.The Architecture of Flink?

(1)部署deploy : 支持local(single jvm)、支持cluster(standalone、yarn)、支持cloud(GCE、EC2)  (2)核心core : 分布式流处理框架  (3)APIs : DataStream API、DataSet API  (4)Libraries : DataStream API — CEP、Table,DataSet API — FLinkML、Gelly、Table

5.The basic components of Flink?

Data Source、Transformations、Data Sink

6.The Distributed Execution about Flink?

7.The different between Batch Processing and Streaming Processing?

流处理是一个节点把一条记录处理完后序列化到缓存里另一个节点立刻把数据从缓存中拉过去进行处理,批处理是一个节点处理一条记录放入缓存中另一个节点不会立刻从缓存中拉取记录直到所有的记录都执行完为止在统一从缓存里拉取数据。

8.The diagram of Flink Cluster? 

9.The application scene of Flink?

优化电商网站的实时搜索结果如阿里巴巴的实时更新产品细节使用Flink,实时更新库存细节使用Blink。

10.Flink vs Storm vs Spark Streaming vs Trident?

Flink可以通过设置阈值来实现流处理或批处理,如果将阈值设为0那么就相和Storm一样的实时流处理来一条数据处理一条,真正的实现了低延迟但是相对的吞吐量会降低,如果阈值设为无限大相当于批处理一样那么吞吐量会提高却无法实现低延迟的效果,当然根据实际情况可以吧把值设为合适的值。Storm就是实时流处理来一条数据处理一条,保证数据至少被处理一次,所以可能会处理重复,其他三者都是保证了仅一次的处理。Spark Streaming是微批处理(mirco-batching),本质上不属于实时流处理,而是每隔一定的时间段会处理一次数据,一批一批的小批量处理。Trident是基于Storm的一个封装,是一批一批的小批量处理。

11.Flink execution process?

 

发表于
2018-08-14 13:24 
紫轩弦月 
阅读(1131
评论(0
编辑 
收藏 
举报

 

版权声明:本文为ALittleMoreLove原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/ALittleMoreLove/p/9474056.html

Flink基本概念的更多相关文章

随机推荐

  1. 聊聊图数据库和图数据库的小知识

    图数据库 – 维基百科:在计算机科学中,图数据库(英语:graph database,GDB)是一 […]...

  2. 程序员是吃青春饭的吗?28开始学习编程还来不来得及? – 筠子11

    程序员是吃青春饭的吗?28开始学习编程还来不来得及? 2019-06-11 15:35  筠子11  阅读(6 […]...

  3. 双指针,BFS和图论(二)

    (一)BFS 1.地牢大师 你现在被困在一个三维地牢中,需要找到最快脱离的出路! 地牢由若干个单位立方体组成, […]...

  4. 设置定点数学属性

    此示例演示如何在matlab®代码中设置固定点数学属性。 您可以使用 fimath 对象控制赋值,加法,减法和 […]...

  5. 使用JSCH框架通过跳转机访问其他节点

      之前搞了套远程访问ssh进行操作的代码,最近有需求,需要通过一台跳转机才能访问目标服务。在网上搜了半天,也 […]...

  6. ChatGPT正式添加浏览和插件功能-使用教程

    今天ChatGPT正式完成了更新,新增加了网络浏览和插件功能。这篇文章将会第一时间告诉你ChatGPT的最新网络访问功能如何操作,以及它的效果如何,我们会列举出一些问题来测试验证它的效果。目前该功能只面向plus用户,如果需要体验请续费高级会员。...

  7. CSS常见布局

    一、单列布局     1. 水平居中          1.1 使用inline-block和text-ali […]...

  8. 几款不错的RPA开源软件分享[RPA Plus]

        https://blog.csdn.net/dev_kex/article/details/10545 […]...

展开目录

目录导航