WW大数据平台架构
1.大数据架构
说明:
1.该大数据平台采用的阿里云服务器,所以在集群部署和运维上会减少很多工作量
2.主题的计算引擎采用Spark,部分有Flink
3.数据挖掘主要是应用python的一些挖掘框架,模型比如词袋模型和一些常见的nlp算法
4.任务调度是自研的诸葛大数据调度平台
版权声明:本文为jiashengmei原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
说明:
1.该大数据平台采用的阿里云服务器,所以在集群部署和运维上会减少很多工作量
2.主题的计算引擎采用Spark,部分有Flink
3.数据挖掘主要是应用python的一些挖掘框架,模型比如词袋模型和一些常见的nlp算法
4.任务调度是自研的诸葛大数据调度平台