分布式系统架构简单介绍 - 问题大白

technologykai 2021-11-05 原文


分布式系统架构简单介绍

目录:

一、什么是分布式系统?            

二、为什么要走分布式系统架构?

三、系统如何进行拆分?

四、分布式之后带来的技术挑战?

 

一、什么是分布式系统?

 

在谈分布式系统架构前,我们先来看看,什么是分布式系统?

 

假设原来我们有一个系统,代码量30多万行。现在拆分成20个小系统,每个小系统1万多行代码。

 

原本代码之间都是直接基于Spring框架走JVM内存调用,现在拆开来,将20个小系统部署在不同的机器上,然后基于分布式服务框架(比如dubbo)搞一个rpc调用,接口与接口之间通过网络通信来进行请求和响应。

 

所以分布式系统很重要的特点就是服务间要跨网络进行调用,我们来看下面的图:

 

 

 

此外,分布式系统可以大概可以分成两类。

1. 底层的分布式系统。

比如hadoop hdfs(分布式存储系统)、spark(分布式计算系统)、storm(分布式流式计算系统)、elasticsearch(分布式搜索系统)、kafka(分布式发布订阅消息系统)等。

2. 分布式业务系统

分布式业务系统,把原来用java开发的一个大块系统,给拆分成多个子系统,多个子系统之间互相调用,形成一个大系统的整体。

 

举个例子,假设原来你做了一个OA系统,里面包含了权限模块、员工模块、请假模块、财务模块,一个工程,里面包含了一堆模块,模块与模块之间会互相去调用,1台机器部署。

 

现在如果你把他这个系统给拆开,权限系统,员工系统,请假系统,财务系统,4个系统,4个工程,分别在4台机器上部署。

 

然后一个请求过来,完成这个请求,员工系统去调用权限系统,调用请假系统,调用财务系统,4个系统分别完成了一部分的事情。

 

最后4个系统都干完了以后,才认为是这个请求已经完成了。这就是所谓的分布式业务系统。

 

同样,我们来一张图,感受一下上述过程:

 

 

 

 

二、为什么要走分布式系统架构?

 

有的同学可能要问了,我一台服务器跑的好好的,所有系统一个工程全部搞定,多好。为啥一定要去搞什么分布式系统架构,互相调用还要走远程,似乎还增加了不少工作量?

 

这里我就以我曾经待过的一个公司的血泪经历为例,来聊聊这个问题。

 

很多年前,在没有走分布式架构的时候,我待的这家公司的各个业务线都是垂直的 “烟囱式” 项目。

 

随着互联网的快速发展,公司的业务也在不断的发展,注册用户增加、网站应用的功能、规模不断扩大,特别是移动互联网的发展,APP、微信、自助终端机等访问渠道的增加,各种新业务,新需求不断涌入,系统遇到了各种各样的问题。

 

首先是项目工程无节制的变得臃肿庞大,系统复杂度增加,大几十万行代码,几十个开发人员,service层,dao层代码大量被copy使用,经常各种代码合并冲突问题要处理,非常耗费时间。

 

经常是我改动了我的代码,别人调用了我的接口,导致他的代码也出现问题,需要重新测试,麻烦的要死。

 

然后每次发布都是几十万行代码的系统一起发布,大家得一起提心吊胆准备上线,几十万行代码的上线,每次上线都要做很多的检查,很多异常问题的处理,每个人都高度紧张,被搞得几乎崩溃。

 

而且如果我现在有个新业务,打算把相关依赖升级一下,比如升级到最新的spring版本,还不行,因为这可能导致别人的代码报错,不敢随意乱改技术。并且一个web工程每次启动都需要好分钟的时间,本地IDE里面调试一次代码都很痛苦。

 

其次,随着用户访问流量的增加,系统负载压力变大,变得不堪重负,通过增加实例数,增加硬件扩容能够带来的效果已微乎其微,故障频发,效率低下。系统质量也越来越难以保证,测试周期也变得越来越长,无法满足公司业务发展的需要。

 

以上就是以前待过的公司一些 “不堪回首” 的往事,总得来说,问题主要体现在以下几个方面:

 

  1. 应用代码耦合严重,功能扩展难

     

  2. 新需求开发交互周期长,测试工作量大

     

  3. 新加入的开发同事需要很长时间才能熟悉系统

     

  4. 升级维护也很困难(改动任何一点地方都要升级整个系统)

     

  5. 系统性能提升艰难,可用性低,不稳定。

 

好,既然我们已经深刻体会到了系统耦合的痛苦,那么现在就来看看,系统拆分后带来的好处:

 

首先,系统拆分了以后,会感觉整个世界都清爽了。

 

几十万行代码的系统,假设拆分成20个服务,平均每个服务就1-3万行代码,每个服务部署到单独的机器上。20个工程,就用20个git仓库代码,20个开发人员,每个人维护自己的那个服务就可以了。

 

  • 因为是自己独立的代码,跟别人没关系。再也没有代码冲突了,爽!

     

  • 每次就测试我自己的代码就可以了,爽!

     

  • 每次就发布我自己的一个小服务就可以了,爽!

     

  • 技术上想怎么升级就怎么升级,保持接口定义不变,输入输出内容不变就可以了,爽!

 

总结起来一句话,分布式系统拆分之后,可以大幅度提升复杂系统大型团队的开发效率。

 

 

三、系统如何进行拆分?

 

一般来说,将系统进行拆分,首先需要对系统整体比较熟悉。可以走多轮拆分的思路,第一次拆分就是将以前的各个大的模块粗粒度的拆分开来。

 

比如一个电商系统可以拆分成订单系统、商品系统、店铺系统、会员系统、促销系统、支付系统等等。

 

后面可能每个系统又变得越来越复杂了,比如说订单系统又可以进一步拆分出来购物车系统,库存系统,价格系统等。

 

总得来说就是基于领域驱动设计的思想以及实战经验总结,同时参考业界一些常规做法,大家讨论着来进行拆分,逐步优化,多轮拆分,小步快跑,最终达到一个比较好的状态。

 

 

四、分布式之后带来的技术挑战?

 

首先就是分布式服务框架的选用,目前国内来讲主流的还是dubbo与spring cloud。

 

我们来思考一下,使用服务框架主要用来解决什么问题呢?如果不用dubbo或者spring cloud是否可以做分布式架构呢?

 

不用dubbo或者spring cloud等服务框架当然也是可以的,但是这就需要自己处理很多事情了。

 

比如,各个子系统走restful接口调用,那么就是http调用,这时比如传送过去一个对象,就要自己搞成一个json,然后一次调用失败后重试怎么做?

 

另外,一般来说都是集群部署,目标系统有多个实例,那么自己还要写一个负载均衡算法,如何每次随机从多个目标机器中挑选一个来调用?

 

还有,如果目标系统扩容新部署了一个实例,或者服务器故障下线了一个实例,如何动态让调用方感知到呢? 诸如此类的很多问题,如果不用服务框架的话,自己这么瞎搞,会遇到各种各样的问题。

 

上述过程,用一张图给大家呈现一下:

 

 

 

如果选用了某一个分布式服务框架,就需要深入的掌握这个框架的使用与底层原理,比如 dubbo 就需要搞明白以下的一些问题:

 

  1. dubbo的工作原理?

     

  2. dubbo支持的序列化协议?

     

  3. dubbo的负载均衡和高可用策略?动态代理策略?

     

  4. dubbo的SPI思想?

     

  5. 如何基于dubbo进行服务治理、服务降级、失败重试以及超时重试?

     

  6. dubbo服务接口的幂等性如何设计(比如不能重复扣款,不能重复生成订单,不能重复创建卡号)?

     

  7. dubbo服务接口请求的顺序性如何保证?

     

  8. 如何自己设计一个类似dubbo的rpc框架?

 

使用spring cloud也是一样,比如eureka的工作原理?feign声明式调用的原理?等等各种底层原理要搞懂。

 

还有其它一些走分布式架构后常见的要解决的技术问题:

 

    1. 分布式会话

       

    2. 分布式锁

       

    3. 分布式事务

       

    4. 分布式搜索

       

    5. 分布式缓存

       

    6. 分布式消息队列

       

    7. 统一配置中心

       

    8. 分布式存储,数据库分库分表

       

    9. 限流、熔断、降级等。

发表于
2019-06-13 17:56 
问题大白 
阅读(562
评论(0
编辑 
收藏 
举报

 

版权声明:本文为technologykai原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://www.cnblogs.com/technologykai/articles/11018296.html

分布式系统架构简单介绍 - 问题大白的更多相关文章

  1. 刷新本地DNS – 龙果果

    刷新本地DNS 刷新本地DNS windows  修改HOST文件: 地址:C:\Windows\System […]...

  2. 50个启发你灵感的黄色系网站设计 – coderidea

    50个启发你灵感的黄色系网站设计 2011-11-22 12:39  coderidea  阅读(7188)  […]...

  3. juniper srx 配置 – 哈喽,特立独行的猫!

    juniper srx 配置 2018-05-15 16:10  哈喽,特立独行的猫!  阅读(1027)  […]...

  4. 【转载】mac os常用软件 – rainduck

    【转载】mac os常用软件 最近准备重新装系统了,,先暂时直接转~等重转好后,再自己整理个列表 小胖的 […]...

  5. —— 新春第一炮:阶乘算法性能分析与 double fault 蓝屏故障排查 Part I ——

    —— 新春第一炮:阶乘算法性能分析与 double fault 蓝屏故障排查 Part […]...

  6. 撬动知识星球 – 01

    知识的传递和碰撞,过程慢热,需要足够的耐心和定力。所以我决定对书中每位大佬的无私分享,做一个简单的记录和发散, […]...

  7. 一个主成分分析例子 – Mountain\’s_blog

    一个主成分分析例子 文档排版有问题,可以下载附件,,假设有一个数据框a,num是样本序号,var1-var4是 […]...

  8. 手把手创建一个聊天机器人 – binbinlin

    手把手创建一个聊天机器人 2018-09-14 14:27  binbinlin  阅读(1642)  评论( […]...

随机推荐

  1. Python乱写

    一. 摆放界面首先在“运行”里输入 \(sub\) ,然后运行 \(sublime\) ;Ctrl+N新建一个源代码,\(Tools-Build\) \(System-Python\) 调成 \(Python\) 模式;按住Win+R,输...

  2. GlusterFS分布式存储

    目录 glusterfs简介 glusterfs部署 glustefs分布式存储优化 glusterfs在企业 […]...

  3. 微信被举报怎么解除?微信解除限制的6个方法

      在微信的运营过程中难免会出现一些无法预料的事情,比如在朋友圈被恶评,甚至被某些别有用心的人恶意举报,这些烦 […]...

  4. Linux jar包 后台运行

    Linux 运行jar包命令如下:方式一:java -jar test.jar  特点:当前ssh窗口被锁定,可按CTRL + C打断程序运行,或直接关闭窗口,程序退出那如何让窗口不锁定? 方式二:java -jar test.j...

  5. C#压缩或解压(rar和zip文件)

    /// <summary> /// 解压RAR和ZIP文件(需存在Winrar.exe(只要自己电 […]...

  6. 『开发技巧』Keras自定义对象(层、评价函数与损失)

    1.自定义层 对于简单、无状态的自定义操作,你也许可以通过 layers.core.Lambda 层来实现。但 […]...

  7. [ASP.NET]DataBinder.Eval用法

      <%# Bind(“Subject“) %> //绑定字段<%# […]...

  8. 【人工智能】想要转人工智能,程序员该如何学习?

    中国人工智能行业正处于一个创新发展时期,对人才的需求也在同步急剧增长。商情数据旗下国内领先的产业研究咨询服务机 […]...

展开目录

目录导航