欢迎访问 生活随笔!

ag凯发k8国际

当前位置: ag凯发k8国际 > 前端技术 > javascript >内容正文

javascript

有什么办法动态更改yml的值吗-ag凯发k8国际

发布时间:2024/10/12 javascript 26 豆豆
ag凯发k8国际 收集整理的这篇文章主要介绍了 有什么办法动态更改yml的值吗_基于redis实现spring cloud gateway的动态管理 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

转载本文需注明出处:微信公众号eaworld,违者必究。

spring cloud gateway是当前使用非常广泛的一种api网关。它本身能力并不能完全满足企业对网关的期望,人们希望它可以提供更多的服务治理能力。但spring cloud gateway并不提供数据的动态管理,甚至修改个路由都需要重启。我们如何解决它这个短板,同时实现治理配置数据的高效动态管理呢?本文将带来我们网关与redis组合的实践。

1.spring cloud gateway 简介

2.网关数据管理

3.实现细节

api 网关

api 网关出现的原因是微服务架构的出现,不同的微服务一般会有不同的网络地址,而外部客户端可能需要调用多个服务的接口才能完成一个业务需求,如果让客户端直接与各个微服务通信,会有以下的问题:

  • 客户端会多次请求不同的微服务,增加了客户端的复杂性。
  • 存在跨域请求,在一定场景下处理相对复杂。
  • 认证复杂,每个服务都需要独立认证。
  • 难以重构,随着项目的迭代,可能需要重新划分微服务。例如,可能将多个服务合并成一个或者将一个服务拆分成多个。如果客户端直接与微服务通信,那么重构将会很难实施。
  • 某些微服务可能使用了防火墙 / 浏览器不友好的协议,直接访问会有一定的困难。

以上这些问题可以借助 api 网关解决。api 网关是介于客户端和服务器端之间的中间层,所有的外部请求都会先经过 api 网关这一层。也就是说,api 的实现方面更多的考虑。

使用 api 网关后的优点如下:

  • 易于监控。可以在网关收集监控数据并将其推送到外部系统进行分析。
  • 易于认证。可以在网关上进行认证,然后再将请求转发到后端的微服务,而无须在每个微服务中进行认证。
  • 减少了客户端与各个微服务之间的交互次数。

spring cloud gateway

spring cloud gateway是spring官方基于spring 5.0,spring boot 2.0和project reactor等技术开发的网关,spring cloud gateway旨在为微服务架构提供一种简单而有效的统一的api路由管理方式。

spring cloud gateway作为spring cloud生态系中的网关,目标是替代netflix zuul,其不仅提供统一的路由方式,并且基于filter链的方式提供了网关基本的功能,例如:安全,监控/埋点,和限流等。

scg架构

如图所示,scg的架构看起来很简单。

首先,它内部包含了一个高性能的netty server,用来接收各类网络请求。请求进来之后,会根据配置的各个路由进行匹配并处理请求。每个路由都可以定义多个断言(predicate),用于路由匹配。

scg默认提供了10多个内建的断言,可以基于请求的各个方面(请求头,路径,路径,时间,cookie,http方法等)进行路由匹配。如果还不够,用户还可以自已扩展。

请求匹配到了合适的路由之后,就会按照路由中配置的各过滤器(filter),按顺序对请求进行处理。filter也基本上可以对请求的所有属性做处理,修改,添加或者除请求头,修改请求数据,修改返回的数据等,几乎无所不能。当然,修改请求也只是一方面的用途,认证,鉴权,记录日志等也都可以在网关中统一来做。

所有filter形成处理链,直到所有的filter处理完,才会交给最后面的 netty client,由它将处理过的请求发送至对应的微服务。

在请求发送至微服务之前,还可以定义它的负载均衡策略(loadbalancerrule),以决定请求至底发往微服务的哪个实例。

filter 与 loadbalancerrule 都支持自行扩展。

实现一个适合自已的网关,对数据管理需要考虑哪些方面的东西呢?

1.首先,我们要考虑一下,我们需要管理些什么数据。

scg本身对数据管理的管理是很弱的。它没有提供数据的持久化方案,它所有的数据都来自初始化,来自它的配置文件(application.yml)。它本身虽然也对外提供了一些管理接口(actuator api)能力不够,但能力不够,且这些修改都是暂时的,网关一停,数据就消失了。这就要求我们要用一套更完善的方案,把网关的这些数据管理起来,不能让它只能写在配置文件中,而要支持持久化,支持动态变更。再有就是我们对各微服务的治理数据。网关只用来做路由转发,那就太浪费了,统一认证,统一鉴权,访问日志记录,应用访问统计,黑白名单过滤,api订阅管理,流量限制,甚至数据格式转换,网络协议转换,都可以在网关中来做。而所有的这些能力,无不需要数据的支持。因此,这些服务的治理配置,也是网关需要管理的数据。

2.数据有了,我们还得考虑怎么把它保存起来,不能网关一重启,所有数据就没了。

3.还得再考虑一下数据的读取。网关对性能的要求是很高的,每次对过关的数据进行治理,都需要去读取这些配置信息。如果配置信息读取太消耗资源,无疑对网关是不利的。所以,我们还得考虑数据如何缓存,以提高数据的读取性能。

4.单个网关,可以处理的请求量是有上限的。为了应对大的流量,我们可能会需要对网关做水平扩容。当多个网关实例共存时,如何保障对网关的修改,能快速同步到每个网关实例呢?数据变更通知也得考虑。

5.最多,我们还得考虑一下方案的扩展,数据存储能不能改个地方,通知能不能换种方式?

综合考虑了这些方面之后,我们的网关的架构如下:

gateway-arch

如图,以上就是我们网关的整体设计。方案设计要点如下:

  • 网关对外提供治理数据管理接口, 微服务治理平台可通过这些接口, 将治理配置推送到网关
  • 网关通过治理数据统一存储接口, 将治理配置数据保持至治理数据持久存储(这里我们默认为redis)
  • redis通过发布订阅能力, 将数据的变更通知到各网关实例
  • 各网关实例收到通知后, 将数据从持久存储同步至内部高速缓存
  • 内部缓存在网关启动时, 会自动从持久存储加载对应配置进入缓存. 同时它也支持清空, 以及按需加载
  • 外部业务请求经过网关时, 对数据执行鉴权,处理转换, 以及灰度策略时,所需要治理配置,都从内部缓存中获取, 以提升性能
  • 方案中, 外部持久存储(默认用的redis, 可以换成mysql, 文件, appolo等), 以及数据变更通知(默认使用的是redis的发布订阅, 可以换成appolo通知, 消息队列, 定时扫描等), 都是可以扩展的
  • 动态路由管理

    spring cloud gateway作为所有请求流量的入口,在实际生产环境中为了保证高可靠和高可用,尽量避免重启, 需要实现spring cloud gateway动态路由配置。实现动态路由其实很简单, 重点在于 routedefinitionrepository 这个接口. 这个接口继承自两个接口, 其中 routedefinitionlocator 是用来加载路由的. 它有很多实现类, 其中的 propertiesroutedefinitionlocator 就用来实现从yml中加载路由. 另一个 routedefinitionwriter 用来实现路由的添加与删除. 通过查看spring cloud gateway的源码可以发现, 在 org.springframework.cloud.gateway.config.gatewayautoconfiguration中这么一段:

    @bean@conditionalonmissingbean(routedefinitionrepository.class)public inmemoryroutedefinitionrepository inmemoryroutedefinitionrepository() { return new inmemoryroutedefinitionrepository();}

    可以看出, 网关中如果没有routedefinitionrepository的bean, 就会采用inmemoryroutedefinitionrepository做为实现。这个 inmemoryroutedefinitionrepository有一个问题, 就是数据没有持久化, 网关重启之后,原来通过接口设置的路由就会丢失了。

    这当然是不可接受的, 所以我们需要实现自已的 routedefinitionrepository, 来提供路由配置信息。如使用redis做为存储, 来实现路由的存储。实现请参考文章:https://dwz.cn/tshfkwme

    除此以外, 每当路由更改之后, 还需要通知网关刷新路由。这需要发送 refreshroutesevent 来通知网关。如下列示例:

    @componentpublic class routedynamicservice implements applicationeventpublisheraware { private applicationeventpublisher publisher;​ @override public void setapplicationeventpublisher(applicationeventpublisher publisher) { this.publisher = publisher; }​ /** * 刷新路由表 */ public void refreshroutes() { publisher.publishevent(new refreshroutesevent(this)); }}

    刷新可以通过消息通知机制来触发, 当然, 也可以对外接供rest接口, 手动触发。### 数据存储

    如上述类图所示, igoverndatarepository为治理数据统一存储接口。redisgoverndatarepository为实现的它的抽像类, 它需要依赖两个, 一个是stringredistemplate,用来实现redis数据的存储。另一个为 rediskeygenerator, 用来为各治理对象生成对应的key。redisgoverndatarepository下面则为各个治理数据存储的实现类。使用redis做为持久存储时, 需要注意以下几点:

  • 为对象生成key时, 建议为key添加一个命名空间(就是加一段有意义的前缀)
  • 在redis中进行模糊搜索时, 提供给redis的pattern, 不能是一个正则的通配, 它支持三种通配 *(多个), ?(单个)
  • 如果数据量比较大, 不建议使用keys进行模糊查询, 应该使用scan方式
  • 数据缓存

    我们提供了内部缓存,它处于使用者与持久存储之间,缓存数据以提升性能。缓存的实现主要有如下几点:

  • 实现了 initializingbean 以实现在网关启动时, 自动加载数据
  • 内部使用了concurrenthashmap, 保证写时的线程同步, 又保证了get时的高效(get整个过程不需要加锁)
  • 从缓存中取数据时, 如果需要懒加载, 当从持久存储中加载不到数据时, 建议使用空数据, 或空集合占位, 避免每次都去持久存储中查询
  • 代码示例如下:

    /** * 根据 appcode 获取流量策略 * * @param appcode * @return */public set getapptrafficpolicies(string appcode) { // 从缓存加载 map map = policymap.get(appcode); // 缓存中没有 if (map == null) { // 尝试从持久存储中加载所有此网关的流量策略 set policies = trafficpolicyrepository.fuzzyquery(); // 持久存储中没有任何流量策略,占个位置,防止缓存重复去加载 if (policies == null || policies.size() == 0) { map = new concurrenthashmap<>(); policymap.put(appcode, map); } else { // 持久存储中有流量策略,放入缓存 for (applicationtrafficpolicy policy : policies) { settrafficpolicy(policy); } // 重新从缓存中加载一次 map = policymap.get(appcode); // 如果还是没有,使用空 map 占位子 if (map == null) { map = new concurrenthashmap<>(); policymap.put(appcode, map); } } } return map.values().stream().collect(collectors.toset());}

    事件通知

    事件通知,这里我们使用的是redis的发布与订阅能力。redis默认是不发送事件的,要让它发布事件,需要先修改它的配置文件redis.conf,添加一个配置:

    notify-keyspace-events "k$g"

    上面的配置将使得redis中发生数据的添加,修改或删除时,发送set或del事件。

    然后,我们需要配置一个redismessagelistenercontainer,用来订阅我们感兴趣的事件。

    @beanredismessagelistenercontainer container(messagelisteneradapter listeneradapter) { string gtwreidspattern = "__keyspace@*__:" gtw keygenerator.getgatewaycode() "]*"; string cofredispattern = "__keyspace@*__:" cof cachekey.getkeynamespace() user_name "*"; log.info("add gateway redis message listener, patterntopic is {}

    总结

    以上是ag凯发k8国际为你收集整理的有什么办法动态更改yml的值吗_基于redis实现spring cloud gateway的动态管理的全部内容,希望文章能够帮你解决所遇到的问题。

    如果觉得ag凯发k8国际网站内容还不错,欢迎将ag凯发k8国际推荐给好友。

    • 上一篇:
    • 下一篇:
    网站地图