当前位置:今日新闻头条_劲爆娱乐头条_评论热点新闻 - 飞扬新闻网 > 社会 >

面试官:先说说如何发现 Redis 热点 Key,解决方案有哪些?

发布时间:2020-06-14 10:22:37 观看次数:93

一热点问题产生原因

热点问题产生的原因大致有以下两种:

.用户消费的数据远大于生产的数据(热卖商品热点新闻热点评论明星直播)

在日常工作生活中一些突发的的事件,例如:

双十一期间某些热门商品的降价促销,当这其中的某一件商品被数万次点击浏览或者购买时,会形成一个较大的需求量,这种情况下就会造成热点问题。

同理,被大量刊发浏览的热点新闻热点评论明星直播等,这些典型的读多写少的场景也会产生热点问题。

.请求分片集中,超过单的性能极限。

在服务端读数据进行访问时,往往会对数据进行分片切分。

此过程中会在某一主机上对相应的进行访问,当访问超过极限时,就会导致热点问题的产生。

二热点问题的危害

•流量集中,达到物理网卡上限。

•请求过多,缓存分片服务被打垮。

•击穿,引起业务雪崩。

如前文讲到的,当某一热点的请求在某一主机上超过该主机网卡上限时,由于流量的过度集中,会导致服务器中其它服务无法进行。

如果热点过于集中,热点的缓存过多,超过目前的缓存容量时,就会导致缓存分片服务被打垮现象的产生。

当缓存服务崩溃后,此时再有请求产生,会缓存到后台上,由于本身性能较弱,在面临大请求时很容易发生请求穿透现象,会进一步导致雪崩现象,严重影响设备的性能。史上最全高可用解决方案总结,这篇强烈推荐大家阅读。

三常见解决方案

通常的解决方案主要集中在对客户端和端进行相应的改造。

.服务端缓存方案

首先会将请求发送至上,而又是一个多线程的服务,本地就具有一个基于策略的缓存空间。史上最全高可用解决方案总结,这篇强烈推荐大家阅读。关注技术栈微信公众号,在后台回复关键字:,可以获取一份栈长整理的最新技术宝典。

当本身就拥堵时,不会将请求进一步发送给而是直接返回,只有当本身畅通时才会将请求发送至,并且将该数据重新写入到缓存中。

此时就完成了缓存的访问跟重建。

但该方案也存在以下问题:

•缓存失效,多线程构建缓存问题。

•缓存丢失,缓存构建问题。

•脏读问题。

.使用方案

该方案通过在客户端单独部署缓存的方式来解决热点问题。

使用过程中首先访问服务层,再对同一主机上的缓存层进行访问。

该种解决方案具有就近访问速度快没有带宽限制的优点,但是同时也存在以下问题:

•内存资源浪费。

•脏读问题。

.使用本地缓存方案

使用本地缓存则存在以下问题:

•需要提前获知热点。

•缓存容量有限。

•不一致性时间增长。

•热点遗漏

传统的热点解决方案都存在各种各样的问题,那么究竟该如何解决热点问题呢?

四阿里云数据库解热点之道

.读写分离方案解决热读

架构中各节点的作用如下:

•层做负载均衡

•层做读写分离自动路由

•负责写请求

•节点负责读请求

•节点和节点做高可用

实际过程中将请求传到,又将其分发至多个内,通过对请求的识别,将其进行分类发送。

例如,将同为的请求发送到模块内,而将的请求发送至模块。

而模块中的只读节点可以进一步扩充,从而有效解决热点读的问题。

读写分离同时具有可以灵活扩容读热点能力可以存储大量热点对客户端友好等优点。

.热点数据解决方案

该方案通过主动发现热点并对其进行存储来解决热点的问题。

首先也会访问,并且通过将各种请求分发至中,会按照基于路由的方式将请求转发至后端的中。

在热点的解决上是采用在服务端增加缓存的方式进行。

具体来说就是在上增加本地缓存,本地缓存采用算法来缓存热点数据,后端节点增加热点数据计算模块来返回热点数据。

架构的主要有以下优点:

•本地缓存热点,读能力可水平扩展。

•节点定时计算热点数据集合。

•反馈热点数据。

•对客户端完全透明,不需做任何兼容。

.热点处理

..热点数据的读取

在热点的处理上主要分为写入跟读取两种形式,在数据写入过程当收到数据并将其通过某一个写入一个,完成数据的写入。一份完整的阿里云开发规范,这篇强烈推荐大家阅读。

假若经过后端热点模块计算发现成为热点后,会将该热点进行缓存,当下次客户端再进行访问时,可以不经。

最后由于是可以水平扩充的,因此可以任意增强热点数据的访问能力。

..热点数据的发现

对于上热点数据的发现,首先会在一个周期内对进行请求统计,在达到请求量级后会对热点进行热点定位,并将所有的热点放入一个小的链表内。

在通过请求进行访问时,若发现待访点是一个热点,就会进入一个反馈阶段,同时对该数据进行标记。

计算热点时,主要运用的方法和优势有:

•基于统计阀值的热点统计。

•基于统计周期的热点统计。

•基于版本号实现的无需重置初值统计方法。

•计算同时具有对性能影响极其微小内存占用极其微小等优点。

五两种方案对比

通过上述对比分析可以看出:

阿里云在解决热点上较传统方法相比都有较大的提高,无论是基于读写分离方案还是热点数据解决方案,在实际处理环境中都可以做灵活的水平能力扩充都对客户端透明都有一定的数据不一致性。

此外读写分离模式可以存储更大量的热点数据,而基于的模式有成本上的优势。

今天,给大家整理汇总了:年互联网大厂真实面试题,主要有:蚂蚁金服拼多多阿里云百度唯品会携程丰巢科技乐信软通动力银盛支付中国平安等初,中级,高级面试题集合。

珍藏多年的个高端简历模板,也一起送给大家

领取步骤

关注,转发

私信发送:电子书

Copyright © 2018 http://www.fycec.cn Inc. All Rights Reserved. 飞扬新闻网 版权所有