[学习]sentinel中的DatatSource(一) ReadableDataSource

sentinel是今年阿里开源的高可用防护的流量管理框架。

git地址：https://github.com/alibaba/Sentinel

wiki：https://github.com/alibaba/Sentinel/wiki

FAQ：https://github.com/alibaba/Sentinel/wiki/FAQ

--------------------------------------------------------------------------------------------------------------------------------------------------------

本文对其中的DataSource扩展进行学习，此为第一部分ReadableDataSource。

sentinel-datasource-extension模块，在sentinel-extension模块下，见下图：

sentinel-datasource-extension模块主要定义了datasource扩展相关的接口，见下图：

其中，FileRefreshableDataSource、FileWritableDataSource是基于文件的DataSource的实现；

此外官方还提供了zookeeper、nacos、apolo的3个DataSource实现，参见上图的sentinel-datasource-zookeeper、sentinel-datasource-nacos、sentinel-datasource-apollo的3个模块；

首先，我们来看下sentinel-datasource-extension模块吧，先看下接口和类图结构；

在IDEA里，选中com.alibaba.csp.sentinel.datasource包下所有类和接口，右键->Diagrams->Show Diagram(Ctrl+Alt+Shift+U)：

可以看到顶层有3个接口，两个DataSource，一个Converter；

顾名思义，ReadableDataSource表示读的数据源，WriteableDataSource表示写的数据源，Converter表示转换器接口；

一个个看:)

ReadableDataSource<S, T>：这是个泛型接口，其实注释很清楚了，S、T分别代码来源和结果，一般是把某个数据来源对象转换成Sentinel的Rule类，比如String->List<FlowRule>;

接口定义了4个方法：

1.T loadConfig() 从数据源中读取数据，返回T类型数据；

后面会看到，其实该方法实现通常是2步

S readSource(); // 调下面的readSource接口读取

T convert(S source); // 通过Converter<S, T>接口转换

2.S readSource() 从数据源中读取数据，返回S类型数据；

读取数据跟具体的数据源有关，需要数据源相关的api包或client；

比如从文件中读数据，通过java.io、java.nio包；

从zookeeper读取，通过org.apache.curator client api；

读数据又分为拉模式、推模式，参考sentinel官方的wiki，动态规则扩展：https://github.com/alibaba/Sentinel/wiki/%E5%8A%A8%E6%80%81%E8%A7%84%E5%88%99%E6%89%A9%E5%B1%95

拉模式：继承AutoRefreshDataSource抽象类，在readSource()中实现从数据源读取数据；

推模式：继承AbstractDataSource抽象类，在构造函数中添加数据源变动的监听器，在readSource()中实现从数据源读取数据；

注：继承这两个抽象类是推荐的一种简单方式，但不是强制；

3.SentinelProperty<T> getProperty() 返回SentielProperty，注意是<T>类型

SentinelProperty<T>是一个泛型接口，在sentinel-core模块的property包下

4.void close() 关闭数据源，一般是指释放资源，比如文件类型数据源关闭文件

既然关键接口其中一个方法返回SentinelProperty<T>，那我们先去sentinel-core看看该接口和相关的实现类。

先查看接口和类图结构。同样方法，选中property包下所有类和接口，右键->Diagrams->Show Diagram(Ctrl+Alt+Shift+U)：

顶层有2个接口，看名称PropertyListener可能跟SentinelProperty的监听有关。

先看SentinelProperty接口

有3个方法，看名称感觉有点像观察者模式中的监听器。

接着，我们看下它的2个实现类

NoOpSentinelProperty类方法实现为空，从名称也看得出，它不作任何操作；

对着NoOpSentinelProperty类名按住Crtl+鼠标左键，

发现只有EmptyDataSource类用到了NoOpSentinelProperty，看注释和方法，了解到这是一个空的DataSource实现，用于设置默认配置。

接着，我们重点关注SentinelProperty<T>接口的另一个实现DynamicSentinelProperty<T>

可以看到，DynamicSentinelProperty<T>定义了2个属性，

Set<PropertyListener<T>> listeners用于保存属性监听器，注意PropertyListener<T>是接口类型；

T value 用于存值；

观察addListener、removeListener方法，分别是往Set<PropertyListener<T>> listeners添加和删除监听器；

只是addListener方法添加了监听器后，调用了添加的那个监听器的listener.configLoad(value)回调方法，用于监听器处理第一次加载

在实现的void updateValue(T newValue)方法中，首先通过isEqual(value, newValue)方法，判断了新值和旧值是否相同，

如果相同，不作处理直接返回；

如果不同，首先用RecordLog.info方法记1条日志信息；

将新值赋给value，遍历监听器集合，调用回调方法listener.configUpdate(newValue)；// 看到这里就很清楚了，这是典型的观察者模式

此外，DynamicSentinelProperty还提供一个public方法close用户清空监听器集合；

我们接着看PropertyListener<T>接口：

该接口提供了两个回调方法，1个是value更新回调，1个是第一次加载value回调

在看实现了PropertyListener<T>的SimplePropertyListener类：

该类是一个抽象类，重写了configLoad方法，调用configUpdate(value)方法，意思就是第一次加载回调复用更新回调的逻辑。

到这里，我们并没有看到PropertyListener<T>接口的具体实现类，

选中PropertyListener文件，Ctrl+H查看类继承结构：

可以看到除SimplePropertyListener抽象类外，有6个类直接或间接实现了PropertyListener<T>，通过静态内部类或匿名内部类；

限于篇幅，本文就不展开了。

对sentinel-core下的property包简单总结下：定义了属性和监听器接口，其中DynamicSentinelProperty通过观察者模式，实现了属性的第一次加载和变动的回调通知。

我们回到datasource包，顺着ReadableDataSource的继承结构看：

先看AbstractDataSource<S,T>:

实现了ReadableDataSource<S,T>的两个接口，T loadConfig()和 SentinelProperty<T> getProperty()

定义了两个属性，一个转换器Converter<S, T> parser，一个前文提到的SentinelProperty<T> property；

可以看到getProperty()直接返回propery即可；

而loadConfig()方法，首先调用接口中的readSource()方法得到S数据，再调用parser.convert转换成T数据// ps：这里变量名是parser，因Converter接口重构过，以前版本叫ConfigParser接口，后来抽象出了WritableDataSource接口，

S->T、T->S都有转换，因此ConfigParser改为Converter

构造函数中，需要传入一个Converter<S,T>对象，并且验证不能为null；而SentinelProperty<T> property使用了之前提到的DynamicSentinelProperty<T>实现；

再来看AutoRefreshDataSource<S, T>抽象类：

该类扩展了AbstractDataSource<S, T>，在基础上通过ScheduledExecutorService使用后台线程，定时刷新数据（即轮询方式的拉模式），

抽象了一个protected boolean isModified()方法，用于子类实现，判断数据源是否发生了数据变化；

T newValue = loadConfig(); // 还记得AbstractDataSource<S, T>实现了loadConfig吗，通过readSource()、parser.convert()两步实现
getProperty().updateValue(newValue);// 这两句很关键，自定义实现也会用到，读取数据，更新SentinelProperty。

实现了close()方法，用ScheduledExecutorService的shutdownNow()方法，进行了线程的关闭；

注意：AutoRefreshDataSource<S, T>仍然是个抽象类，因为它没有实现具体S readSource()方法，留给具体数据源的子类实现；

接下来，我们下一个类FileRefreshableDataSource，终于该类不是抽象类了:)  可以new使用。

该类代码较多，就不贴完了，首先继承AutoRefreshDataSource<String, T>，注意：泛型S已经没有了，而是具体的String，说明T readSource方法返回的是String，Converter<S, T>中的转换来源也是String;

静态属性文件读取的固定参数，比如文件缓冲区最大限制，字符类型等；

类属性定义了缓存区字节数组、文件等；

来看关键的两个方法：

readSource是抽象类中没有实现的方法了，这里有了具体实现，从文件中读取数据，并返回String；

isModifed方法根据文件修改时间判断是否数据源（即文件内容）发生了变化；

我们看看FileRefreshableDataSource具体哪里用到的；按住Ctrl键，对着类名点左键：

找到了它的demo示例，在sentinel-demo模块的子模块sentinel-demo-dynamic-file-rule下：

可以看到，使用FileFreashDataSource就4步：

1.定义文件路径

2.定义String到List<XxxRule>转换器

3.构造FileFreashDataSource

4.用XxxRuleManager.register2Property加载

--------------------------------------------------------------------------------------------------------------------------------------------------------

最后，我们对ReadableDataSource做个简单的总结：

层次结构：ReadableDataSource->AbstractDataSource->AutoRefreshDataSource->FileRefreshDataSource

T loadConfig() 读取数据源并转换为T类型，调用readSource()得到S，调用Converter<S,T> 得到T

S readSource()  读取数据源，得到S

SentinelProperty<T> getProperty()  获取SentinelProperty<T>接口，一般是DynamicSentinelProperty<T>类型

一次从读取数据源到更新数据过程：通过loadConfig()得到T，getProperty().updateValue(T)

拉模式：继承AutoRefreshDataSource抽象类，在readSource()中实现从数据源读取数据；

例：FileRefreshDataSource

推模式：继承AbstractDataSource抽象类，在构造函数中添加数据源变动的监听器，在readSource()中实现从数据源读取数据；

例：ZookeeperDataSource、NacosDataSource、ApolloDataSource

// 再回过头去看最开始的类图，可以发现sentinel的datasource这样的泛型接口和抽象类结构定义是比较优雅的，让自定义DataSource实现变得更加简单:)

--------------------------------------------------------------------------------------------------------------------------------------------------------

思考：

SentinelProperty<T>接口没有提供getValue方法，不能获取T value；

只能通过给SentinelProperty添加监听器PropertyListener<T>，并在回调方法void configUpdate(T value)、void configLoad(T value)时，能够访问value；

// 个人理解可能这是一种对property中value的保护

--------------------------------------------------------------------------------------------------------------------------------------------------------

参考：

sentinel官方wiki-动态规则扩展 https://github.com/alibaba/Sentinel/wiki/动态规则扩展

聊聊sentinel的DataSource https://my.oschina.net/go4it/blog/1929547