资讯专栏INFORMATION COLUMN

阿里巴巴开源框架JarsLink

coolpail / 1779人阅读

摘要:也是阿里巴巴的开源项目之一,目前在微贷事业群广泛使用。模块的版本,如果版本号和之前加载的不一致,框架则会重新加载模块。

JarsLink (原名Titan) 是一个基于JAVA的模块化开发框架,它提供在运行时动态加载模块(一个JAR包)、卸载模块和模块间调用的API。也是阿里巴巴的开源项目之一 https://github.com/alibaba/ja...,目前在微贷事业群广泛使用。

需求背景

应用拆分的多或少都有问题。多则维护成本高,每次发布一堆应用。少则拆分成本高,无用功能很难下线。
故障不隔离。当一个系统由多人同时参与开发时,修改A功能,可能会影响B功能,引发故障。
多分支开发引发冲突。多分支开发完之后合并会产生冲突。
牵一发动全身。一处核心代码的改动,或一个基础Jar的升级需要回归整个系统。
升级和迁移成本高。中间件升级每个应用都有升级成本。

模块化开发的好处

可插拔,一个应用由多个模块组成,应用里的模块可拆和合,模块可快速在多个系统中迁移和部署。

模块化开发,模块之间互相隔离,实现故障隔离。

一个模块一个分支,不会引发代码冲突。

在模块中增加或修改功能,只会影响当前模块,不会影响整个应用。

动态部署,在运行时把模块部署到应用中,快速修复故障,提高发布效率。

多版本部署,可以在运行时同时部署某个模块的新旧版本,进行AB TEST。

减少资源消耗,通过部署模块的方式减少应用数量和机器数量。

JarsLink的应用场景

微服务集成测试, 目前一个微服务是一个FAT
JAR,如果有几十个微服务,则需要启动很多进程,DEBUG端口会很多,使用JarsLink框架合并FAT
JAR,再路由请求到其他JAR,就可以只启动一个进程进行DEBUG测试。

数据管理中心,数据采集的数据源多,而且每种数据源都需要对接和开发,通过模块化开发,实现一个数据源使用一个模块进行对接。

指标计算系统,每个TOPIC一个模块,把消息转发到模块中进行消息处理。

后台管理系统,几乎每个系统都有后台开发的需求,新建应用则应用数多,维护成本高,引入模块化开发,一个二级域一个模块来开发后台功能。

目前蚂蚁金服微贷事业部几个系统和几十个模块已经使用JarsLink框架。

JarsLink的特性

隔离性
类隔离:框架为每个模块的Class使用多带带的ClassLoader来加载,每个模块可以依赖同一种框架的不同的版本。
实例隔离:框架为每个模块创建了一个独立的Spring上下文,来加载模块中的BEAN,实例化失败不会影响其他模块。
资源隔离:后续会支持模块之间的资源隔离,每个模块使用独立的CPU和内存资源。
动态性
动态发布:模块能在运行时动态加载到系统中,实现不需要重启和发布系统新增功能。支持突破双亲委派机制,在运行时加载父加载器已经加载过的类,实现模块升级依赖包不需要系统发布。
动态卸载:模块能在运行时被动态卸载干净,实现快速下线不需要功能。

易用性

提供了通用灵活的API让系统和模块进行交互。

实现原理

模块加载

TITAN为每个模块创建一个新的URLClassLoader来加载模块。并且支持突破双亲委派,设置了overridePackages的包将由子类加载进行加载,不优先使用父类加载器已加载的。

模块的卸载

卸载模块需要满足三个条件

模块里的实例对象没有被引用

模块里的Class没有被引用

类加载器没有被引用

所以需要做到三点卸载实例,卸载类和卸载类加载器,整个模块的卸载顺序如下:

关闭资源:关闭HTTP连接池或线程池。

关闭IOC容器:调用applicationContext.close()方法关闭IOC容器。

移除类加载器:去掉模块的引用。

卸载JVM租户(开发中):卸载该模块使用的JVM租户,释放资源。

模块间隔离

模块化开发需要解决隔离性问题,否则各模块之间会互相影响。模块之间的隔离有三个层次:

类隔离:为每个模块创建一个类加载器来实现类隔离。

实例隔离:为每个模块创建一个新的IOC容器来加载模块里面的BEAN。

资源隔离:对每个模块只能使用指定的CPU和内存。

目前JarsLink实现了类隔离和实例隔离,资源隔离准备引入ALIJVM多租户来解决。

模块间通讯

模块之间的通讯也有三种方式,RPC,本地调用,深克隆/反射。

本地调用:目前TITAN的doAction就是使用的这种通讯方式,这种方式要求模块的类加载器是父子关系,且IOC容器也是父子容器。

RPC调用:用于跨JVM的模块之间调用,利用SOFA 4动态API在模块中发布和引用TR服务来实现。

深克隆/反射:深克隆其他模块的入参,反射其他模块的方法实现调用。

类加载机制

OSGI类加载机制的关系采用的是网状结构,每个模块通过 Export-Package 来声明我要给别人用哪些类,通过 Import-Package来声明我要用别人的哪些类。而TITAN框架采用的是扁平化管理,每个模块都有一个共同的父类,这个父类加载器就是加载ModuleLoader类的加载器,好处是便于维护,每个模块的类做到充分隔离,缺点是会加载重复的Class,适用于模块较少的场景。

JarsLink框架类图

JarsLink框架的类图如下:

AbstractModuleRefreshScheduler:入口类,负责定期扫描本地和内存中的模块是否发生变更,如果变更,则更新模块。

ModuleLoader:模块加载引擎,负责模块加载。

ModuleManager:模块管理者,负责在运行时注册,卸载,查找模块和执行Action。

Module:模块,一个模块有多个Action。

Action:模块里的执行者。

如何使用

1:引入POM
JarsLink Maven Repo


  com.alipay.jarslink
  jarslink-api
  1.5.0.20180213
    

JarsLink依赖的POM也需要引入


    1.7.7
    2.6
    3.2.1




    
        org.springframework
        spring-aop
        ${org.springframework.version}
    
    
        org.springframework
        spring-web
        ${org.springframework.version}
        true
    
    
        commons-logging
        commons-logging
        1.1.3
    
    
        org.apache.commons
        commons-lang3
        3.3.2
    
    
        commons-lang
        commons-lang
        ${apache.commons.lang.version}
    
    
        org.slf4j
        slf4j-api
        ${slf4j.version}
    
    
        commons-collections
        commons-collections
        ${apache.commons.collections.version}
    
    
        com.google.guava
        guava
        17.0
    
    
        junit
        junit
        4.12
    

2:引入jarslink BEAN

在系统中引入以下两个BEAN。





3:集成JarsLink API
使用JarsLink API非常简单,只需要继承AbstractModuleRefreshScheduler,并提供模块的配置信息,代码如下:

   public class ModuleRefreshSchedulerImpl extends AbstractModuleRefreshScheduler {
    
        @Override
        public List queryModuleConfigs() {
            return ImmutableList.of(ModuleManagerTest.buildModuleConfig());
        }
        
          public static ModuleConfig buildModuleConfig() {
            URL demoModule = Thread.currentThread().getContextClassLoader().getResource("META-INF/spring/demo-1.0.0.jar");
            ModuleConfig moduleConfig = new ModuleConfig();
            moduleConfig.setName("demo");
            moduleConfig.setEnabled(true);
            moduleConfig.setVersion("1.0.0.20170621");
            moduleConfig.setProperties(ImmutableMap.of("svnPath", new Object()));
            moduleConfig.setModuleUrl(ImmutableList.of(demoModule));
            return moduleConfig;
        }
    这个调度器在bean初始化的时候会启动一个调度任务,每分钟刷新一次模块,如果模块的版本号发生变更则会更新模块。实现这个方法时,必须把模块(jar包)下载到机器本地,模块的配置信息说明如下:

name:全局唯一,建议使用英文,忽略大小写。
enabled:当前模块是否可用,默认可用,卸载模块时可以设置成false。
version:模块的版本,如果版本号和之前加载的不一致,框架则会重新加载模块。
Properties:spring属性配置文件。
moduleUrl:模块的本地存放地址。
overridePackages:需要突破双亲委派的包名,一般不推荐使用,范围越小越好,如com.alipay.XX。
把ModuleRefreshSchedulerImpl类注册成Spring的bean。


    
    

JarsLink API 暂时不提供模块可视化管理能力,所以需要使用其他系统来管理和发布模块。目前可以通过com.alipay. jarslink.api.ModuleManager#getModules获取运行时所有模块的信息。

你也可以使用API来加载并注册模块,详细使用方式可以参考ModuleManagerTest,代码如下。

    //1:加载模块
    Module module = moduleLoader.load(buildModuleConfig());

    //2:注册模块
    ModuleManager moduleManager = new ModuleManagerImpl();
    moduleManager.register(module);

3:开发模块
在模块中只需要实现并开发Action,代码如下:

public class HelloWorldAction implements Action {

@Override
public ModuleConfig execute(ModuleConfig actionRequest) {
    ModuleConfig moduleConfig = new ModuleConfig();
    moduleConfig.setName(actionRequest.getName());
    moduleConfig.setEnabled(actionRequest.getEnabled());
    moduleConfig.setVersion(actionRequest.getVersion());
    moduleConfig.setModuleUrl(actionRequest.getModuleUrl());
    moduleConfig.setProperties(actionRequest.getProperties());
    moduleConfig.setOverridePackages(actionRequest.getOverridePackages());
    return moduleConfig;
}

@Override
public String getActionName() {
    return "helloworld";
}

}
5:调用接口
开发者需要利用JarsLink API把请求转发给模块,先根据模块名查找模块,再根据aciton name查找Action,最后执行Action。

//查找模块

Module findModule = moduleManager.find(module.getName());
Assert.assertNotNull(findModule);

//查找和执行Action

String actionName = "helloworld";
ModuleConfig moduleConfig = new ModuleConfig();
moduleConfig.setName("h");
moduleConfig.setEnabled(true);
ModuleConfig result = findModule.doAction(actionName, moduleConfig);
其他特性

Spring配置
通过moduleConfig的Properties属性可以设置Spring bean变量的配置信息。

1:定义变量


 

2:配置变量信息

 Map properties = new HashMap();
    properties.put("url", "127.0.0.1");
    moduleConfig.setProperties(properties);

3:排除spring配置文件

   Map properties = new HashMap();
    properties.put("exclusion_confige_name", "text.xml");
    moduleConfig.setProperties(properties);

排除多个文件用逗号分隔。

最佳实践

HTTP请求转发
可以把HTTP请求转发给模块处理。

private ModuleManager moduleManager;

@RequestMapping(value = "module/{moduleName}/{actionName}/process.json", method = { RequestMethod.GET,RequestMethod.POST })
public Object process(HttpServletRequest request, HttpServletResponse response) {

    Map pathVariables = resolvePathVariables(request);

    String moduleName = pathVariables.get("moduleName").toUpperCase()
    String actionName = pathVariables.get("actionName").toUpperCase()
    String actionRequest = XXX;
    return moduleManager.doAction(moduleName,
            actionName, actionRequest);
}


private Map resolvePathVariables(HttpServletRequest request) {
        return (Map) request
            .getAttribute(HandlerMapping.URI_TEMPLATE_VARIABLES_ATTRIBUTE);
    }

消息请求转发
可以把消息转发给模块进行处理。遵循默认大于配置的方式,你可以把TOPIC当做模块名,EventCode当做ActionName来转发请求。

接口说明
JarsLink框架最重要的两个接口是ModuleManager和ModuleLoader。

ModuleManager接口
ModuleManager负责注册,卸载,查找模块和执行Action。

import java.util.List;
import java.util.Map;

/**
 * 模块管理者, 提供注册,移除和查找模块能力
 *
 * @author tengfei.fangtf
 * @version $Id: ModuleManager.java, v 0.1 2017年05月30日 2:55 PM tengfei.fangtf Exp $
 */
public interface ModuleManager {

    /**
     * 根据模块名查找Module
     * @param name
     * @return
     */
    Module find(String name);

    /**
     * 获取所有已加载的Module
     *
     * @return
     */
    List getModules();

    /**
     * 注册一个Module
     *
     * @param module 模块
     * @return 新模块
     */
    Module register(Module module);

    /**
     * 移除一个Module
     *
     * @param name 模块名
     * @return 被移除的模块
     */
    Module remove(String name);

    /**
     * 获取发布失败的模块异常信息
     *
     * @return
     */
    Map getErrorModuleContext();

}
ModuleLoader接口

ModuleLoader只负责加载模块。

public interface ModuleLoader {

    /**
     * 根据配置加载一个模块,创建一个新的ClassLoadr加载jar里的class
     *
     * @param moduleConfig 模块配置信息
     *
     * @return 加载成功的模块
     */
    Module load(ModuleConfig moduleConfig);

}

原文链接

文章版权归作者所有,未经允许请勿转载,若此文章存在违规行为,您可以联系管理员删除。

转载请注明本文地址:https://www.ucloud.cn/yun/35906.html

相关文章

  • 阿里巴巴开源框架JarsLink

    摘要:也是阿里巴巴的开源项目之一,目前在微贷事业群广泛使用。模块的版本,如果版本号和之前加载的不一致,框架则会重新加载模块。 JarsLink (原名Titan) 是一个基于JAVA的模块化开发框架,它提供在运行时动态加载模块(一个JAR包)、卸载模块和模块间调用的API。也是阿里巴巴的开源项目之一 https://github.com/alibaba/ja...,目前在微贷事业群广泛使用。...

    lanffy 评论0 收藏0
  • 阿里巴巴开源框架JarsLink

    摘要:也是阿里巴巴的开源项目之一,目前在微贷事业群广泛使用。模块的版本,如果版本号和之前加载的不一致,框架则会重新加载模块。 JarsLink (原名Titan) 是一个基于JAVA的模块化开发框架,它提供在运行时动态加载模块(一个JAR包)、卸载模块和模块间调用的API。也是阿里巴巴的开源项目之一 https://github.com/alibaba/ja...,目前在微贷事业群广泛使用。...

    Jason 评论0 收藏0
  • 独家专访阿里高级技术专家北纬:Dubbo开源重启半年来的快意江湖

    摘要:年,阿里巴巴在上开源,许多开发者及公司都青睐于使用来解决服务化问题。首先阿里巴巴将开源提到了新的战略高度,去年云栖大会上阿里云宣布了加大技术投入拥抱开源的策略。自去年开源重启以来,上的数增长接近,达到了。 摘要: 罗毅,花名北纬。这个名字,如果是混过天涯论坛的大龄网民应该都不陌生,北纬67度3分周公子(简称北纬)虐杀易烨卿MM的世纪大战至今还是天涯神贴 ,当时更是有看客赋诗形容:目睹此...

    Sanchi 评论0 收藏0
  • 牛啤~这个框架被大量使用,腾讯开源的RPC框架阿里的Dubbo全靠它

    摘要:分布式高并发微服务问阿里京东蚂蚁等大厂面试真题解析道跳槽涨薪必备精选面试题最新版大厂面试真题集点击这里免费领取点击这里免费领取 估计很多Java程序员平时主要的工作就是一些Web系统的业务开发,对于服务端IO程序以及网络通信编程做得并不多,但是对于高级或者资深程序员来说,IO通信以及服务端编...

    whidy 评论0 收藏0
  • 阿里巴巴开源的通用缓存访问框架JetCache介绍

    摘要:是由阿里巴巴开源的通用缓存访问框架,如果你对很熟悉的话,请一定花一点时间了解一下,它更好用。有了,我们就可以更方便的基于统一的接口访问缓存。 JetCache是由阿里巴巴开源的通用缓存访问框架,如果你对Spring Cache很熟悉的话,请一定花一点时间了解一下JetCache,它更好用。 JetCache提供的核心能力包括: 提供统一的,类似jsr-107风格的API访问Cache...

    vpants 评论0 收藏0

发表评论

0条评论

coolpail

|高级讲师

TA的文章

阅读更多
最新活动
阅读需要支付1元查看
<