项目简介
Cuber是一个用于开发各种集成学习算法的集成学习框架,具备灵活动态可配置的特性。它由控制引擎、计算引擎和调度引擎三大模块构成,其中控制引擎依托networkx的有向无环图技术,在运行时加载,且以计算引擎和调度引擎为基础。计算引擎支持Ray、Dask,调度引擎支持Kahn算法。
项目的主要特性和功能
- 高度灵活配置:支持灵活动态可配置,能根据不同需求对算法进行调整。
- 分布式计算支持:计算引擎支持Ray、Dask,天然支持分布式计算,提升处理效率。
- 智能任务调度:调度引擎采用Kahn算法,可有效管理任务调度。
- 代码质量提升:大量运用元编程技术,提高代码的灵活性、可读性和维护质量。
- 便捷API设计:采用三级API设计,方便不同水平的使用者操作。
安装使用步骤
安装
若已下载项目源码文件,由于Cuber采用Python开发,支持Pythonic风格的各种管理器,可使用以下命令安装:
bash
$ pip install cuber-0.1-xxxxxxxxxxxx.whl
使用
Cuber的使用主要分为以下三步: 1. 初始化实例:初始化cuber实例,加载计算引擎和调度引擎,获取cuber控制器实例。示例代码如下: ```python from cuber.interface import Cube import time
cuber = Cube(cuber_runner='ray', cuber_runner_address='ray://192.168.1.51:10001', cuber_scheduler='kahn')
cuber_controller = cuber.get_cuber_controller()
2. **注册函数**:使用装饰器注册目标节点的函数。示例如下:
python
@cuber_controller.register(controller_obj=cuber_controller)
def test_a():
time.sleep(10)
print(2)
return 'a'
3. **执行任务**:调用cuber控制器执行。示例如下:
python
exec_result = cuber_controller.execute()
```
下载地址
点击下载 【提取码: 4003】【解压密码: www.makuang.net】