Apache Kylin : Analytical Data Warehouse for Big Data

Page tree

Welcome to Kylin Wiki.

Kylin用户大家好,转眼间八月份又过去了,我们在这里和大家更新一下八月份的开发进度,以下是Kylin社区八月份的主要工作内容:

Apache Kylin 4.0.0-alpha进展

本月我们的重点工作内容还是Kylin4.0发布前的准备工作,包括文档的补充,技术文章,bug修复,回归测试等等。我们通过JIRA来追踪开发进度,主要内容如下:

  • Kylin 4 文档更新 User Manual 4.x:
    1. 补充了Kylin 4.0新增配置项的说明,Kylin 4.X Configuration
    2. Restful API接口说明,REST API
    3. 常见问题及相关解答,FAQ Kylin 4.X CN
    4. 关键特性的介绍和使用指导,包括shard by配置,查询spark pool隔离和读写分离,详细内容请见 How to
    5. 关键功能的技术文章,包括全局字典的设计和实现,自动调参,架构设计和接口设计等,详细内容请见 Technical Articles
  • Kylin 4.0 的测试和修复:
    1. 为查询引擎补充 Metrics 信息,包括扫描文件数量,经由Spark处理的时间等,详情见 KYLIN-4722 - Getting issue details... STATUS
    2. 启动 Kylin 的时候启动查询的Spark Application,之前默认为懒加载,详情见 KYLIN-4695 - Getting issue details... STATUS
    3.  改造 StorageCleanupJob, 使之适应新的 Parquet 存储,详情见 KYLIN-4698 - Getting issue details... STATUS
    4. Shard by 列支持 Cube 级别的配置,详情见 KYLIN-4723 - Getting issue details... STATUS
    5. 对于 Kylin 4 前端做了适配  KYLIN-4701 - Getting issue details... STATUS
  • 对接社区版Spark(Apache Spark)
    1. 在早期我们针对 Spark 做了优化导致,Kylin 4.0不支持社区版 Spark,但是目前 Kylin 4.0 已经能够对接 Apache Spark 2.4.6,但是也有部分限制,未来可能也会考虑支持 Spark 3.0, 详情见 KYLIN-4662 - Getting issue details... STATUS
  • 技术分享

Next month

Kylin 4 的第一个技术预览版本 Kylin 4.0.0-alpha 将于9月份发布. 

Kylin 3.1.0 的 bugfix 版本 3.1.1 计划于9-10月份发布.

  • No labels