Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

SCQL 支持 Hive 数据源 #170

Open
Candicepan opened this issue Nov 2, 2023 · 0 comments
Open

SCQL 支持 Hive 数据源 #170

Candicepan opened this issue Nov 2, 2023 · 0 comments
Labels
challenge OSCP SecretFlow Open Source Contribution Plan

Comments

@Candicepan
Copy link
Contributor

Candicepan commented Nov 2, 2023

此 ISSUE 为 隐语开源共建计划(SecretFlow Open Source Contribution Plan,简称 SF OSCP)任务 ISSUE,欢迎社区开发者参与共建~
若有感兴趣想要认领的任务,但还未报名,辛苦先完成报名进行哈~

任务介绍

  • 任务名称:SCQL 支持 Hive 数据源
  • 技术方向:SCQL
  • 任务难度:挑战🌟🌟🌟
  • 任务期望时间:8 周

详细要求

SCQL 当前内置 MySQL, Postgres, CSV 等相关的 connector,也集成了 apache arrow flight sql client 支持从 http server 中获取数据。请选择一种合适的实现方式,支持 SCQL 获取 hive 中的数据。

能力要求

  • 了解基本 git 操作
  • 熟悉 Hive,使用过 Hive
  • 熟悉 Go 和 C++
  • 对 SCQL 有一定的了解,上手体验过 SCQL,了解 SCQL 的代码结构
  • 了解 apache arrow flight sql(optional)

操作说明

需要实现两大部分的逻辑:

  • 在 SCDB 里实现 Hive Dialect
  • Engine 里实现 Hive connector,有两种可行方式
    (1) 直接实现 c++ 的 hive connector 从 hive 中获取数据
    (2) 实现兼容 apache arrow flight sql 的 server,在 server 中实现获取 hive 数据的能力,通过 scqlengine 中提供的 arrow flight sql client 连接 server 间接获取数据
@Candicepan Candicepan added OSCP SecretFlow Open Source Contribution Plan challenge labels Nov 2, 2023
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
challenge OSCP SecretFlow Open Source Contribution Plan
Projects
Status: Needs Triage
Development

No branches or pull requests

1 participant