近期计划

[realguoshuai]

No description provided.

[realguoshuai]

现在工作暂时转到Solr优化上,周末将原来的笔记分类上传

[realguoshuai]

Kafka-->Spark--->Flink

[realguoshuai]

数据分析统计-->数据可视化中间这一过程 后台讨论后计划使用HBase原生api替换Phoenix实现入库 取数据 处理

[realguoshuai]

后台计划重新设计HBase表,替换在Phoenix下存取性能不好的几个服务

[realguoshuai]

后台任务并不是很重,之前一直都是根据需要去学东西,没什么规划.所以重新规划一下路线:
根据工作和职业规划对接触到的组件排一个优先级:
Spark Scala Flink Solr Java Phoenix
Kafka HBase ZK Hadoop原理
hive

[realguoshuai]

在2018结束前完成mtdap系列(已完成:mtdap-consumer(solr实时创建索引),mtdap-hbase,mtdap-qal (离线数据同步)
未完成:mtdap-kafka,mtdap-spark)
新功能添加和学习都在对应的mtdap项目上面 添加一个目录,保证各个学习功能间低耦合 每个项目包含readme,记录本项目相关

[realguoshuai]

接下来工作会接手Flink程序 后台架构调整过程中发现 Spark2.0不稳定 并且业务中要用到滑动窗口 干脆直接舍弃spark2.0 从spark1.5 直接过渡到flink1.3.0

[realguoshuai]

最近两个地方要上新项目 所以更新会比较慢

[realguoshuai]

集群升级城安全模式 又要调kerberos 开始996 估计要持续2个月 也学不到什么新东西 更新会有延迟

[realguoshuai]

某省会的项目 后台升级自己已经弄完 ,接下来日常开发flink新功能,会有一部分时间尝试使用ES

[realguoshuai]

flink开发自己无压力 但是没人交流 下一步计划 业余研究原理 ES改动太大,公司不太愿意变,先不管了 专攻flink了(flink cep +flink sql)

[realguoshuai]

基础:hadoop yarn zk hbase sql shell scala(伴生对象,偏函数,柯里化)
熟悉:flink redis kafka solr
了解:spark es
加分:调优 阅读源码 kerberos jvm

[realguoshuai]

Spark 已经可以通过自定义UDF+sql 进行简单的统计 下一步计划业余时间深入研究 实时Flink 离线Spark 搜索Solr/ES 三部分 LeetCode刷题也可以慢慢刷起来

[realguoshuai]

最近会偏向于离线spark部分和scala

[zoucao]

感觉flink-sql未来会是主流

[realguoshuai]

感觉flink-sql未来会是主流

大公司早都开始用了sql开发了,datastream用的少了

[zoucao]

感觉flink-sql未来会是主流

大公司早都开始用了sql开发了,datastream用的少了

你们公司flink-sql推进的怎么样啊，我们刚开始推进不久，很多还没有完善。

[realguoshuai]

感觉flink-sql未来会是主流

大公司早都开始用了sql开发了,datastream用的少了

你们公司flink-sql推进的怎么样啊，我们刚开始推进不久，很多还没有完善。

我们实时的业务比较少 暂时还没计划...