Archive

keep hungry keep foolish
2020

Flink-StreamTask启动流程分析

StreamTask OperatorChain分析

Spark Shufflewrite分析

Spark SortShuffleWriter流程分析

SparkSQL JOIN选择策略

Spark ByPassMergeSortShuffleHandler流程分析

Spark UnsafeShuffleWriter流程分析

Flink-TaskExecutor内存分析

Flink-on-Yarn-Per-job分析

平台开发那些事

Zeppelin on Flink小试牛刀

Flink on yarn setup Guide

Flink Configuration Guide

2019

Flink 用户自定义函数实现

Flink Async-IO 源码分析

Flink checkpoint流程源码分析

Kafka事务

Flink-Kafka-Exactly-Once 测试

Json4s 版本不兼容问题分析

多线程相关梳理

异常Kafka'修复'记

Flink流流关联（interval join）总结

Flink1.8-on-hdp-yarn踩坑记

Spark-sql join那些事

Spark-VS-Flink部署模式对比

Kafka-日志存储、清理规则、消息大小估算

KafkaScheduler 调度分析

Kafka消费打印消息格式的设置

Kafka的topic创建流程

String-转成-Boolean

如何判断一个kafka集群是否稳定

2018

Could-not-find-a-'KafkaClient'-entry-in-the-JAAS-configuration-异常分析

让JVM进程退出正确姿势

JobManager & TaskManager 启动流程分析

Flink-VS-Spark

Spark-VS-Flink---流处理中的Time&Window

Flink-部署模式

linux服务器的物理CPU，CPU核数，逻辑CPU及Hadoop的Vcore

Spark框架安全认证实现

Sql-On-Hadoop的流程简要分析

一张图了解Kerberos访问流程

一个“脚本执行夯死”问题的分析

HADOOP和ZOOKEEPER的kerberos认证

Spark应用配置文件汇总

为何Zookeeper的日志直接打印到控制台（console）

SparkStreaming-VS-Structed-Streaming

Kafka-Produce流程

Structed-Streaming-页面job显示不连续原因分析

yarn-cluster模式spark应用客户端与集群的通信端口

StructedStreaming 流程分析

Spark 应用分片介绍

KafkaLeader选举时机和选举策略

Spark-on--hdp-Yarn-Cluster-踩坑(timeline-service)

Spark-on--hdp-Yarn-Cluster-踩坑(hdp-version)

mvn编译异常“was-cached-in-the-local-repository,-resolution-will-not-be-rea

Kafka沟通机制

找出进程消失的“案发现场

大数据爬坑收录

Spark 配置

2017

Spark metrics