网站首页 第2833页
-
美团 MySQL 数据实时同步到 Hive 的架构与实践
背景在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS（OperationalDataStore）数据。在互联网企业中，常见的ODS数据有业务日志数据（...
2024-07-11 wxchong 开源技术 28 ℃ 0 评论 -
流批一体化-实时数仓架构（流批一体计算）
背景T0和TN处理逻辑分离和使用计算框架不一致导致存储浪费、计算口径不一致、计算框架(HiveSQL/SparkSQL/Flink)本身语义不同、流批统一数据对外服务难度高误差大、维护成本高等问题...
2024-07-11 wxchong 开源技术 26 ℃ 0 评论 -
Kafka的内部topic:__consumer_offsets 消费位移量主题
由于Zookeeper并不适合大批量的频繁写入操作，新版Kafka已推荐将consumer的位移信息保存在Kafka内部的topic中，即__consumer_offsetstopic，并且默认提供了kafka_consumer_grou...
2024-07-11 wxchong 开源技术 22 ℃ 0 评论 -
万字修行!消息中间件架构体系:Kafka研究，从入门到深入
前言...
2024-07-11 wxchong 开源技术 25 ℃ 0 评论 -
一种并行，背压的Kafka Consumer（kafka背压机制）
介绍几乎所有KafkaConsumer教程都是下面的代码：...
2024-07-11 wxchong 开源技术 29 ℃ 0 评论 -
Kafka存储层-日志管理（kafka数据存储）
Kafka的日志管理负责日志的创建、检索、清理，和日志相关的读写操作则交给日志实例去处理。每个TopicPartition都对应一个物理层面上的log实例，LogManager使用了logs管理了分区对应的日志实例。简化后的代...
2024-07-11 wxchong 开源技术 35 ℃ 0 评论 -
数仓/数开面试题真题总结(四)（数仓面试时应该讲些什么）
四.Kafka1.Kafka名词解释和工作方式...
2024-07-11 wxchong 开源技术 46 ℃ 0 评论 -
「Kafka」Leader丢失导致的Consumer挂起故障解决
现象最近发现线上的KafkaConsumerClient频繁出现无法消费的情况，导致offset积压。但是在重启KafkaBroker之后又正常了。而ClouderaManager在重启之前，我们发现三台broker中并没有Kak...
2024-07-11 wxchong 开源技术 53 ℃ 0 评论 -
浅谈Kafka2.8+在Windows下的搭建与使用
前言：周末空闲时间无意找到了一套个性化推荐的源码，整体项目运用了SSH，HDFS，Flume，Hive，Kafka，Spark，Scala等。运行时，本来通过spark计算业务埋点数据时，却发现本地没有Kafka。因为我一直也没使用过Kaf...
2024-07-11 wxchong 开源技术 40 ℃ 0 评论 -
走近kafka-文件存储（kafka高效文件存储设计特点）
在上一节中我们说到topic，它是用来存储一类消息的，每个topic内部实现又被分成多个partition，每个partition在存储层面是segment文件,每个segment分别由indexfile和datafile组成。在Kaf...
2024-07-11 wxchong 开源技术 53 ℃ 0 评论
- 控制面板
- 网站分类
- 最新留言
-