Flink Kafka consumer的消费策略配置

val helloStream: FlinkKafkaConsumer011[String] = new FlinkKafkaConsumer011[String]("hello", valueDeserializer, kafkaProps)
// 指定消费策略
helloStream.setStartFromEarliest() // - 从最早的记录开始；
helloStream.setStartFromLatest() //- 从最新记录开始；
helloStream.setStartFromTimestamp(null); // 从指定的epoch时间戳（毫秒）开始；
helloStream.setStartFromGroupOffsets(); // 默认行为，从上次消费的偏移量进行继续消费。

import org.apache.flink.streaming.connectors.kafka.internals.KafkaTopicPartition
val specificStartOffsets = new mutable.HashMap[KafkaTopicPartition,Long]()
specificStartOffsets.put(new KafkaTopicPartition("myTopic", 0), 23L) // 第一个分区从23L开始
specificStartOffsets.put(new KafkaTopicPartition("myTopic", 1), 31L) // 第二个分区从31L开始
specificStartOffsets.put(new KafkaTopicPartition("myTopic", 2), 43L) // 第三个分区从43L开始
helloStream.setStartFromSpecificOffsets(specificStartOffsets)

// Kafka支持Topic自动发现，也就是用正则的方式创建FlinkKafkaConsumer

转载于:https://www.cnblogs.com/maoxiangyi/p/10912274.html

创作挑战赛新人创作奖励来咯，坚持创作打卡瓜分现金大奖

总结

以上是生活随笔为你收集整理的Flink Kafka consumer的消费策略配置的全部内容，希望文章能够帮你解决所遇到的问题。

如果觉得生活随笔网站内容还不错，欢迎将生活随笔推荐给好友。