hahahia

최근에 Kafka Consumer 를 구현하면서 commitSync 에 대해 겪었던 이슈를 공유합니다 보통 Kafka Consumer 를 구현할 때, commitSync 를 이용하여 해당 offset 을 명시적으로 commit 할 수 있습니다. 따라서 commitSync 를 하지 않으면, 다음 번 poll 에서는 commit 하지 않았던 이전 offset 을 가져오는 줄 알았지만, 실패했던 현재 offset 이 아닌 다음 offset(현재 offset + 1) 을 가져오는 이슈가 있었습니다. 이해를 돕기 위해 다음과 같은 순서로 정리해보았습니다. 자동 커밋 / 수동 커밋 수동 커밋 코드 예제 commitSync 에 대한 오해? 해결책(seek) 결론 1. 자동 커밋 / 수동 커밋 자동 커밋 오프셋 및 파..

최근 프로젝트에서 Kafka 를 구축하고, Spring Boot 기반의 Consumer 를 구현하게 되었는데 여러가지 조건이 있었다. 일단 SASL 연동 및 수동 Commit 을 예제로 만들어 보았다. Spring Boot Project 생성하는 방법은 Skip! Spring Boot 에서 spring-kafka 사용하는 방법 사실 Java 에서 kafka library 는 spring-kafka 와 apache-kafka client 가 있는데, 쉽게 보면 고수준 / 저수준 client 정도의 차이라고 생각하면 된다. 지금 예제에서는 spring-kafka 를 사용한다. build.gradle 에 다음과 같은 dependency 를 추가한다 plugins { id 'org.springframework...