https://gukin.dev/tags/troubleshooting/ Recent content in Troubleshooting on Gukin Han Hugo ko-kr Sun, 23 Nov 2025 00:00:00 +0000 https://gukin.dev/posts/kafka-fat-message-consumer-memory-leak/ Sun, 23 Nov 2025 00:00:00 +0000 https://gukin.dev/posts/kafka-fat-message-consumer-memory-leak/ <h2 id="문제">문제</h2> <ul> <li><strong>현상:</strong> 8개 Fargate Task 중 1개만 메모리 사용률이 지속 상승 (60% → 97%)</li> <li><strong>결과:</strong> 메모리 알람 후 해당 Task 재시작</li> <li><strong>특이점:</strong> 동일 코드 기반의 다른 Task들은 GC 정상 작동</li> <li><strong>환경:</strong> Java 21, Spring Boot, Kafka Consumer, MyBatis Batch, AWS Fargate</li> </ul> <h2 id="증상-분석">증상 분석</h2> <p><img alt="원본 데이터로 부터 재 생성된 그래프" loading="lazy" src="https://gukin.dev/posts/kafka-fat-message-consumer-memory-leak/metrics_matplotlib_composite.png"></p> <ul> <li>CloudWatch 메모리 그래프: 특정 Task만 계단식 상승</li> <li>덤프 서버: 동일 이벤트 처리에도 톱니형 GC 패턴 (정상)</li> <li>GC 자체 문제라기보다는 <strong>객체 참조 유지로 인한 회수 불가</strong> 상황에 가까움</li> </ul> <h2 id="원인-분석">원인 분석</h2> <h3 id="대량-청크-메시지">대량 청크 메시지</h3> <ul> <li>권한 갱신 이벤트를 한 번에 2,500건 단위로 Kafka에 게시</li> <li>특정 Task가 해당 청크를 독점 처리하면 순간적으로 수만 개 객체 생성</li> </ul> <h3 id="중복-역직렬화">중복 역직렬화</h3> <ul> <li>Consumer 내부에서 <code>Map → DTO → VO</code> 변환을 최대 세 번 반복</li> <li>일시적 객체 폭증, Eden → Old Gen 승격 가속</li> </ul> <h3 id="mybatis-batch-누적">MyBatis Batch 누적</h3> <ul> <li><code>ExecutorType.BATCH</code> 사용 시 <code>flushStatements()</code> 전까지 파라미터 참조 유지</li> <li>GC 입장에서는 여전히 &ldquo;사용 중&rdquo; 객체로 인식</li> </ul> <h3 id="컨슈머-병렬성-부족">컨슈머 병렬성 부족</h3> <ul> <li>단일 스레드 리스너로 동작</li> <li>특정 파티션이 한 Task에 몰리면 부하 편향 및 메모리 사용량 집중</li> </ul> <h2 id="gc-관점에서-정리">GC 관점에서 정리</h2> <table> <thead> <tr> <th>구분</th> <th>설명</th> </tr> </thead> <tbody> <tr> <td>GC는 참조가 끊긴 객체만 수거</td> <td>리스트, 세션 등에서 참조 중이면 회수 불가</td> </tr> <tr> <td>부하가 높으면 safepoint 진입 지연</td> <td>GC 실행 타이밍이 밀리면서 Old Gen 누적</td> </tr> <tr> <td>Old Gen 승격 가속</td> <td>장수 객체가 많아질수록 Old Gen 압박 증가</td> </tr> <tr> <td>덤프 서버에서 정상인 이유</td> <td>부하가 낮아 GC 개입 여유가 충분</td> </tr> </tbody> </table> <h2 id="단기-개선-해결책">단기 개선 해결책</h2> <table> <thead> <tr> <th>조치</th> <th>설명</th> <th>기대 효과</th> </tr> </thead> <tbody> <tr> <td>DTO 직접 바인딩</td> <td>@KafkaListener에서 Map 대신 DTO로 수신</td> <td>중복 역직렬화 제거</td> </tr> <tr> <td>청크 분할 처리</td> <td>2,500건 → 500건 단위로 분할 처리</td> <td>동시 생성 객체 수 감소, 생존 시간 단축</td> </tr> <tr> <td>리스트 참조 해제</td> <td>처리 후 리스트 <code>clear()</code> 또는 참조 <code>null</code></td> <td>GC 회수 가능 시점 앞당김</td> </tr> <tr> <td>Batch flush 주기 조정</td> <td>200건마다 <code>flushStatements()</code> 호출</td> <td>MyBatis 내부 파라미터 참조 조기 해제</td> </tr> <tr> <td>필드 누락 복구</td> <td>누락된 <code>accessType</code> 필드 복원</td> <td>불필요한 대량 delete 방지</td> </tr> </tbody> </table> <h2 id="장기-개선-해결책">장기 개선 해결책</h2> <ul> <li>Kafka Consumer 병렬성 향상 (<code>factory.setConcurrency(2)</code> 등)</li> <li>Partition assignment 전략을 <code>cooperative-sticky</code>로 조정</li> <li>DLQ(Dead Letter Topic) 구성으로 재시도 루프 제거</li> <li>Micrometer로 배치 크기, 처리 시간, lag 메트릭 수집 및 모니터링</li> </ul>