Spring Boot, MySQL, 엔티티 스키마 변경 없이 Bulk Insert로 속도 개선하기

개요 현재 내가 몸 담고 있는 프로젝트는 세금 계산과 관련되어 한 번에 수십에서 수백만의 엔티티 생성이 발생하는 비지니스 로직이 존재하며, 레코드 생성의 속도가 곧 경쟁력이 되기에 최적화에 있어 아주 중요한 요소이다. 이번 글에서는 기존에 대량의 엔티티가 단건으로 저장되던 것을 Buik Insert로 개선하는 과정을 정리하였다. MySQL 커넥션 스트링 추가 MySQL은 반다시 rewriteBatchedStatements=true 옵션을 커넥션 스트링에 추가해야 Bulk Insert가 활성화된다. Hikari Pool을 이용하여DataSource를 생성할 경우 아래와 같이 옵션을 추가하면 된다. val config = HikariConfig().apply { ... addDataSourceProperty..
SW 개발 2022. 6. 22. 13:28
AWS DMS, MySQL 데이터베이스를 S3로 마이그레이션하기

AWS DMS AWS DMS는 아마존이 제공하는 서버리스 데이터 마이그레이션 서비스 상품이다. 이번 글에서는 운영 환경의 OLTP 데이터베이스에 대한 통계 지표 산출을 위해 ETL을 목적으로, 원본 데이터베이스의 데이터를 S3 버킷에 Parquet 형태로 복제하는 방법을 정리하였다. 복제 인스턴스 생성 가장 먼저 복제 인스턴스를 아래와 같이 생성한다. AWS DMS 콘솔 접속 → [복제 인스턴스] → [복제 인스턴스 생성] # 복제 인스턴스 구성 → 이름: foo-aurora-mysql-prod-replication-instance (입력) → 설명: foo-aurora-mysql-prod-replication-instance (입력) → 인스턴스 클래스: [dms.t3.medium] 선택 → 엔진 버전..
SW 개발 2022. 6. 1. 13:39
1