Data Engineer (Platform)

주요 업무

광고 비즈니스의 핵심 데이터 흐름을 책임지는 스트리밍 및 배치 데이터 파이프라인과 서버를 개발해요. 노출·클릭·전환 등 사용자 행동 로그와 광고 성과 지표를 실시간으로 처리하고, 이를 기반으로 입찰/타겟팅/성과 최적화에 활용되는 데이터 파이프라인을 설계하고 운영해요. 광고 추천 및 실시간 입찰 시스템과 연계된 상품·유저 피처 집계 및 서빙용 스트리밍 파이프라인을 개발해요. Hadoop 기반 대규모 데이터 인프라와 Kubernetes 환경의 Airflow 플랫폼을 설계하고 고도화하며, 전사 파이프라인의 안정성을 책임져요. 온프레미스와 클라우드(AWS·GCP)가 공존하는 하이브리드 데이터 플랫폼 아키텍처를 설계하고, EKS·GKE, S3·GCS, EMR·Dataproc·BigQuery 등 클라우드 서비스 기반으로 워크로드의 클라우드 전환을 주도해요. Trino, Impala, Spark SQL 등 분산 쿼리 엔진을 운영하며 성능 병목을 분석하고 튜닝하여 데이터 조회 환경을 개선해요. 토스증권의 대규모 데이터가 입수되는 Kafka 클러스터를 운영하고 고가용성을 유지하기 위한 최적화 작업을 수행해요. CDC, Kafka Connect, Flink, ksqlDB 와 같은 도구를 활용하여 실시간 데이터 파이프라인을 구성해요. 실시간으로 유입되는 대량의 데이터를 효율적으로 저장하고 조회할 수 있도록 OLAP을 운영하며 쿼리 성능을 최적화해요. AWS Kubernetes 기반 데이터 플랫폼의 아키텍처 설계, 배포, 모니터링, 운영 정책 수립을 담당해요. Airflow 기반 배치 파이프라인과 자체 개발 시스템으로 수천 개 규모의 작업을 관리하고, DQ/메타데이터 조회 등 개발 효율화 자동화 업무를 함께 해요. CDC 기반으로 원천 데이터를 실시간으로 수집·처리하고, DW까지 확장하는 스트리밍 파이프라인을 설계하고 운영해요. 데이터 마트와 표준 지표 체계를 담당하는 Data Analytics Team과 함께, 그 기반이 되는 수집·적재 파이프라인과 데이터 웨어하우스 인프라를 설계하고 운영해요. 제품과 비즈니스가 빠르게 확장되는 환경에서도 파이프라인의 안정성과 확장성, 보안과 비용 효율을 지키며 지속 가능한 데이터 인프라를 만들어가요.