데이터 엔지니어의 Airflow 데이터 파이프라인 CI 테스트 개선기

Abel Yoon — Thu, 18 Apr 2024 06:00:00 GMT

들어가며 안녕하세요, 버즈빌 데이터 엔지니어 Abel 입니다. 이번 포스팅에서는 데이터 파이프라인 CI 테스트에 소요되는 시간을 어떻게 7분대에서 3분대로 개선하였는지에 대해 소개하려 합니다.

Ad Management 파트 서버 개발자의 지역 타게팅 개선기

Kay Lee — Thu, 21 Mar 2024 09:27:53 GMT

안녕하세요. Demand Product 팀의 Ad Management 파트에서 서버 개발자로 일하고 있는 Kay입니다. 제가 팀에 합류한 지도 어느덧 2년이 되어가는데요, Ad Management 파트(이하 AdM)은 무슨 일을 하는지 간단하게 소개하고 재미있게 했던 과제에 관해 이야기해볼까 합니다.

버즈빌의 ML 플랫폼 Buzzflow (1) - 모델을 개발하고 관리하기

bk-kang — Thu, 25 Jan 2024 07:40:43 GMT

들어가며 안녕하세요, 버즈빌에서 MLOps 엔지니어로 일하고 있는 BK입니다. 버즈빌 광고 플랫폼 팀은 광고 성과 최적화를 위해서 다양한 머신러닝 모델을 활용하고 있습니다. 앞으로 두 편의 글을 통해 모델을 개발, 관리, 배포하기 위한 버즈빌의 머신러닝 플랫폼 buzzflow가 어떤 식으로 구성되어 있는지 여러분께 소개해 드리고자 합니다. 이번 글에서는 모…

쿠버네티스에게 Github Actions 설치에 대해 묻다

cade-seo — Mon, 01 Jan 2024 15:42:31 GMT

Introduction 안녕하세요. 버즈빌 DevOps 팀의 엔지니어, Cade 입니다. 최근 CI/CD에서 가장 인기 있는 플랫폼 중 하나인 깃헙 액션 (Github Actions), 많이들 사용하고 계실 텐데요. 오늘은 이 깃헙 액션을 가장 효율적으로 사용할 수 있도록 자체 호스팅(self-hosted)으로 설치하고 운영하는 방법에 대해 제가 고민하고…

RDS MySQL IOPS 장애 대응기

Summer Kwak — Thu, 16 Nov 2023 05:52:17 GMT

버즈빌에서 AWS RDS MySQL 데이터베이스를 운영하는 중에 맞닥뜨린 메모리 문제와 그 해결 방법에 대해 소개하는 글입니다. 들어가며 안녕하세요, 버즈빌 엔지니어 Summer입니다. 현재 버즈빌 광고의 월평균 사용자는 2천만명 정도이고 버즈빌 서버로 한달간 약 70억건 정도의 광고 요청이 들어옵니다. 마이크로서비스로 쪼개져있는 서비스중 광고 요청을 보낸…

헤어질 결심 a.k.a 퇴사 부검

Jacob Yu — Wed, 04 Oct 2023 14:18:43 GMT

들어가며 안녕하세요. 버즈빌 생활의 처음과 끝을 함께한 글로리아가 권유해 주신 덕분에 퇴사 부검 글을 작성하게 되었습니다. 넷플릭스에서는 퇴사한 직원이 퇴사 이유, 배운 점과 아쉬운 점 등을 메일로 적어 다른 직원들에게 보내는 문화가 있는데, 이 메일을 퇴사 부검 메일이라고 합니다. 저도 버즈빌 생활을 정리할 겸, 2년간의 세월을 되돌아보며 퇴사 부검 글을…

Self Serving Data Platform 구축하기 (feat. Airflow)

Bernard Choi — Wed, 31 May 2023 05:00:00 GMT

Introduction 안녕하세요. 버즈빌 데이터 엔지니어 Bernard입니다. 이번 포스팅에서는 저희 팀에서 어떻게 셀프 서빙 데이터 플랫폼을 구축했는지 소개하고자 합니다. 셀프 서빙 데이터 플랫폼이란, 특정 팀에 의존하지 않고 구성원 누구나 원하는 데이터를 스스로 생산 및 소비할 수 있는 플랫폼을 의미합니다. 과거에는, 서버팀 혹은 데이터 분석팀에서 데…

광고 예산 제어 시스템 개선기: Part 2 – 더 정교한 시스템, 그리고 성과

Bale Do — Wed, 15 Feb 2023 02:00:00 GMT

안녕하세요, 광고 엔진 팀의 Bale, 그리고 Liam입니다. 1편에서 버즈빌의 예산 제어 시스템 개선 여정과 가시성에 대해 얘기해 드렸는데요. 이번 편에서는 이전 시스템 수준 개선을 바탕으로 어떤 기능 개선과 비즈니스 임팩트를 만들었는지 소개 드리려 합니다. 1편의 개선을 바탕으로 이야기가 전개되니 여기에서 이전 여정을 먼저 읽어보시는 걸 추천드립니다.…

광고 예산 제어 시스템 개선기: Part 1 – 시스템과 가시성 개선

Liam Hwang — Wed, 08 Feb 2023 05:00:00 GMT

Introduction 안녕하세요, 광고 엔진 팀의 Bale, 그리고 Liam입니다. 버즈빌 광고 플랫폼의 변천 과정을 소개해 드리는 시간입니다. 최근에는 수평 확장 가능한 광고 서버를 만드는 법에 대해 소개해 드렸는데요. 이번에는 버즈빌의 광고 플랫폼에서 광고 서버와 만만찮게 중요한 기능인 예산 제어 시스템을 어떻게 개선해나가고 있는지 살펴보고자 합니다.…

Now is a good time to multiply your Design team capacity

Maxence Mauduit — Thu, 12 Jan 2023 06:30:25 GMT

This article's timing is partly due to the major layoff happening worldwide. IT Companies have been building empires. Empires are, by their structure, as fragile as they are big. So while the world re…

다양한 제품 개발 방법론 - 버즈빌 제품팀이 일하는 법#3

Whale Lee — Mon, 12 Dec 2022 07:29:41 GMT

2021년 말에 시작했던 글이 어느새 2022년 말까지 흘러왔네요. 2022년 한 해 동안 버즈빌 제품팀이 일하는 방식에는 더욱더 많은 변화가 생겼습니다. 원래 기획했던 6부를 모두 정리하기에는 글 작성 속도보다 변화의 속도가 더 빨라서, 이번 3부에서 전반적인 내용을 짧게나마 정리하고 마무리하려고 합니다. 시리즈 1. 고객 중심(Customer-centr…

엘라스틱서치를 활용한 수평 확장 가능한 광고 서버 만들기

Zune Seo — Sun, 11 Dec 2022 06:00:00 GMT

광고 서버는 리워드 광고 플랫폼을 운영 중인 버즈빌에게 있어서 핵심적인 구성요소입니다. 광고 서버의 주요 기능 중 하나는 광고주가 설정한 여러 가지 타게팅 조건에 맞는 유저에게 광고를 송출하는 타게팅 기능입니다. 버즈빌은 허니스크린이라는 잠금화면 리워드 광고 앱을 운영하기 시작한 초기 시절부터 광고 서버를 직접 구축해 운영해왔습니다. 이후 리워드 광고 플랫…

AWS DNA 4기 회고

Jacob Yu — Tue, 15 Nov 2022 01:59:23 GMT

DNA는 Digital Native Architects의 줄임말로, AWS Korea에서 제공하는 교육 및 네트워킹 프로그램입니다. 약 3개월 동안 AWS DNA 4기에 참가하며 경험한 내용을 정리해보았습니다. 1. DNA 프로그램에 지원하다. --- 작년 11월, 회사 슬랙 채널에 AWS Game Day 참가자를 모집하는 메시지가 올라왔습니다. 저는 그…

What AI Art can tell us about the future of Design and how it can affect Ad creative optimization

Maxence Mauduit — Mon, 24 Oct 2022 23:35:12 GMT

(Artwork generated by Dalle2 with the following prompt: A cyberpunk Designer looking at multiple screens with a robotic arm with neon lights in a dark, smoky room) I recently spent some time exploring…

All the mistakes we have made during Product Discovery

Maxence Mauduit — Fri, 30 Sep 2022 00:12:25 GMT

6 months ago we started a new team with a new mission and big dreams. We secured resources to give the mission a proper chance to go through Product discovery, a luxury in a fast pace startup like Buz…

Google File System

Raf Kim — Thu, 29 Sep 2022 15:00:00 GMT

버즈빌 개발팀에서는 매주 수요일, 모든 팀의 개발자들이 모여 본인이 관심있는 분야에 대한 노하우나 담당하고 있는 업무와 관련된 새로운 기술에 대한 논의를 진행하는 시간을 가지고 있습니다. 이 시간을 통해 내가 알고 있는 것들에 대해 더 확실히 알고 모르는 것들에 대해 배우며 이를 바탕으로 보다 효율적이고 창의적으로 업무를 진행하기 위해 노력하고 있습니다.…

Core Values of a Global Team

Sophie Cui — Thu, 22 Sep 2022 06:32:55 GMT

Working in a global team in Seoul It’s always very special to work within a diverse team, even more in Seoul. When I say the BIC team is diverse, I truly mean it. We are a growing group led by our Tea…

Building a Startup Inside a Startup: Story of the BIC Team

Mason Yun — Thu, 15 Sep 2022 07:30:56 GMT

First, what’s a startup? What first comes to your mind when you think of the word “startup''? Entrepreneurship, small teams, funding, creative disruption, the k-drama… The list probably goes on and on…

Max’s story: From Design to Product leadership

Maxence Mauduit — Tue, 30 Aug 2022 02:00:00 GMT

Yesterday, or to be exact, 8 years ago, I was joining Buzzvil as a product designer. In late 2014 Buzzvil counted a little more than 20 members and the design team was only 3 members including me. The…

Metastable Failure in Distributed Systems

Raf Kim — Mon, 01 Aug 2022 15:00:00 GMT

버즈빌 개발팀에서는 매주 금요일, 모든 팀의 개발자들이 모여 본인이 관심있는 분야에 대한 노하우나 담당하고 있는 업무와 관련된 새로운 기술에 대한 논의를 진행하는 시간을 가지고 있습니다. 이 시간을 통해 내가 알고 있는 것들에 대해 더 확실히 알고 모르는 것들에 대해 배우며 이를 바탕으로 보다 효율적이고 창의적으로 업무를 진행하기 위해 노력하고 있습니다.…

배포를 빠르게 - DIY(Deploy It Yourself)

Noah Lee — Tue, 05 Jul 2022 23:49:17 GMT

이 글에선 버즈빌에선 어떻게 배포의 속도를 높였는지 소개합니다. - 배포를 우아하게 - 원-클릭 배포 - 배포를 안전하게 - 카나리 배포 전략, 롤백 - 배포를 빠르게 - DIY(Deploy It Yourself) 이전 글들에서 버즈빌의 배포 파이프라인의 세부적인 내용들을 설명했습니다. 이번 글에선 사용자들이 배포 파이프라인을 DIY(Do It Yourse…

상품 추천 알고리즘 Item-CF의 최적화 여정

Peter Kim — Thu, 30 Jun 2022 01:04:32 GMT

만 30개의 이커머스을 광고주로 삼고 있는 버즈빌. 이들을 위한 리타겟팅 광고 솔루션을 고도화하기 위해 도입된 상품 추천 알고리즘: Item-CF. 이 알고리즘 최적화와 적용 과정에 대해서 알아보겠습니다. 버즈빌의 리타겟팅 광고 솔루션 버즈빌에서는 매출의 20% 이상을 리타겟팅 광고 상품으로 발생시키고 있습니다. 전통적으로는 리타겟팅 광고는 유저가 이커머스…

배포를 안전하게 - 카나리 배포, 롤백

Noah Lee — Tue, 21 Jun 2022 23:49:17 GMT

배포에서 속도와 안전성 두 마리 토끼를 잡기란 쉽지 않습니다. 이 글에선 버즈빌에선 어떻게 안전성 문제를 해결했는지 소개합니다. - 배포를 우아하게 - 원-클릭 배포 - 배포를 안전하게 - 카나리 배포 전략, 롤백 - 배포를 빠르게 - DIY(Deploy It Yourself) 배포를 안전하게 - 카나리 배포 전략, 롤백 이전 글 - 배포를 쉽게 - 에서…

배포를 우아하게 - 원-클릭(one-click) 배포

Noah Lee — Tue, 14 Jun 2022 08:57:57 GMT

일반적으로 런타임 환경이 늘어날 수록 배포 시스템의 복잡성은 높아지기 마련입니다. 이 글에선 버즈빌에선 어떻게 문제를 해결했는지 소개합니다. - 배포를 우아하게 - 원-클릭 배포 - 배포를 안전하게 - 카나리 배포 전략, 롤백 - 배포를 빠르게 - DIY(Deploy It Yourself) 배포를 우아하게 - 원-클릭 배포 현재 버즈빌은 사용자가 UI에서…

Elasticsearch 검색에서 확률 사용하기

Isac Yoo — Tue, 07 Jun 2022 05:25:00 GMT

이 블로그에서는 Elasticsearch에서 검색할 때 효과적으로 각 Document에 확률을 사용하는 두 가지 방법을 설명하고, 각 방법의 간략한 성능 비교와 장단점을 설명합니다. 독자는 Elasticsearch의 Search API에 간단한 쿼리를 (term, bool 등) 작성할 수 있다고 가정합니다. 서론 버즈빌에서는 빠른 광고 서빙을 위해서 Ela…

Minerva: Airbnb's Metric Platform

Raf Kim — Thu, 02 Jun 2022 15:00:00 GMT

asyncio 뽀개기 3 - SIGTERM (CTRL+C) 올바르게 처리하기

Isac Yoo — Mon, 30 May 2022 08:32:00 GMT

asyncio를 사용하는 서버라면 graceful shutdown을 할 수 있어야합니다. Eventloop에 task를 등록하는 구조이기 때문에 graceful shutdown을 하지 않으면 유저 혹은 다른 서버의 요청이 버려지는 현상이 발생할 수 있습니다. 이전 포스트들에서 asyncio의 핵심 요소들의 동작 방식을 이해했다면, 이번 포스트에서는 sign…

버즈빌 전문연구요원과의 인터뷰

James Kang — Mon, 02 May 2022 03:00:00 GMT

Claud는 버즈빌 Ad.Display팀에서 Engineering Manager로 함께하고 있습니다. 전문연구요원으로서 3년간 복무를 마치고, 이후 시니어 개발자로서 다양하게 버즈빌에 기여해주시고 계신데요. 버즈빌 전문연구요원에 관심있어하시는 분들을 위해서 POSTECH LAB ZINE과 인터뷰를 진행했고, 도움이 될만한 내용을 버즈빌 기술 블로그에 함께…

asyncio 뽀개기 2 - Future의 활용

Isac Yoo — Mon, 04 Apr 2022 03:42:00 GMT

Future를 잘 활용하면 단순히 await 하는 용도보다 더 다양한 흐름 제어를 할 수 있습니다. 이전 포스트에서는 asyncio의 핵심 컴포넌트인 코루틴과 Eventloop을 소개했습니다. 이번 포스트에서는 Future를 만드는 방법, Callback을 등록해서 활용하는 방법 등을 살펴볼 예정입니다. - asyncio 뽀개기 1 - Coroutine과…

asyncio 뽀개기 1 - Coroutine과 Eventloop

Isac Yoo — Wed, 30 Mar 2022 03:18:00 GMT

이 시리즈의 목적은 asyncio의 컴포넌트들과 활용법을 소개하는 것입니다. 최종적으로는 실제 production에 쓰이고 있는 graceful shutdown을 구현하는 것을 목표로 하며, 그 과정에서 필요한 asyncio 지식을 여러 포스트에 걸쳐 설명할 예정입니다. Python에 국한된 내용도 있지만 코루틴, Future 등은 Asynchronous…

DynamoDB를 사용하는 Go 서비스의 응답 시간 최적화 #2 TLS Handshake

Raf Kim — Tue, 29 Mar 2022 08:09:47 GMT

안녕하세요. 버즈빌의 데이터 엔지니어 Raf입니다. 이전 포스팅(DynamoDB를 사용하는 Go 서비스의 응답 시간 최적화 #1 AWS Credential Token)에 이어, Go 서비스에서 DynamoDB를 사용하면서 응답 시간 최적화를 시도한 경험을 공유드리도록 하겠습니다. 이번 편은 해결책을 만들지 못했지만, DynamoDB와 Go HTTP Clie…

AWS GameDay Microservice Magic에서 3위! 버즈빌 A팀 인터뷰

Diane Rha — Thu, 17 Mar 2022 03:00:00 GMT

안녕하세요! 저희는 Buzzvil Culture Committee의 Diane과 Jacob입니다. 버즈빌은 지난 번 AWS GameDay에 참여하여 Microservice Magic에서 3위라는 뛰어난 성적을 거두었는데요! 버즈빌 개발팀의 높은 실력을 증명한 시간이 아니었나 싶습니다. 참가하신 다섯 분의 개발자 Liam, Noah, Aiden, Claud,…

DynamoDB를 사용하는 Go 서비스의 응답 시간 최적화 #1 AWS Credential Token

Raf Kim — Tue, 15 Mar 2022 00:29:47 GMT

안녕하세요. 버즈빌의 데이터 엔지니어 Raf입니다. 이전 포스팅에서 Go의 HTTP 커넥션 풀에 관해 설명해 드렸습니다 (HTTP connection pool in Go explained). 이 포스팅에서는 Go 서비스에서 HTTP 요청에 대한 Trace를 남겨 DynamoDB 요청의 응답 시간에 큰 영향을 미치는 Credential Token 발급 로직을…

HTTP connection pool in Go explained

Raf Kim — Mon, 07 Mar 2022 15:00:00 GMT

안녕하세요. 버즈빌의 데이터 엔지니어 Raf입니다. 버즈빌에서는 Go 마이크로 서비스에서 Elasticsearch와 DynamoDB 등의 AWS SDK를 사용하거나, 내부 서비스가 아닌 애드 네트워크나 앱 퍼블리셔 등의 HTTP로 통신해야 하는 외부 서비스를 연동하는 경우 HTTP 요청을 사용하고 있습니다. 저는 DynamoDB의 응답시간을 낮추기 위해 최…

Shape Up Method

Joel Lim — Thu, 24 Feb 2022 15:00:00 GMT

Buzzvil Billing Data Pipeline

Will Choi — Fri, 04 Feb 2022 03:30:00 GMT

Journey of Dash's release cycle

Luke Hwang — Fri, 28 Jan 2022 03:30:00 GMT

제품 전략 피라미드 - 버즈빌 제품팀이 일하는 법#2

Whale Lee — Mon, 24 Jan 2022 05:27:48 GMT

버즈빌 CPO 웨일입니다. 2021년을 회고하기 위해 시작한 시리즈였는데 어느새 2022년이 되어버렸네요. 작년 한 해는 버즈빌에게는 정말 많은 시도와 회고, 성장이 있었던 한 해였습니다. 이 포스팅을 통해 2021년 한 해 동안 버즈빌 제품팀이 제품과 비즈니스 성장을 위해 실행해 온 방식들을 소개해 보겠습니다. 시리즈 1. 고객 중심(Customer-ce…

버즈빌 안드로이드 개발자는 이렇게 일합니다

Dio Heo — Mon, 24 Jan 2022 01:09:13 GMT

안녕하세요, 버즈빌 Output 팀의 Dio입니다. 버즈빌의 주요 제품 중 하나는 광고 지면을 모바일 플랫폼(안드로이드, iOS)에 쉽게 적용할 수 있는 SDK이고 이를 통해 Native, Interstitial, Feed, Lockscreen 등의 지면을 제공합니다. 버즈빌의 안드로이드, iOS 개발자는 바로 이 SDK의 개발을 책임지게 됩니다. 일단 앞…

Pytest-bdd와 Selenium을 이용한 웹 UI 테스트 자동화

Erica Gwon — Sun, 09 Jan 2022 15:00:00 GMT

안녕하세요, 버즈빌 QA 매니저 Erica입니다. 버즈빌에서는 Dash라고 불리는 광고 관리 보드를 운영하고 있습니다. QA 파트에서는 이 중 광고주 대상 시스템 영역에 대해 웹 UI 테스트 자동화를 진행하고 있습니다. 이 글을 통해 현재까지 진행된 테스트 자동화 사례를 소개하며 테스트 자동화를 처음 시작할 때 고려해야 할 점을 함께 나눠보고자 합니다. U…

Exactly-Once in Apache Flink

Raf Kim — Wed, 05 Jan 2022 03:30:00 GMT

고객 중심 전략 - 버즈빌 제품팀이 일하는 법#1

Whale Lee — Tue, 21 Dec 2021 11:17:19 GMT

버즈빌에서 CPO를 맡고 있는 웨일입니다. 어느새 벌써 2021년이 훌쩍 흘러갔네요. 버즈빌에게는 정말 많은 시도와 회고, 성장이 있었던 한 해였습니다. 이번 시리즈를 통해 올 한 해 동안 버즈빌 제품팀이 제품과 비즈니스 성장을 위해 실행해 온 방식들을 소개해 보려고 합니다. 시리즈 1. 고객 중심(Customer-centric) 전략: 그룹 분할, NPS…

버즈빌 CTO가 들려주는 AWS 리인벤트(re:Invent) 2021

Zune Seo — Thu, 16 Dec 2021 15:00:00 GMT

리인벤트는 AWS에서 개최하는 콘퍼런스 중 가장 큰 행사입니다. 미국 라스베이거스에서 열리며 티켓값만 무려 200만 원에 달합니다. 그만큼 콘퍼런스가 매우 크게 열리며 호텔 하나에서는 감당이 안 되어 라스베이거스의 여러 호텔에서 동시에 발표가 진행됩니다. 키노트에서는 AWS에서 1년간 준비해온 새로운 주요 서비스들이 한꺼번에 소개가 됩니다. 그동안 리인벤트…

Buzzvil Tech

The Flip

DynamoDB Limit 설정으로 RCU 97% 절감한 이야기

Python 2.7 서버의 CI Test 개선 - 13분에서 3분으로

2026년 버즈빌 디자인 스택, AI 전환을 준비하며

5대 금융사를 품은 버즈베네핏의 백엔드 팀은 무슨 일을 할까요?

버즈빌 프론트엔드 변천사

AWS 비용 최적화 Part 1: 버즈빌은 어떻게 월 1억 이상의 AWS 비용을 절약할 수 있었을까