Dev Traveler

요즘 데이터에 대한 관심이 어느때보다 더 뜨거운 것 같습니다. 우리는 알파고에서 시작해서 ChatGPT까지 여러 인공지능 및 머신러닝의 변화 과정을 지켜보고 있습니다. 어느때는 동료들과 기술발전이 무섭다 라는 얘기를 하기도 합니다. 이런 기술은 어디서 기반한 것일까요? 모든 것은 데이터 기반으로 동작합니다. 이런 데이터는 기업이나 개인이나 매우 소중합니다.

기업 입장에서 데이터는 비즈니스의 성과 및 추세를 결정할 수 있는 매우 중요한 기초 자산입니다. 해당 데이터를 다루기 위해 여러가지 방법을 사용합니다. 책에서도 설명하듯 이전에는 간단한 데이터베이스로부터 분석용 데이터를 생성하고 해당 데이터를 기반으로 의사결정을 합니다. 소규모 조직에서는 이 방법이 잘 동작합니다. 하지만 기업 규모가 커질수록 이 방법은 많은 문제를 발생시킵니다. 해당 문제를 해결하기 위해 다양한 방법이 시도 되고 있고 사용되고 있습니다. 데이터 웨어하우스라는 개념, 데이터 레이크라는 개념이 여기에 해당하죠.

이 책에서 필자는 여기서 한발 더 나아간 데이터 메시라는 개념을 독자에게 선물하고 있습니다. 제가 이해한 바가 정확할지는 모르겠습니다만, 간단하게 정리해보면 다음과 같이 정의할 수 있을 것 같습니다.

기존 중앙 집중적인 데이터 처리에 대한 병목을 줄이기 위해 도메인 단위로 데이터 처리 로직을 쪼개고 서로 유기적으로 통신 가능하도록 구성하는 데이터 아키텍처

정의만 보면 간단합니다. 하지만 이 방법을 실제 기업환경에 적용하기 위해서는 많은 시행착오와 도전이 필요할 것이라 생각됩니다. 기업들은 궁극적으로는 데이터 메시를 채용할거라 생각됩니다. 요즘 같이 트렌드가 자주 바뀌는 시대에 빠른 의사결정이 중요하니까요. 데이터 메시는 빠른 의사결정 및 처리를 위한 기반이 될 것입니다.

그리고 개인적으로 이 책에서 좋았던 점은 제가 몰랐던 다양한 개념을 고수준 아키텍처 범위에서 이해하기 쉽게 설명해 주고 있는 점입니다. 특히 그림을 통해서 설명하는 방법을 많이 활용합니다.

이렇게 그림을 통해서 전체적인 구조를 살펴볼 수 있도록 하고 해당 내용을 하나씩 풀어서 설명해주는 방법은 정말 선호하는 방법입니다. 이렇게 하면 머릿속에 전체적인 그림을 그릴 수 있고 내용을 하나씩 채울 수 있기 때문입니다.

다음으로 좋았던 점은 다프라고 불리는 가상의 회사를 통해서 우리에게 예시를 통해 데이터 메시에 대한 필요성과 정의등을 설명합니다. 리뷰를 보시는 분은 위에 제가 정의한 데이터 메시의 정의가 이해가 되실까요? 대부분은 이해가 되지 않을 겁니다. 데이터 메시라고 불리는 개념을 책을 통해서 저 스스로 생각해서 정의했기 때문입니다. 이 부분은 저의 정의와 다른 독자의 정의가 다를 수 있습니다. 이러한 개념을 책에서는 바로 정의로 던지는 것이 아니라 다프라는 회사의 상황과 이를 해결하기 위해서 데이터 메시를 도입하는 과정을 보여주기 때문에 좀 더 쉽게 개념에 접근할 수 있었습니다.

이 책은 데이터 과학자, 아키텍처, 개발자 모두에게 추천합니다.

단순히 한번만 보는 것이 아닌 여러번 읽고 해당 개념을 자신의 것으로 만드는 것이 필요할 것 같습니다