일상
[독서] 시작의 기술
Chapter One 대화하는 방식은 삶과 긴밀한 관계가 있다. 타인 뿐만 아니라 나 자신과의 대화도 그렇다. 사실 자신과의 대화의 비중이 더 크기때문에 더 중요하다고도 말할 수 있을 것 같다. 긍정적인 자기 대화는 실제 삶도 긍정적으로 만들어준다고 한다. 또한 부정적인 자기 대화의 힘도 매우 크다고 한다. 예로 자신감 없는 자기 대화는 자신을 끝없는 무력감으로 밀어넣을 수도 있는 것이다. 그렇게되면 반복된 부정적인 경험을 할 수 밖에 없다고 생각이 들었다. 이처럼 자기 자신과의 대화, 즉 생각을 어떤식으로 하는지는 삶에 아주 큰 영향을 준다. 대화, 생각, 감정, 삶 모든 것이 연결되어 있다. 긍정과 부정을 넘어서 단조로운 대화, 얕은 생각은 나의 삶을 밋밋하게 만들지도 모른다는 생각이 들었다. 이것만..
데이터 엔지니어가 하는 일
데이터 엔지니어, 대학원을 나오지 않아도 가능할까요? 멘토님, 안녕하세요. 저는 데이터 엔지니어 분야에 관심이 많습니다. 그래서 독학으로 데이터 분석을 공부하려 합니다. 데이터 엔지니어는 전문 분야이기에 석박사 수준이 되어야 취업이 되는 � www.itdaa.net
데이터 분석가와 협업할 때 엔지니어의 역할
데이터 분석가들이 데이터를 통해 프로세스 혁신 및 마케팅 전략을 결정하는 등의 과학적 의사결정을 지원 가능하도록 하는 근간에는 중단 없이 데이터가 수집되어 처리 시스템이 처리할 수 있도록 저장소에 모아 넣는 작업이 뒷받침되어야 한다. 데이터 수집 및 적재, 전처리(이하, 데이터 전처리)는 데이터 분석이라는 큰 목적 안에서 가볍게 여기기 쉽지만 데이터 분석 시 원하는 데이터를 정확하게 그리고 효율적으로 서비스할 수 있으려면 대부분의 데이터 전처리 과정에 많은 주위와 노력을 들여야 한다. 하지만 데이터 전처리 과정에서 데이터 엔지니어에게만 모든 역할을 맡긴다면 결과가 좋게 나올 수 없기에 분석가와의 의사소통이 매우 중요하다. 때문에, 분석에 적절한 데이터를 만들기 위해서 데이터 엔지니어는 전체적인 과정에 대..
재밌게 보고 있는 기술 블로그들
요즘 기술 블로그를 재미있게 본다. 다른 개발자분들의 경험과 생각을 보면서 정말 많이 배우고 있다. 특히 흠시님께서 작성하신 1번 링크의 글을 보고 아주 공감했었다. 데이터 엔지니어라는 목표에 더욱 불이 붙는 느낌이었다. 열심히 준비하는 중이다! 1. https://dailyheumsi.tistory.com/205 [취준생의 데이터 분야의 커리어 고민 3] 엔지니어가 되자 저번 글에 이어 이번에는 '엔지니어' 가 되기로 한 계기와, 준비하는 과정을 적어보려고 한다. 고민 시리즈 마지막 글이 될 듯. 추천 시스템의 기억 예전에 추천기술팀에서 인턴 할 때, 데이터 분 dailyheumsi.tistory.com 2. https://www.ridicorp.com/blog/2016/12/26/fantasy-ser..
ML 프로젝트와 데이터 엔지니어링
“실무에서 Deep Learning 프로젝트를 하다 보니, 느낀 점은… 우리가 Lab 에서 논문쓰고 있는게 아니기 때문에, Deep Learning 자체는 알려진 State of Art 접근 방식 및 해당 알고리즘의 가장 잘 알려진 github 구현체를 가져다 쓰면 되기 때문에, 큰 진입 장벽이 아니었다는 거구요. 오히려 진입 장벽은 A 부터 Z 까지..그리고 AI 의 Serving Layer 까지 그 전체를 아우르는 큰 시스템이 하나로 잘 엮이게 묶는 것이었습니다. 거의 Engineering Art 에 가깝구요… Model 하이퍼 파라미터 튜닝하는것보다, 그 모델을 다수의 동접의 사용자들에게 에러없이 동접을 버티며 Serving 하고, 그 반응이 다시 모델에 input 으로 들어가며, 운영 중 무중지로..
Eventually Consistency를 읽고
EVENTUALLY CONSISTENT를 읽고 짧은 요약과 리뷰를 남깁니다. 클라우드 서비스를 주도하고 있는 아마존은 security, scalability, availability, performance, cost effectiveness를 적절히 유지하면서 수백명의 고객에게 서비스하기 위해 노력해왔다. 이를 위한 노력 중 하나가 data replication의 eventual consistency 모델이다. 수많은 replication 간 결과적 의존성을 보장하는 방법이다. Strong consistency 대신 더 나은 availability를 얻는다는 trade-off가 있다. 이런 consistency에 대한 고민은 오래 전부터 있었다. 모든 update를 모니터링 하던 시절부터 distribu..