전체 글
Spark Connect
Tickets https://issues.apache.org/jira/browse/SPARK-39375 https://docs.google.com/document/d/1Mnl6jmGszixLW4KcJU5j9IgpG9-UabS0dcM6PM2XGDc/edit#heading=h.wmsrrfealhrj [External] Spark Connect - A client and server interface for Spark docs.google.com
Morden Data Stack
모던 데이터 스택 발전사 모던 데이터 스택 발전사 (1) - 데이터넷 [데이터넷] 지난 20년 동안 기업 환경에서 데이터 플랫폼은 변화하는 시대 요구사항에 맞게 진화해 왔지만, 오늘날 생성되는 데이터 양, 속도, 다양한 데이터 유형 및 분석 워크로드에 민첩하게 www.datanet.co.kr 모던 데이터 아키텍처와 새로운 아키텍처의 시대 모던 데이터 아키텍처와 새로운 아키텍처의 시대 - 테크잇 학습 차원에서 틈틈이 해외 전문가들이 블로그나 미디어 그리고 책에서 쓴 글을 번역 또는 정리하고 있습니다. 이번 포스팅도 그중 하나고요. 거칠고 오역된 부분이 있을 수 있습니다. 제대로 techit.kr
[독서] 시작의 기술
Chapter One 대화하는 방식은 삶과 긴밀한 관계가 있다. 타인 뿐만 아니라 나 자신과의 대화도 그렇다. 사실 자신과의 대화의 비중이 더 크기때문에 더 중요하다고도 말할 수 있을 것 같다. 긍정적인 자기 대화는 실제 삶도 긍정적으로 만들어준다고 한다. 또한 부정적인 자기 대화의 힘도 매우 크다고 한다. 예로 자신감 없는 자기 대화는 자신을 끝없는 무력감으로 밀어넣을 수도 있는 것이다. 그렇게되면 반복된 부정적인 경험을 할 수 밖에 없다고 생각이 들었다. 이처럼 자기 자신과의 대화, 즉 생각을 어떤식으로 하는지는 삶에 아주 큰 영향을 준다. 대화, 생각, 감정, 삶 모든 것이 연결되어 있다. 긍정과 부정을 넘어서 단조로운 대화, 얕은 생각은 나의 삶을 밋밋하게 만들지도 모른다는 생각이 들었다. 이것만..
[코틀린 완벽 가이드] 2장. 코틀린 언어 기초
2.1 기본 문법 변수 정의하기 세미콜론 생략 가능(안쓰는걸 권장) 타입 추론 기능으로, 변수 타입을 지정하지 않아도 됨 타입 val : 변경 불가 var: 변경 가능 val x = 5 val n: Int = 100 val text: String //단, 사용하기 전에 초기화 필요 print(n+1) //error var sum = 1 print(a++) // 1 출력 print(++a) // 3 출력 식별자 일반적인 변수명 역따옴표로 감싼 식별자 -> 어떤 문자열이든 설정 가능, 하지만 가독성을 위해 지양 val `name with spaces` = 2 식과 연산자 후위 > 전위 > 곱셈 > 덧셈 > 중위 > 비교 > 동등 > 논리곱 > 논리합 > 대입 2.2 기본 타입 하위 타입 개념이 있음 val ..
[데이터 중심 애플리케이션 설계] 7장 트랜잭션 - 직렬성
* 이 글은 [데이터 중심 애플리케이션 설계]를 공부하며 기록을 남긴 것입니다. 직렬성 여러 트랜잭션이 병렬로 실행되더라도 직렬로 실행되는 것과 최종적으로는 같도록 보장하는 것 완벽한 격리 수준인 것 같지만 완벽히 구현하기 매우 어렵다. 단일 노드 DB를 기준으로 봄. 구현 방법 3가지 1. 순차적으로 실행하기 한 번에 한 트랜잭션만 직렬로 단일 스레드에서 실행하는 방법 메모리에 더 많은 데이터를 담을 수 있고, 대부분의 OLTP 트랜잭션은 짧기 때문에 가능해짐 잠금으로 발생하는 오버헤드를 줄일 수 있지만, 처리량이 CPU 하나 수준으로 제한됨 → 다른 형태로 구조화 스토어드 프로시저 단일 스레드에서 실행하기 위해서는 트랜잭션 코드 전체를 스토어드 프로시저 형으로 변환하여 실행 I/O 대기, 오버헤드를 ..
[운영체제] Memory Management
출처 운영체제 강의 모음 (슬라이드 & YouTube 링크) * 모든 강의는 YouTube에서 보실 수 있습니다 [재생목록 링크] 1. Computer System Overview [Slides][Video] - What is OS? - Computer Hardware 2. OS Overview [Slides][Video] - Role of Operating Syst.. hpclab.tistory.com
[DEVIEW 리뷰] Luft: 10초만에 10억 데이터를 쿼리하는 데이터스토어 개발기
DEVIEW 2020 데이터 엔지니어링 파트의 Luft 세션을 들으면서 정리한 내용입니다. 40분 가량의 세션에서 기억하고 싶은 부분들이 너무 많아, 사실 거의 옮겨 적어놓은 것과 비슷합니다..ㅎㅎ 자세한 내용이 궁금하시다면 하단의 링크를 참고해주시고, 문제가 된다면 수정하겠습니다! - 소개 Airbridge에서 자체 개발한 데이터스토어인 Luft의 개발기를 공유하고자 합니다. Luft는 사용자 행동 분석에 최적화된 실시간 분산 데이터스토어입니다. S3과 Kafka로부터 각각 배치/실시간 데이터를 받아, 사용자 ID별로 파티셔닝해 저장하고 이를 바탕으로 리텐션 및 퍼널과 같은 사용자 행동 분석 쿼리를 수 초 이내로 수행합니다. 본 세션에서는 Luft에 대한 소개 및 개발기를 공유합니다. 국내에서 흔치 않..