데이터 세상에서 살아남기 !

데이터 파이프라인이란 ?Extract, Transform and Load 의 약자로 ETL 이라고도 표현이 되기도 하고, Data Pipeline 이라고 표현하기도 하고, Data Workflow, DAG 등으로 표현되기도 한다. 어떠한 데이터 소스가 있을 때 어떠한 형태로든 데이터를 추출하고, 원하는 형태로 변환하고, 데이터 웨어하우스에 추출하고 정제한 데이터를 적재하는 것을 말한다.  즉 데이터 소스로 부터 목적지로 복사하는 작업을 말한다.  ( 데이터 소스의 예시는 다음과 같이 click stream, call data, log files... 등이 될 수 있다 )이 작업은 보통 파이썬, SQL 을 통해 이뤄지며, 목적지는 보통 데이터 웨어하우스가 된다. ( 프로덕션DB, NoSQL,S3... 도 ..

Snowflake에 대해 학습을 해보고자 학습환경을 세팅해보고자 한다.1. 계정생성https://signup.snowflake.com/?utm_cta=website-homepage-hero-button-start-for-free  Snowflake Trial signup.snowflake.com해당 사이트에 접속하여 Snowflake 계정을 생성해준다, Snowflake 는 30일 혹은 $400 까지 무료로 평가판을 사용 가능하다.해당 조건을 충족할 경우 계정은 정지 상태가 되며, 결제 정보를 입력할 경우 다시 사용이 가능하도록 되어있다.Snowflake 는 멀티클라우드를 지원한다. 이에 따라 클라우드 공급자를 선택해서 사용할 수 있는데 난 기존에 AWS-Redshift 를 학습한 경험이 있어 AWS 를..

Snowflake란 ?Snowflake는 클라우드 기반의 데이터 웨어하우스 서비스로, 데이터를 저장, 처리, 분석하는 현대적인 방법을 제공. 전통적인 데이터 웨어하우스와 달리, Snowflake는 클라우드 인프라 위에 구축되어 있어, 사용자는 하드웨어 관리나 소프트웨어 업데이트에 신경 쓸 필요 없이 데이터에 집중할 수 있다. 또한, Snowflake의 가장 큰 특징 중 하나는 '스토리지(storage)'와 '컴퓨트(compute)' 리소스의 분리입니다. 이는 데이터를 저장하는 공간과 데이터를 처리하는 데 필요한 컴퓨팅 파워를 독립적으로 확장하거나 축소할 수 있음을 의미한다. 이러한 유연성 덕분에 사용자는 필요에 따라 비용을 효율적으로 관리하면서 데이터를 더 빠르고 쉽게 분석할 수 있다. 간단히 말해, S..

ETL 이란 ?Extract, Transform, Load 의 약자로 데이터 웨어하우스 밖에 있는 즉, 외부에 존재하는 데이터를 가져다가 내부의 데이터 웨어 하우스에 로드하는 작업.Extract ( 추출 ) : 외부 데이터 소스에서 데이터를 추출.데이터를 수집하는 작업.데이터는 정형 데이터와 비정형 데이터가 존재하며 데이터를 수집하는 과정을 추출이라고 한다.정형 데이터는 엑셀의 형태로 저장할 수 있는 데이터를 말한다.비정형 데이터는 파일,웹사이트의 HTML, API 등 다양한 형태가 될 수 있다.Transform( 변환 ) : 데이터의 포맷을 원하는 형태로 변환추출한 데이터는 다양한 구조로 구성되어 있다. 이를 분석하기 위해 일관된 데이터 형식으로 변경 시켜주는 과정.변환을 통해 데이터를 효율적으로 관..

Transaction ? Atomic하게 실행되어야 하는 SQL 들을 묶어서 하나의 작업처럼 처리하는 방법, 즉 여러개의 쿼리가 동시에 실행되었을 때 데이터의 정합성이 문제가 되지 않는 경우를 Atomic 하다라고 한다.DDL / DML 중 레코드를 수정/추가/삭제한 것에만 의미가 있음.SELECT 에는 transaction을 사용할 이유가 없음BEGIN 과 END 혹은, BEGIN 과 COMMIT 사이에  해당 SQL 들을 사용하는 것을 Transaction 을 이용하는 방법.ROLLBACKTransactio의 4대 특성 ( ACID )Atomicity(원자성) : Transaction 내의 모든 연산들은 모두 실행되거나, 모두 실행되지 않아야 한다는 특성을 말한다. 즉 transaction은 하나의 ..

JOIN 이란 ? SQL 조인은 두 개 혹은 그 이상의 테이블들을 공통 필드를 가지고 merge 하는데 사용된다.이는 star schema로 구성된 테이블들로 분산되어 있던 정보를 통합하는데 사용된다.  왼쪽 테이블을 LEFT 라고 하고, 오른쪽 테이블을 RIGHT 라하면 JOIN의 결과는 방식에 상관없이 양쪽의 필드를 모두 가진 새로운 테이블을 만들어내게 된다.  JOIN 의 방식에 따라 생성되는 테이블이 달라진다. 여러 JOIN 의 종류는 아래와 같이 나눌 수 있다.  JOIN 의 문법./*____ 자리에 위에서 보이는 INNER,LEFT,RIGHT,FULL,OUTER .. 등이 올 수 있다.*/SELECT FROM ____ JOIN ON  JOIN 시 다음사항을 반드시 고려해야 한다.중복된 레코..

GROUP BY & Aggregate Fucntion.GROUP BY란, 테이블의 레코드를 그룹화하여 그룹별로 다양한 정보를 계산할 때 사용하는 연산자이다. GROUP BY는 다음 두단계로 이뤄진다.먼저 그룹화를 진행할 필드를 결정한다 이때 필드는 하나 이상의 필드가 될 수 있다.이 후 그룹별로 계산할 내용을 결정한다 이때 aggregate 함수를 사용해 그룹별 계산을 진행한다보통 COUNT,SUM,AVG,MIN,MAX .. 등의 함수를 통해 그룹별 계산을 진행한다. 다음과 같은 데이터 베이스가 있다고 할 때 몇가지 예시를 들어 GROUP BY 사용법을 사용해보자. 1. 월별 총 섹션수 구하기./* 만약 raw_data 스키마의 session_timestamp 테이블의 정보를 불러와..

HTML 이란 ? Hypertext Markup Language 의 약자로 웹 브라우저가 이해할 수 있는 언어로써 이를 통해 웹페이지의 구조를 담당한다. CSS 란 ? Cascading Style Sheets 의 약자로 문서를 예쁘게 꾸미는 언어로써 웹페이지의 시각적인 부분인 색상,폰트 등을 지정해 웹페이지를 구성하는 시각적인 요소의 디자인을 담당한다. JavaScript 란 ? 문서에 기능을 만들어주는 언어로써 웹사이트의 기능적인 요소를 구현할 수 있다. 웹페이지에서 동적인 기능을 구현할 수 있도록 해준다. HTML 의 구조 기본 문법 # 콘텐츠를 가지는 태그는 여는 태그와 닫는 태그가 있어야한다. example # 콘텐츠를 가지지 않는 태그는 단일 태그만 있다. # 단일태그 뒤엔 "/" self cl..

Python 으로 단방향 연결리스트 구현하기. # 1. 노드의 구성 class Node: def __init__(self,item): self.data = item self.next = None # 2. 연결리스트의 구성 class LinkedList: def __init__(self): self.nodeCount=0 self.head = None self.tail = None # 연결 리스트 조작하기. # 1.원소 참조. # 보통 연결리스트를 구성할 때 node position을 1부터 시작하여 구성하기 때문에 1로 시작. def getAt(self,pos): if pos self.nodeCount : # 참조할 것이 없다면 return None i = 1 curr = self.head while i ..

연결리스트 ( Linked-List ) 리스트 처럼 일반적으로 늘어져 있는것이 아닌 데이터 끼리 이어져 있는 리스트이다. 이 연결리스트는 각 노드가 데이터와 포인터를 가지고 한줄로 연결되어 있는 방식으로 데이터를 저장하는 자료구조이다. Linked List 는 다음처럼 가장 앞에 위치하는 노드를 Head 노드 또는 Head 라고 부르고 가장 마지막에 존재하는 노드를 Tail 노드 또는 Tail 이라 부른다. 이는 앞으로 있을 데이터의 추가 및 삭제를 유연하게 하기 위한 중요한 포인트 라고 볼 수 있다. 배열과 연결리스트의 차이점이 무엇인가 ? 기준 배열(Array) 연결리스트(Linked List) 자료구조 연속적인 메모리 위치에 데이터를 저장. 각 데이터가 포인터로 연결된, 별도의 위치에 저장된 노드로..