목록2024/07/21 (1)
imhamburger 님의 블로그
데이터엔지니어 부트캠프 - 에어플로우 dag, Operator 다뤄보기 (2주차)
저번주에는 내가 가지고 있는 데이터들을 sql로 불러와 데이터베이스, 데이터 테이블을 생성하여 행렬로 이루어진 테이블에 넣는 것을 배웠었다. 이번주는 에어플로우를 다루는 방법을 중점적으로 배웠다. 에어플로우가 뭔지는 이전글에 작성하였으니 참고! 에어플로우에 대해 다시 간단하게 말하자면 데이터 파이프라인을 관리하는 플랫폼이다. 핵심 요소는 dag, operator, task 이렇게 3가지이며 이를 다루기 위해서는 파이썬을 사용해야 한다. dag 를 데이터 파이프라인이라고 생각하면 쉽다. dag가 10개면 10개의 데이터 파이프라인을 가지고 있는 것이다. dag을 사용하는 방법은 공식문서에 자세히 적혀있다. 기본적으로 dag파일은 ~/airflow/dags 폴더 안에 {DAG명}.py 파일을 만들어 파일..
데이터엔지니어 부트캠프
2024. 7. 21. 01:34