imhamburger 님의 블로그

한 달간의 취준 끝에 3월 17일 회사에 입사하여 데이터 엔지니어로서의 업무를 시작했다.  새로운 환경에서의 적응 첫 출근 후, 가장 먼저 진행한 일은 팀원들과의 미팅 및 온보딩 과정이었다. 회사에서 사용하는 데이터 환경과 기술 스택을 익히는 것이 첫 번째 과제였다. 기존에 사용해보지 않았던 도구들과 내부 데이터 파이프라인 구조를 파악하는 데 집중하며 문서를 읽고 실습을 병행했다. 온보딩 과정에서 가장 크게 와닿았던 점은 데이터 엔지니어링의 역할이 단순히 데이터를 적재하고 변환하는 것을 넘어 비즈니스 요구사항을 반영하는 것이라는 점이었다. 데이터를 어떻게 설계하고 관리해야 하는지에 대한 고민이 업무의 핵심이라는 것을 다시금 깨달았다.  맡은 업무입사 후 처음으로 맡게 된 업무는 유관부서에서 원하는 지표를..

json-server를 이용하여 간단하게 CRUD를 실습해보자. json-server는 간단하게 가짜 REST API 서버를 만들 수 있는 도구이다. 주로 프론트엔드 개발에서 백엔드 API가 완전히 준비되지 않았을 때, 테스트 목적으로 사용된다. JSON 파일 하나를 데이터베이스처럼 사용하여, RESTful API를 빠르게 생성할 수 있다.  1. json-server 설치하기npm install json-server   2. data.json 실행하기npx json-server data.json   3. GETcurl -X GET http://localhost:3000/person 결과   4. POSTcurl -X POST -d '{"firstName": "M", "lastName": "GG"}' h..

자바는 파일 확장명인 .java인 파일을 생성하고 자바 언어로 코드를 작성한 후 이렇게 만든 자바 소스 파일을 javac 명령어로 컴파일해야 한다. 컴파일이 성공하면 확장명이 .class인 바이트 코드 파일이 생성된다. 컴파일 명령어javac .java 참고javac -d bin src/.java 자바 소스 파일(App.java)을 컴파일하여 .class 파일을 특정 디렉터리(bin)에 저장하는 명령어이다. 컴파일이 가능하다면 당연히 디컴파일도 가능하다.디컴파일 다운로드 디컴파일 패키지?를 다운로드한 후 아래 명령어로 실행하면 된다. 디컴파일 실행하기java -jar jd-gui-1.6.6.jar  자바 기초익히기 1. String Copypublic class StringCopy { public ..

NGINX 설정 파일은 기본적으로 /etc/nginx 디렉터리에 위치한다. 메인 설정 파일:/etc/nginx/nginx.conf 해당 디렉토리 안에 conf 파일은 NGINX의 메인 설정 파일이며, 이 파일에서 전역 설정과 기본 서버 블록 설정 등을 정의할 수 있다.  개별 서버 설정 파일:/etc/nginx/conf.d/이 디렉터리 안에 추가적인 설정 파일을 둘 수 있다. 일반적으로 새로운 사이트나 서비스에 대한 설정 파일은 이곳에 생성한다. 예를 들어, .conf 같은 개별 설정 파일을 여기에 두면 NGINX가 자동으로 로드한다.  나는 개별 서버 설정파일을 만들었다. nginx가 로드밸런싱하기 위해서는 upstream 블록이 필요하다.서버 요청을 분산시키지 않을 경우에는 upstream 블록이 필..

Firebase에서 deploy를 했는데, 어떠한 오류가 없었다. 근데 web.app 형식만 안나오고 .com으로 끝나는 사이트는 잘 나왔다. 도메인 설정 문제는 아니었고, 캐시문제였다. 웹 브라우저의 캐시 때문에 문제가 발생할 수 있다.브라우저 캐시를 지우고 다시 시도해보거나 시크릿 모드에서 웹사이트를 열어 캐시 문제를 확인해볼 수 있다. 시크릿 모드에서 열어보니 잘 나왔고 캐시를 지웠다.

카프카에서 컨슈머에게 파티션을 할당하는 방법에는 2가지가 있다. 자동할당과 수동할당이 있다. 먼저, 자동할당을 살펴보자. 코드예시from kafka import KafkaConsumerfrom json import loadsOFFSET_FILE = 'consumer_offset.txt'def save_offset(offset): with open(OFFSET_FILE, 'w') as f: f.write(str(offset))def read_offset(): if os.path.exists(OFFSET_FILE): with open(OFFSET_FILE, 'r') as f: return int(f.read().strip()) return None..

nGrinder는 네이버에서 개발한 오픈소스 성능 테스트 도구이다.예를들어, 내가 웹사이트를 만들었는데 이 웹사이트에 유저가 늘어나는 상황이라면 지연시간, 에러 발생 등이 일어날 수 있다. 이러한 상황말고도 다양한 상황들을 내가 시나리오를 짜고 그 시나리오를 nGrinder에서 간편하게 테스트해 볼 수 있다. nGrinder는 웹, API서버, 데이터베이스 등 다양한 시스템의 성능을 테스트할 때 유용하며 특히 대규모 서비스의 안정성을 검증하는 데 효과적이다. nGrinder 설치와 사용법은 공식문서를 확인하면 된다.참고로 nGrinder 실행 시 다른 포트번호로 실행시키고 싶다면 아래와 같이 --port {번호입력} 을 추가하면 된다.java -jar -Djava.io.tmpdir=${NGRINDER_H..

pdm은 이전글에서도 설명한대로 의존성 관리도구이며 pyenv처럼 가상환경 기능을 제공한다.여러가지 모듈을 pdm 가상환경에 설치하여 다양한 기능을 테스트해 볼 수 있다. 당연히 의존성 관리 도구이기 때문에 설치한 모듈을 관리할 수 있다. 관리할 수 있다는건 생성, 삭제, 수정이 용이하다는 것이다. pdm 가상환경을 구축하는 건 매우 간단하다. pdm을 실행하고자 하는 경로로 이동하여 아래 코드를 차례대로 입력하면 된다.pdm init #pdm 실행source .venv/bin/activate #pdm 가상환경 실행 만약 가상환경이 실행이 되지 않는다면 venv가 없기때문이다. 아래 코드로 따라서 별도로 설치하고 다시 실행하면 된다.pdm venv create #venv 생성 여기 드는 의문! 그냥 가상..

pwd현재 위치 확인 cd경로를 이동할 때 사용하는 명령어cd 이동할 경로cd Desktopmkdir새로운 폴더를 생성하는 명령어mkdir 파일명mkdir newls -al폴더 안에 어떠한 파일이 있는지 확인 rm (파일명)파일 삭제하는 명령어 cat (파일명)파일의 내용을 확인하는 명령어

C'est drôle, je ne sais pourquoi 쎄 드홀, 쥬 느 쎄 뿌-흨 꾸와참 재미있어, 무슨 이유인지 모르겠지만​Ça me fait toujours penser à toi싸 므 페('f'발음) 뚜쥬-흐 뻥쎄 아 뚜와항상 네 생각이 나네​Pour plein d'aut' gens, c'est la magie푸후('후' 약하게) 플랑 돋ㅌ' 졍, 쎄 라 마지(G)다른 많은 사람들에게 그건 마법이고​L'amour, les baguettes, Paris라무-흐('흐'약하게), 레 바겓-ㄸ('ㄸ'약하게), 빠히사랑이고 바게트겠지, 파리​Toujours au même endroit뚜쥬-흐 오 멤 멍드화 ('endroit' 엉드화 라고 발음하지만 앞에 même 뒤에와서 연음으로 '멍드화'로 발음)항상..