
Cloud Storage에 JSON파일이 Upload 될 때, Bigquery Loads 파이프 라인 구성
·
Google Cloud
GCS에 JSONL파일이 업로드 되었을때 Bigquery로 Data가 올라갈 수 있게 PipeLine을 구성 해달라는 테스크를 받게 되었다. 파이프 라인을 구성하면서 생각보다 생각 할 것들이 많았다. 앞으로 내가 응용 할 수 있는 개념들이 쌓여 가는 느낌을 많이 받아 좋은 경험 이였다. PipeLine GCS에 JSONL 파일 업로드 이벤트 발생 -> Cloud logging router Sink -> Pub/Sub -> Cloud Function 가장 먼저 Cloud Storage Bucket을 생성한다. (구글링만 해도 bucket 생성은 많이 나오니 생략..) 생성이 완료된 후 , Cloud Pub/Sub의 topic 생성한다 잠깐, Cloud Pub/Sub 이란? 메시지를 생성하는..