JINIers

Looker 모델링 쿼리 생성 및 빠른 시작 작업 개요 매개변수를 사용하여 탐색에 대한 모델링된 쿼리를 만드는 실습 목표 1. 모델링된 쿼리 생성 2. 모델링된 쿼리 lookML에 저장 3. 모델링된 쿼리 사용하여 look 보고서 작성 쿼리 매개변수 생성하기 쉬운 방법 1. explore에서 분석 빌드 2. aggregate_table LookML을 생성하는데 사용되는 기능 차용 3. LookML 복사하여 모델링된 분석의 시작점으로 사용 작업 1. 탐색에서 모델링된 쿼리 만들기 explore > E-Commerce Training > Order Items 선택 users > state(Dimensions) Products > Department(Dimensions) Users > Count(Measure..

Looker 탐색에서 사용자 정의 필드 사용 개요 looker는 데이터 분석을 위해 임시필드를 만들고 활용할 수 있는 기능 제공 임시필드 사용 시 : 비개발자가 새 필드를 생성할 수 있음 → 독립적으로 찾고있는 데이터를 더 유연하게 찾을 수 있음 이 퀵랩의 목표 - 사용자 지정 측정값 만들기 - 사용자 지정 그룹 만들기 - 사용자 지정 측정값에 필터 추가 - looker 함수, 연산자를 작성하지 않고 숫자필드에서 테이블 계산 사용 작업 1. 사용자 지정 측정만들기 # 측정기준의 점3개 옵션 메뉴 사용 Development Mode > explore > E-Commerce Training > Order Items Inventory Items > Cost(dimension) > 점 세개 > Aggregate..

구글에서 제공하는 skillboost에서 공부했다. 왜냐면 BI툴 치곤 자료가 많이 없음 ▶ 공부하기 어려움이 있음 그럴 땐 스킬 부스트를 이용하는게 낫다. Looker learning paths URL 'BI and Analytics with Looker' 을 수강하면 된다. 이렇게 8가지의 강의가 있다. 순서 1. Using Custom Fields in Looker Explores 2. Creating a Looker Modeled Query and Working with Quick Start 3. Optimizing Performance of LookML Queries 4. Exploring Data with Looker 5. Understanding LookML in Looker 6. Apply..

bastion 서버 생성 및 internal 서버로 접속 OS: Centos 7 #root password 설정 및 접속 sudo passwd su - # update yum update && yum install -y vim wget ** yum update 하면 centos 7버전에서는 업뎃에러가 종종 발생 그럴 땐 아래 명령어로 조치를 취한다.▼ ps -ef | grep yum kill -9 [PID] dhclient # bastion 접속 계정생성 # 계정 추가 useradd [ID] # 계정 passwd 생성 passwd [ID] # wheel 사용 # user wheel 권한 넣기 usermod -G wheel [계정] # wheel 잘 들어갔는지 확인 vi /etc/group vi /etc/..

관련퀵랩 개요 vpc 2개 생성 방화벽 규칙 생성 vpn gw 생성 bgp 피어링 생성 vpn 터널 확인 목표 2개의 vpc 네트워크와 인스턴스 생성 HA VPN 게이트웨이 구성 VPN 터널로 동적 라우팅 구성 전역 동적 라우팅 모드 구성 HA VPN gw 구성 확인 및 테스트 생각보다 어렵다. 잘 따라해보자. 작업1. 전역 vpc 환경설정 [vpc 설정] # demo vpc 생성 gcloud compute networks create [vpc명] --subnet-mode custom gcloud compute networks create vpc-demo --subnet-mode custom # demo vpc subnet 생성(us-central1) gcloud compute networks subne..

이걸 만들거다. private cluster 참고링크 1: 비공개 클러스터 만들기 참고링크 2: GKE로 Cloud NAT 설정 구성순서 1. vpc 네트워크 및 서브넷 만들기 2. 비공개 클러스터 만들기 3. SSH 연결을 허용하는 방화벽 규칙 만들기 4. 노드 중 하나에 SSH 권한 만들기 5. 노드에 로그인하고 인터넷에 연결할 수 없는지 확인 6. Cloud Router를 사용하여 NAT 구성 만들기 7. 인터넷에 연결시도 8. cloud shell을 사용하여 비공개 클러스터로 액세스 1. vpc 네트워크 및 서브넷 만들기 vpc network > create vpc network > name, subnet 입력 > create * region = us-central1로 했으나 vpc subnet이..

Planning and Building the Admin Cluster 1. What type of Anthos on bare metal cluster does not exist? Multi-cloud cluster. 2. What is the CLI tool used to create and manage Anthos clusters on bare metal? bmctl 3. Why does the Anthos on bare metal installer create a kind cluster? To reuse the software used to create and configure other clusters. Adding and Configuring User Clusters 1. 2. 3.

※ anthos on bare metal 정리 Anthos - google cloud 제품 및 기능을 모아둔 플랫폼 - 애플리케이션을 더 쉽게 배포하고 관리 - 오픈소스 제품을 기반으로 함 - Developer: Knative → cloud run 서버리스 기능을 사용하는 워크로드를 쉽게 배포할 수 있음 - service operator/SRE: Istio → anthos service mesh antahos 서비스 메시 구축으로 다른 환경에서 오픈소스 k8s 및 istio 사용 가능 - infrastructure operator: k8s → anthos clusters anthos on bare metal 베어메탈 클러스터 1. 온프레미스 환경에서 구동된다. 2. 기존 인프라를 계속 사용할 수 있다. ..

1. test file 생성 vi test.txt 파일 내용 #test.txt 221205 1405i : make test file 2. 현재 브런치 확인 git branch 3. 파일 추가 git add [파일명] git add .#파일을 전부 추가하고 싶을 때 4. git commit & 코멘트달기 git commit -m "[여기다가 적기]" 5. git push git push -u origin main 하면 user name과 비밀번호를 입력하라고 한다. 6. gitlab에 업데이트 됐는지 확인 7. git pull vscode를 이용해서 코드를 수정한다면 작성한 코드가 vm으로는 업데이트가 안될 수 있다. 그럴땐 gitlab에서 데이터들을 가져온다. * 명령어 실행은 git 디렉토리에서 하기 ..

일단.. 1. vm을 우분투로 생성해주고 업데이트를 해준다. apt-get update 2. git 버전 확인 gcp는 vm에 기본적으로 git client가 설치되어 있다. git -version 3. git clone git 복사하기 전에 프로젝트를 하나 생성한다. 생성된 프로젝트 링크를 복사한다. 복사한 링크를 vm에 붙여넣기 git clone [복사한 gitlab http 링크] 그러면 root@song-test:~# git clone [붙여넣기 한 gitlab http링크] Cloning into 'song-build'... Username for 'http://_______________________': [이름입력] Password for 'http://_____________________..

22-10-07 취득 완료

Terraform을 사용하여 Google Cloud에서 인프라 자동화: Challenge Lab test 주제 기존 인프라를 terraform 구성으로 가져오기 terraform 모듈 빌드 및 참조 구성에 원격 백엔드 추가 terraform 레지스트리의 모듈 사용 및 구현 인프라 재프로비저닝, 파괴 및 업데이트 생성한 리소스 간의 연결 테스트 참고 동영상 : https://youtu.be/eY7pYGX2MTo 작업 1. 구성파일 생성 아래의 파일 및 디렉토리를 touch, mkdir 이용 생성 main.tf variables.tf modules/ └── instances ├── instances.tf ├── outputs.tf └── variables.tf └── storage ├── storage.tf..

Terraform 모듈과 상호 작용 [개요] terrform으로 인프라를 관리하면 복잡한 구성이 생성됨 그럴 때 발생하는 문제 1. 구성파일을 이해하고 탐색하기 어려움 2. 한 블록을 업데이트 하면 구성의 다른 블록에 의도하지 않은 결과가 발생할 수 있으므로 구성 업데이트는 더 위험해짐 3. 프로젝트와 팀 간에 구성의 일부를 공유하려는 경우 프로젝트 간 구성블록을 복붙하는 것은 오류가 발생하기 쉽고 유지 관리하기 어려울 수 있음 ▶ 모듈을 사용하면 위의 문제들을 해결할 수 있음 - Organize configuration 구성의 관련부분을 함께 유지하여 구성을 보다 쉽개 탐색, 이해 및 업데이트 할 수 있다. 모듈을 사용하여 구성을 논리적 수엉요소로 구성할 수 있음 - Encapsulate configu..

Terraform을 사용한 코드형 인프라 + 수정 : 220901: 부가설명 추가 [개요] terraform - 코드로서의 인프라 - 안전하고 반복 가능한 방식 - 인프라 구축, 변경, 관리하기 위한 도구 - HCL(HashiCorp Configuration Language) 이라는 구성언어로 환경을 관리할 수 있음 사용자 인터페이스에서 리소스를 수동으로 구성하는 대신 파일에서 인프라를 관리하는 프로세스 운영자가 HCL를 사용하여 원하는 리소스의 정의가 포함된 파일을 작성할 수 있음 [워크플로] - 범위 : 주어진 프로젝트에 대해 생성해야하는 리소스 확인 - 작성자 : 범위 매게변수를 기반으로 HCL에서 구성파일 생성 - 초기화 : terraform init ㄴ 구성파일이 있는 프로젝트 디렉토리에서 실행..

220830_Terraform Fundamentals [개요] terraform 시작 설치 바이너리에서 terraform을 설치 terraform을 사용하여 vm 인스턴스 인프라를 구축 [테라폼이란?] 인프라를 안전하고 효율적으로 구축,변경 및 버전을 관리하기 위한 도구 기존의 인기있는 서비스 제공업체와 맞춤형 사내 솔루션을 관리할 수 있음 구성파일 : 단일 애플리에키션 or 전체 데이터 센터를 실행하는데 필요한 구성요소 원하는 상태에 도달하기 위해 수행할 작업을 설명하는 실행 계획을 생성한 다음 이를 실행ㅎ여 설명된 인프라 구축 terraform이 관리할 수 있는 인프라 - 컴퓨팅 인스턴스, 스토리지 및 네트워킹과 같은 하위 수준 구성 요소 - DNS 항목 및 SaaS 기능과 같은 상위 수준 구성요소 ..

* 수정 22-08-23 : cloud armor update 22-08-30 : ingress 내용 update 1. vpc 생성 vpc name : testnw 2. GKE cluster 생성 Kubernetes Engine > Clusters > create cluster > standard mode 선택 > 설정 * 설정 [default-pool] - number of nodes: 1 [Cluster] - network: 설정한 VPC로 변경(나는 ‘testnw’로 해줌) 3. workload 생성(deploy 생성) test-1부터 test-3까지 생성해준다. - service name : test1 - namespace name : test1-ns * Deploy를 생성하면 service가 자..

Cloud Armor 개요 DDoS 공격, XXS(크로스 사이트 스크립팅), SQL injection(SQL 삽입공격)과 같은 어플리케이션 공격을 포함한 여러가지 위협으로부터 cloud 배포를 보호 cloud armor에는 일부 자동보호기능 포함 / 수동으로 구성해야 하는 경우도 있음 armor 중 일부는 global external http(s) LB, global external http(s) LB(classic)에서만 사용가능 보안정책 armor 사용 시 배포 여부와 관계없이 LB 뒤에서 실행되는 애플리케이션 보호 가능 수동으로 구성가능 규칙언어 우선순위가 지정된 규칙 정의 및 적용 수신요청 속성 = 해당 속성, 일치 시 가장 우선순위가 높은 규칙 순으로 작업 적용 사전 구성된 WAF(Web App..

부제: 비선점형 인스턴스에 사용하던 파일&내용을 그대로 옮기고 싶다면(vm 복제) 인스턴스들을 구성하다가 vm 으로 인해 비용이 너무 많이 청구되는 사태가 발생하였다. 상시로 돌아가는 인스턴스를 제외한 나머지, 즉 사용하지 않는, test용인, 쓰다 만 vm 인스턴스들 vm 내의 파일들은 필요하나 vm을 구동할 필요는 없는 그런..것들을 비용이 많이 나오니까 전부 선점형으로 바꾸라고 하셨다. 그래서 생각한게 1. vm을 그냥 복제하자 : vm create similar 하면 되겠지 ▶ 개같이 멸망, error남 2. vm을 image를 뜬 뒤 create 하자. 순서 복제할 머신 이미지 생성 create similar snap shoot image → vm create 선점형으로 설정 ▶ 역시나 개같이 ..

220704_Kubernetes Engine: Qwik Start GKE : Google Kubernetes Engine google 인프라를 사용하여 컨테이너화된 애플리케이션을 배포, 관리 및 확장하기 위한 관리형 환경을 제공 GKE를 사용하여 컨테이너 생성 및 애플리케이션을 배포할 수 있음 GKE cluster kubernetes 오픈소스 클러스터 관리 시스템을 기반으로 함 컨테이너 클러스터와 상호 작용하는 메커니즘 제공 명령 및 리소스를 사용하여 애플리케이션을 배포,관리 관리작업 수행, 정책설정, 배포된 워크로드의 상태를 모니터링함 작업1. 기본 컴퓨팅 영역 설정 gcloud config set compute/zone us-central1-a 작업2. GKE 클러스터 만들기 # 클러스터 생성 gcl..

220630_Introduction to Docker 도커 소개 [개요] Docker 애플리케이션 개발, 배송 및 실행하기 위한 개방형 플랫폼 도커를 사용하면 인프라에서 애플리케이션을 분리하고 인프라를 관리되는 애플리케이션처럼 취급할 수 있음 커널 컨테이너화 기능을 애플리케이션 관리 및 배포에 도움이 되는 워크플로 및 도구와 결합하여 수행함 Docker container는 Kubernetes에서 직접 사용할 수 있으므로 Kubernetes Engine에서 쉽게 실행 할 수 있음 [중점사항] Docker 컨테이너를 빌드, 실행 및 디버그 하는 방법 Docker hub 및 google container registry에서 docker 이미지를 가져오는 법 Docker 이미지를 google container ..

220630_gitlab branch 생성 및 gcp source repository에 미러링(최종) 221111 : 미러링 방향 내용 수정 & 브런치 개념 추가 git branch를 알기 위해선 일단 기본개념을 잡는 것이 무조건 필수로 필요하다. 다행히 잘 정리되어 있는 사이트를 찾았음 읽어보고 설정할 것, 안그러면 하다가 헤맬 수 있음 주의! ※ git 기초 : https://wikidocs.net/153114 05. branch 브랜치(branch)는 저장소(repository) 내의 존재하는 독립적인 작업관리 영역이다. 저장소 안에서 브랜치는 여러 개가 생성될 수 있다. 각 브랜치는 다른 브랜치의 ... wikidocs.net 내가 다시 정리한 브런치 개념 git branch 개념 gitlab ↔..

[GKE_pod deploy] cloud build.yaml 및 kubeconfig.yaml 생성 을 하기전에 1. data 전송 source repository를 생성한 뒤에 cloud source repositories master → gitlab에 미러링을 해야한다. 2. 미러링 test 3. cloudbuild.yaml & kubeconfig.yaml 생성 순이다. ※ 미러링 최종본 https://jiniers.tistory.com/79 gitlab branch 생성 및 gcp source repository 에 미러링 2(최종) 220630_gitlab branch 생성 및 gcp source repository에 미러링(최종) git branch를 알기 위해선 일단 기본개념을 잡는 것이 무조건..

퀵랩으로 연습하고 실제 프로젝트에 test 해볼 겸 설치해보았다. ※ 참고 : https://jiniers.tistory.com/16 [PCK] Building a DevOps Pipeline lab Building a DevOps Pipeline lab DevOps 파이프라인 빌드 ※ 수정 220621 [개요] cloud sorce repositories, cloud build, build trigger 및 container registry를 사용하여 지속적 통합 파이.. jiniers.tistory.com 1. git 저장소 만들기 디렉토리 생성, source repository 복제 mkdir gcp-course-song cd gcp-course-song/ gcloud source repos clo..

수정 221111 : pull, push 개념 작성 하 이거 정말 힘들었다. ㅜㅠㅜ 깃랩을 소스리포지터리에 연동해서 미러링이 되는지 보는건데 이게 안되서 리포지토리를 몇개를 설치했다 지웠는지.. 그와중에 다른분 리포지토리와 함께 꼬여서(명령어 입력하다가 모르고 지워버림;;) 너무 죄송했쟈나.. 무튼 이건 많이 쓰일 것 같아서 고생한만큼 기록하기 ※ 참고링크 GitLab 저장소를 Cloud Source Repositories로 미러링 | 클라우드 아키텍처 센터 | Google Cloud 의견 보내기 GitLab 저장소를 Cloud Source Repositories로 미러링 컬렉션을 사용해 정리하기 내 환경설정을 기준으로 콘텐츠를 저장하고 분류하세요. 이 가이드에서는 GitLab 저장소를 Cloud Sou..

인프라 구축하면서 cloud function 이라는걸 dataflow 대신 사용해보게 됐는데 dataflow 너무 비쌈 무슨 쓰지도 않는데... 무튼 그래서 cloud function이라는 걸 사용하려고 하는데 구글에서 딱히 푸쉬하는 기능은 아닌 듯 퀵랩도 별로 없고 docs도 설명이 몹시 부족하다. 특히 나는 이 entry point(=진입점)가 뭔지 몰랐는데 entry point = 라고 함 그래서 내가 인스턴스에서 파이썬 파일을 실행했을 때와 그걸 그대로 갖고와서 function에 넣어 돌리면 안됐던 것 당연함 E.P 지정을 안해줬는데 될리가.. 없지 아주 어림도 없었다. (그러니까 자꾸 에러만 뜨지..) 그걸 어떻게 해결하느냐? 코드에 진입점을 넣어주면 된다. def : ~ 그럼 def 의 아랫부..

택시 데이터를 Google Cloud SQL 2.5로 로드하기 [개요] CSV 텍스트 파일에서 Cloud SQL로 데이터를 가져온 뒤, 단순 쿼리를 사용하여 기본 데이터 분석을 수행 [목표] Cloud SQL 인스턴스 만들기 Cloud SQL 데이터베이스 만들기 Cloud SQL 텍스트 데이터 가져오기 데이터 무결성 확인하기 0. 환경준비 [환경변수와 데이터를 저장할 저장용량 버킷 생성] export PROJECT_ID=$(gcloud info --format='value(config.project)') export BUCKET=${PROJECT_ID}-ml 1. Cloud SQL 인스턴스 만들기 [Cloud SQL 인스턴스 생성] gcloud sql instances create taxi \ --tie..

BigQuery에 데이터 로드하기 BigQuery : google의 완전관리형, NoOps, 저비용분석 데이터베이스 [학습내용] 1. 다양한 소스에서 BigQuery에 데이터 로드하기 2. CLI 및 콘솔을 사용하여 BigQuery에 데이터 로드하기 3. DDL을 사용하여 테이블 만들기 1. 테이블을 저장하기 위해 새 데이터세트 만들기 bigquery > create dataset > name : nyctaxi > create 2. CSV에서 새 데이터세트 수집 create table > create Create table from: Upload Choose File: select the file you downloaded locally earlier File format: CSV name : 2018t..

BigQuery를 사용하여 분석하기 [학습내용] bigquery 콘솔에서 대화형 쿼리 수행 다양한 데이터세트를 조합하여 분석을 실행 1. 자전거 대여 데이터 살펴보기 bigquery > add data > explore public datasets > 'NYC bike' 검색 > view datasets * 테이블에 뜨지 않으면 pin a project > enter project name > project name 입력 bigquery-public-data > new_york_citibike > citibike_trips 선택 # 쿼리 입력 SELECT MIN(start_station_name) AS start_station_name, MIN(end_station_name) AS end_station_..

220603_Cloud Functions: Qwik Start - 콘솔 [개요] cloud functions 클라우드 서비스를 구축하고 연결하기 위한 서버리스 실행환경 cloud functions을 사용하면 클라우드 인프라 및 서비스에서 발생하는 이벤트에 연결된 간단한 단일 목적 함수 작성 가능 감시 중인 이벤트가 발생하면 cloud 함수 트리거 코드 : 완전 관리형 환경에서 실행 자바스크립트로 작성되며 Node.js환경에서 실행됨 클라우드 서비스를 연결하고 확장하는 코드를 작성할 수 있는 연결 논리계층 제공 google 서비스 계정 사용자 인증 정보에 액세스 할 수 있으므로 datastore, cloud spanner, cloud translation api 등의 여러 클라우드 서비스에서 원활하게 인증..

jupyterlab 이용 빅쿼리 호출하기(Bigquery → Vertex AI) vertex ai > workbench > user-management notebooks > new notebook 으로 노트북 생성 > open jupyterlab notebook > python3으로 들어가 > ___.ipynb 파일을 만든다. [1] !pip install google-cloud-bigquery !pip install --upgrade google-cloud-bigquery-storage [2] from google.cloud import bigquery client = bigquery.Client() [3] 전체 데이터 추출 sql = """ SELECT sensorID, status, temperat..