JINIers

개요 vertex ai에서 jupyter 노트북 인스턴스화 jupyter 노트북 내에서 bigquery 쿼리를 실행하고 pandas를 사용하여 출력 처리 작업 1. jupyterLab 노트북 인스턴스 시작 vertex ai > workbench > user-managed notebooks > new notebooks > python3 > create > jupyterlab 열기 작업 2. bigquery 쿼리실행 [1] google cloud 모듈설치 !pip install google-cloud-bigquery==1.25.0 --use-feature=2020-resolver 실행 후 restart kernel > restart [2] 마술기능 사용 쿼리 %%bigquery df # %%bigquery ..

개요 vertex ai 노트북 실행 bigquery 쿼리 호출 jupyter에서 차트 만들기 기계 학습을 위한 데이터 내보내기 작업 1. bigquery 호출 bigquery > 쿼리편집기 # 00 ~ 05년 사이에 미국에서 태어난 세쌍둥이 찾기 SELECT plurality, COUNT(1) AS num_babies, AVG(weight_pounds) AS ave_weight FROM `bigquery-public-data.samples.natality` WHERE year > 2000 AND year workbench > new notebook > python3 > create region :..

220520_Vertex AI Platform: Qwik Start [개요] 1. tensorflow 모델 학습 및 모델 Vertex AI Platform에 배포하여 제공 2. 미국 인구조사 소득 데이터 세트를 이용하여 개인의 소득 범주를 예측하는 모델을 훈련함 [수행내용] 1. tensorflow 교육 애플리케이션을 만들고 로컬에서 검증 2. 클라우드의 단일 작업자 인스턴스에서 교육 작업 실행 3. 예측을 지원하는 모델 배포 4. 온라인 예측 요청 및 응답 확인 작업 1. vertex AI Platform 노트북 출시 vertex ai > workbench > new notebooks > tensorflow 2.8 Without GPU 선택 > create 작업 2. vertex AI Platform ..

참고 : https://www.youtube.com/watch?v=xOtrCmPjal8 감사합니다.선생님.. 덕분에 광명 찾았쯥니다 ㅜㅜ 1. pub/sub > create topic topic id : 작성 2. add a service account iam&admin > service account > create service account > service account name : 작성하면 account id는 자동으로 생성 role : pub/sub admin 생성한 계정 클릭 > keys 탭 > add key > create key > key type : json > 다운로드 > 파일명 변경(pubsub-test-privatekey.json) vm instance > vm create : p..

220510_Streaming IoT Data to Cloud Storage IoT 데이터를 Cloud Storage로 스트리밍 개요 cloud iot core 및 cloud pub/sub 구성하여 디바이스에서 스트리밍 데이터 수집 목표 1. cloud pub/sub 주제 및 구독 만들기 2. iot core를 사용하여 레지스트리 만들기 3. 시뮬레이터에서 MQTT 애플리케이션 시작 4. cloud storage로 데이터 스트리밍 1. cloud pub/sub 설정 및 주제 pub/sub > topic > create topic topic id : iotlab 2. 주제권한 설정 add principal > topic member : cloud-iot@system.gserviceaccount.com ro..

220427_vertex AI로 머신러닝 솔루션 구축 및 배포 시작하기 전에 이거 시간 진짜 오래걸리고 정말 어려움 퀵랩 기회는 5번인데 막판에 성공했다. 오타 하나라도 나면 에러나서 안되고 기존에 생성되어 있는 것 중에 알파벳 하나라도 지우면 그냥 그날로 끝임 종료하고 새로 시작해야함 ㅎ 진짜... 킹받아 시작하자.. 목표 1. 호스팅된 vertex 노트북에서 로컬로 tensorflow 모델을 훈련시킴 2. cloud build로 학습 코드를 컨테이너화하고 vertex 커스텀 컨테이너 학습 워크플로의 일부로 google cloud artifact registry에 푸시 3. 예측을 제공하기 위해 학습된 모델을 vertex on line prediction endpoint에 배포 4. 온라인 예측 요청 ..

※ 수정 220930 : 내용 수정 Google Cloud에서 IoT 분석 파이프라인 구축 구성요소 2가지 1. 장치관리자 : 서비스에 장치를 등록, 장리츨 모니터링하고 구성할 수 있다. 2. 프로토콜 브리지 : 기기가 google cloud에 연결하는 데 사용할 수 있는 MQTT를 지원 * MQTT : 메시지 큐잉 텔레메트리 트랜스포트, Message Queuing Telemetry Transport - IoT, M2M을 위한 프로토콜, 최소한의 전력과 패킷으로 통신하는 프로토콜 목표 Cloud IoT Core를 사용하여 MQTT 기반 장치 연결 및 관리(시뮬레이션된 장치 사용) Cloud Pub/Sub를 사용하여 Cloud IoT Core에서 정보 스트림을 수집합니다. Cloud Dataflow를 사..

220427_vertex AI로 머신러닝 솔루션 구축 및 배포 테스트한 주제 1. 호스팅된 vertex 노트북에서 로컬로 tensorflow 모델을 훈련시킴 2. cloud build로 학습 코드를 컨테이너화하고 vertex 커스텀 컨테이너 학습 워크플로의 일부로 google cloud artifact registry에 푸시 3. 예측을 제공하기 위해 핛급된 모델을 vertex on line prediction endpoint에 배포 4. 온라인 예측 요청 및 응답확인 와 근데 이거 진짜 좀 어려워.. 5번 시도했는데 5번 다 실패했다. 퀵랩은 4~5번정도 하면 더이상 할 수 없다고 실습이 잠겨버리는데 그럴땐 문의를 해서 풀어달라고 요청하면된다. 내가 최대로 했을 때가 80점이었음 흑흑 도전 시나리오 제..

220426_Vertex Pipelines: Qwik Start 이거 좀 어려웠.. 양도 많고 코드도 하나하나 보려니 어렵고 힘들고 시간이 부족 ㅠㅜ 개 요 vertex pipelines을 이용하여 ML 파이프라인 생성 및 실행 ML 파이프라인이 유용한 이유 데이터 처리, 모델 교육, 초매개변수 조정, 평가 및 모델 배포가 포함된 ML 워크플로를 구축한다고 상상해 보십시오. 이러한 각 단계는 서로 다른 종속성을 가질 수 있으며 전체 워크플로를 단일체로 취급하면 다루기 어려워질 수 있습니다. ML 프로세스를 확장하기 시작할 때 팀의 다른 사람들과 ML 워크플로를 공유하여 다른 사람들이 실행하고 코드에 기여할 수 있도록 할 수 있습니다. 신뢰할 수 있고 재현 가능한 프로세스가 없으면 이 작업이 어려워질 수 ..

온라인 예측을 위해 big query ML 고객 이탈 분류기를 vertex ai에 배포 개요 bigquery ML XGBoost 모델을 사용하여 일괄 및 온라인 예측을 학습, 조정, 평가, 설명,생성함 사용자가 애플리케이션으로 돌아올 가능성 확인 bigquery ML 모델로 일괄예측 생성, vertex pyhton SDK를 사용하여 온라인 예측을 위해 vertex AI로 내보내고 배포 목표 기계학습용 bigquery에서 google 애널리틱스 4 데이터 샘플을 탐색하고 사전처리함 bigquery ML XGBoost 분류기를 학습시켜 모바일 게임 애플리케이션에서 사용자 이탈 예측 bigquery ML 초 매개변수 조정기능을 사용하여 bigquery ML XGBoost 분류기 조정 bigquery ML XG..

Vertex AutoML Vision으로 손상된 자동차 부품 식별 개요 autoML vision : ML 전문지식이 제한된 사람이라도 누구나 이미지 분류 모델을 훈련할 수 있도록 도와줌 ML 모델 생성 시 즉시 사용가능, UI or rest API 이용하여 google cloud console에서 직접 예측 생성 시작가능 목표 csv 파일을 사용하여 레이블이 지정된 데이터 세트를 cloud storage에 업로드하고 vertex ai에 관리 데이터세트로 연결 업로드된 이미지를 검사하여 데이터세트에 오류가 없는지 확인 학습된 모델을 검토하고 정확도 평가 1. cloud storage에 학습 이미지 업로드 [cloud storage 버킷 만들기] 환경변수 지정 export PROJECT_ID=$DEVSHEL..

220425_Vertex AI: Qwik Start 참고 : https://cloud.google.com/vertex-ai/docs/start/introduction-unified-platform vertex AI 공부 - vertex AI란 : 필요한 ML 도구를 포함한 하나의 AI 플랫폼 특징 1. 전체 ML 워크플로를 위한 통합 UI - 하나의 통합 UI 및 API로 ML을 빌드하기 위해 google cloud 서비스를 한 곳에 모은 것 2. 비전, 동영상, 자연어 등을 위한 선행 학습된 API 3. 데이터 및 AI를 위한 end to end 통합 - vertex AI Workbench를 통해 bigquery, dataproc, spark와 통합됨 - 표준 sql 쿼리 사용 bigquery에서 머신..

옷 신청 했는데 P.O boxes라고 자꾸 알람이 뜨며 review order로 넘어가지 않아 문의를 해보았다. 그냥 알려주는 알람이라고 신경쓰지 말랬는데 그럼 다음창으로 넘어가야하잖아요..ㅜㅜ 다른분들은 다 주문하셧다는데 왜 저는 안되나요 나도 구글 프로페셔널 아키텍트 옷 갖고싶다고오옥 ㅜㅜ 친절한 구글... 문의메일에 답을 줬던 친절한 엔지니어가 대신 주문해줘서 옝에에에에 드디어 오고 있음 흑흑흑흑흑흑흑 너무 쭈아 겨울 다 지났지만... 그래도 오는게 어디니 올해 겨울에 입으면 되는거 아니겟니!! 꺄아아알아아앙 씡나 >

복습 겸 기억 떠올릴 겸 다시 만들어보는 LB https://jiniers.tistory.com/42?category=1269323 [GCP] 기본 구성 aws → gcp 구성 변경_5(LB 404 not found) 220317_lb 404 not found * 참고 https://bcho.tistory.com/1113 인스턴스 그룹이 세개여야하나? ▶ 기본 인스턴스 그룹(접속 시) / saas 인스턴스그룹(http://~/saas) / ncu 인스턴스 그룹(http.. jiniers.tistory.com 이거 보면서 다시 조치햇는데 이해가 안되서 만들어보는 로드밸런서 아마 그 전글에 부분부분 수정을 해놨지만 더 뒤죽박죽이 되는 것같아 그냥 통째로 다시 생성해보았다. 1. 34.117.185.150/n..

※수정 220930 : 내용수정 본격 칠전팔기 gcp에 web,WAS서버 설치하기 순서 os install source file install JDK install tomcat8 install maria DB install & DB → database 입력 정도 되겠다. [1. os install → vm instance 생성] gcp로 만드는 거라 zone : asia-northeast3-a machine type : n1-stadard-1 boot disk : centos-7 액세스 범위 : 모든 cloud api에 대한 전체 액세스 허용 이렇게만 설정해준 뒤 ssh 접속 > ping 8.8.8.8 sudo passwd passwd : root 입력 su - 로 여기까지 해주었다. [2. source..

※ 수정 220930 : 내용 수정 이게 날 제일 힘들게 했어 하... ※ 참고 사이트링크 1 사이트 링크 2 사이트링크 3 사이트 링크 4 putty 키젠 이용 만들어보겟어요. username : 으로 변경 후 다시 generate key 비번 : save private key > save public key > gcp bastion host edit > 메타데이터에 키값 추가 putty > id@접속ip 왼쪽 ssh > auth > private ey file for authentication에 private key파일 선택 ssh-1 타입으로 변경 후 키젠 다시 시도 : 는 실패 는 다른방법 3 bastion vm의 ssh keys 가 있는데 거기에 public key를 넣어 는 실패 다른방법 2 ..

220317_lb 404 not found * 참고 https://bcho.tistory.com/1113 인스턴스 그룹이 세개여야하나? ▶ 기본 인스턴스 그룹(접속 시) / saas 인스턴스그룹(http://~/saas) / ncu 인스턴스 그룹(http://~/ncu) 도메인 2개 만들어서 각각 백엔드로 연결 http://ming406.duckdns.org -> saas http://ming407.duckdns.org -> ncu * default 접속 시 : saas ip : 34.149.100.236 아 이거 업뎃되고 백엔드에 붙는데 좀 오래걸림!! url -> web server에 경로가 없어서 404가 뜨는 것임! 경로를 만들어준다. 각 web ssh 접속 해서 > cd /var/www/html..

※ 수정 220930 : 내용 수정 220314 load balancer 만들기 아주 어려웠어... 순서 완전 뒤죽박죽 ** 참고 사이트링크 load balancer 생성순서 1. vm 이미지 만들기 2. 인스턴스 템플릿 생성 3. 인스턴스 그룹생성 & 인스턴스 그룹에 이름이 지정된 포트 추가하기 4. 방화벽 규칙 구성 5. 외부 ip 주소 예약 6. 부하분산 설정 7. lb에 도메인 연결 8. test * 순서 참조 https://cloud.google.com/load-balancing/docs/https/ext-https-lb-simple 내가 설정한 도메인↓ * http://ming406.duckdns.org http://ming407.duckdns.org *** 참조 https://cloud.go..

은 이제 이 방법으로 통신에 성공했단 이야기 얘들아(0명) 언니가 성공했다(?? 원래 sql 있는 부분은 서브넷이 달라 피어링 통신이 되어야하는데 sql을 만들다보니 private 구성이 있엇다 public으로 했으면 다른 서브넷이 필요했겠지만 private 구성으로 만들다보니 서브넷처럼 ip를 다르게 구성할 수 있엇음 피어링도 자동으로 되고 편했다. 그래서 그냥 그렇게 구성함 ㅇ vpc 네트워크 만들기(서브넷 생성) 1. web-network 생성 name : web-network subnet name : web-sub 10.100.0.0/24 gcloud compute networks create web-network --project=folkloric-alpha-342423 --subnet-mode..

제일 처음 이해하고 만든 버전으로 작성해야 했기에 vpc network 부터 설정해보았다. 실패는 성공의 어머니라고 했다..ಥ_ಥ vpc 네트워크 만들기(서브넷 생성) 1. web-network 생성 name : web-network subnet name : web-sub 10.100.0.0/24 gcloud compute networks create web-network --project=folkloric-alpha-342423 --subnet-mode=custom --mtu=1460 --bgp-routing-mode=regional gcloud compute networks subnets create web-netsub --project=folkloric-alpha-342423 --range=10.1..

aws 기본구성 → gcp 구성변경 이라고 쓰고 뻘소리를 챱챱 뿌리는 이야기 혹시나 검색해서 찾아오신 분이 있다면 스킵하고 다음 게시글로 넘어가도록 하자. 기존 aws에 올라가 있던 구성을 gcp로 변경해서 올려보는 걸 좋은 기회가 생겨서 해보았다. 근데 이제 맨땅에 헤딩처럼 하나씩 해보는.. 구성도 이해가 덜된 나(라고 쓰고 이제 응애라고 읽는)는 일단 단순화시켜서 그려봄 그리고 이제 하나씩 설치하고 구성하면서 구성도가 진화하게됨 이렇게 그리고 이렇게 버전업이 된단 소리임 ㅇㅇ 대충 어느정도 구성이 되었으니 하나씩 수정해서 올려보도록 하겠다. 구성하러 가기 → https://jiniers.tistory.com/40?category=1269323 [GCP] 기본 구성 aws → gcp 구성 변경_3(22..

비공개 google 액세스 및 cloud nat 구성(VPC + NAT) [목표] 외부 ip 주소가 없는 vm 인스턴스 구성 외부 ip 주소가 없는 vm에 연결한 bastion host 생성 서브넷에서 비공개 google 액세스를 활성화 cloud nat 게이트웨이 구성 google api 및 서비스의 공개 ip 주소 및 기타 인터넷 연결에 대한 액세스 확인 cloud nat 로깅으로 nat 연결 기록 1. vm 인스턴스 만들기 [vpc 네트워크 및 방화벽 규칙 만들기] vpc network create - name : privatenet - subnet creation mode : custom - Name : privatenet-us - Region : us-central1 - IP address ra..

오픈 소스 IDS를 사용한 google cloud 패킷 미러링 트래픽 미러링 : 보안 및 네트워크 분석을 위한 google cloud 네트워킹의 핵심 기능 ※유의※ Packet Mirroring : 각 패킷의 전체 페이로드를 캡쳐하므로 추가 대역폭을 소비한다. 샘플링 주기를 기반으로 하지 않기 때문에 더 나은 문제해결, 보안 솔루션 및 상위계층 응용 프로그램 기반 분석에 사용할 수 있음 패킷 미러링 정책을 기반으로 한다. Region VPC Network(s) Mirrored Source(s) Collector (destination) Mirrored traffic (filter) 고려사항 TCP, UDP 및 ICMP 트래픽만 미러링 가능 Mirrored Source(s)와 Collector (desti..

Google Cloud Certified - Professional Cloud Architect 취득! 수습기간 끝나자마자 바로 취득했다.. 운이 좋았음 처음에 gcp 하라고 할 땐 아무것도 몰라서 당황했는데 생각보다 .....더보기 시험공부는 https://www.examtopics.com/ Free Exam Prep By IT Professionals | ExamTopics ExamTopics The only source for free & accurate actual exam questions & answers, passing your exam easily is guaranteed, and for free! www.examtopics.com 이라는 곳에서 했음(과장님이 알려주셨다 힇희 여기가 시험문..

※ 수정 220930 : 내용 수정 내부 로드밸런서 생성 목표 http 및 상태 확인 방화벽 규칙 만들기 두 개의 인스턴스 템플릿 구성 관리형 인스턴스 그룹 2개 만들기 내부 부하 분산장치 구성 및 테스트 1. http 및 상태 확인 방화벽 규칙 구성 [my-internal-app 네트워크 탐색] vpc network > vpc network > my-internal-app 있는지 확인 [http 방화벽 규칙 만들기] gcloud compute firewall-rules create app-allow-http --direction=INGRESS --priority=1000 --network=my-internal-app --action=ALLOW --rules=tcp:80 --source-ranges=0...

Cloud Armor가 포함된 http 부하분산기 cloud armor ip allow list / deny list를 사용하면 google cloud 엣지에서 사용자 및 악성 트래픽에 대해 최대한 가까운 http(s) 로드밸런서에 대한 액세스를 제한하거나 허용할 수 있음 → 이러면 악의적인 사용자나 트래픽이 리소스를 소비하거나 VPC 네트워크에 들어가는 것을 방지할 수 있음 이거라는데 어.... 그래요... 해보라니까 해볼게... [목표] http 및 상태 확인 방화벽 규칙 만들기 두 개의 인스턴스 템플릿 구성 관리형 인스턴스 그룹 2개 만들기 IPv4 및 IPv6을 사용하여 http 로드밸런서 구성 http 로드밸런서 스트레스 테스트 http 로드밸런서에 대한 액세스를 제한하기 위해 ip 주소 거부 ..

VPC 네트워크 - 액세스 제어 개 요 두개의 nginx 웹 서버를 만들고 태그가 지정된 방화벽 규칙을 사용하여 웹 서버에 대한 외부 http 액세스를 제어한다. 그런다음 iam 역할 및 서비스 계정을 탐색한다. 목 표 nginx 웹 서버 생성 태그가 지정된 방화벽 규칙 만들기 iam 역할이 있는 서비스 게정 생성 네트워크 관리자 및 보안 관리자 역할에 대한 권한탐색 1. 웹 서버 생성 [블루/그린서버 생성] vm instance 생성 - name : blue - zone : us-central1-a - networking * networkk tags : web-server - name : green - zone : us-central1-a [nginx 설치 및 시작 페이지 사용자 지정] blue ssh..

Configure Secure RDP using a Windows Bastion Host [미완성] Windows 배스천 호스트를 사용하여 보안 RDP 구성 * Bastion Host - 침입차단 sw가 설치되어 내부-외부네트워크 사이에서 일종의 게이트 역할을 수행하는 호스트 - 네트워크 보안 상 가장 중요한 방화벽 호스트 - 이 외에도 screened host, dual homed host, screened subnet, multi homed host 등이 있음 - 참고 https://blog.naver.com/pentamkt/221034903499 ** 참고 : https://www.youtube.com/watch?v=jfIxkg4RiS8 목표 1. 보안 프로덕션 windows 서비스를 호스팅할 새 ..

개 요 IAP(Identity-Aware Proxy)를 사용하여 애플리케이션에 대한 액세스를 제한하고 애플리케이션에 사용자 id 정보를 제공하는 방법을 살펴본다. python 이용 간단한 app engine 앱 작성 및 배포 앱에 대한 액세스를 제한하기 위해 IAP 활성화 및 비활성화 방법 IAP에서 앱으로 사용자 ID 정보를 가져오는 방법 스푸핑으로부터 보호하기 위해 IAP의 정보를 암호화 방식으로 확인하는 방법 IAP(Identity-Aware Proxy)란? IAP(Identity-Aware Proxy)는 애플리케이션으로 전송된 웹 요청을 가로채고 google id 서비스를 사용하여 요청하는 사용자를 인증하며 승인한 사용자가 보낸 요청인 경우에만 요청을 통과하도록 허용해주는 google cloud ..

VPC 네트워킹 기초 vpc network > routes > default route(0.0.0.0/0) 확인 vpc network > firewall > default-allow-* 4가지 확인 1. 기본 네트워크 삭제 vpc network 삭제 후 route 확인 > route 확인하면 아무것도 없음! * vpc 네트워크가 없으면 route도 없음 2. vm 인스턴스 생성 시도 는 안됨 3. 방화벽 규칙으로 자동모드 vpc 네트워크 만들기 ** 참고 : https://jiniers.tistory.com/5 - 자동모드 네트워크 만들기 4. vm 인스턴스만들기 4-1. name = mynet-us-vm zone = us-central1-c machine-type=n1-standard-1 > shell..