JINIers

220427_vertex AI로 머신러닝 솔루션 구축 및 배포 테스트한 주제 1. 호스팅된 vertex 노트북에서 로컬로 tensorflow 모델을 훈련시킴 2. cloud build로 학습 코드를 컨테이너화하고 vertex 커스텀 컨테이너 학습 워크플로의 일부로 google cloud artifact registry에 푸시 3. 예측을 제공하기 위해 핛급된 모델을 vertex on line prediction endpoint에 배포 4. 온라인 예측 요청 및 응답확인 와 근데 이거 진짜 좀 어려워.. 5번 시도했는데 5번 다 실패했다. 퀵랩은 4~5번정도 하면 더이상 할 수 없다고 실습이 잠겨버리는데 그럴땐 문의를 해서 풀어달라고 요청하면된다. 내가 최대로 했을 때가 80점이었음 흑흑 도전 시나리오 제..

220426_Vertex Pipelines: Qwik Start 이거 좀 어려웠.. 양도 많고 코드도 하나하나 보려니 어렵고 힘들고 시간이 부족 ㅠㅜ 개 요 vertex pipelines을 이용하여 ML 파이프라인 생성 및 실행 ML 파이프라인이 유용한 이유 데이터 처리, 모델 교육, 초매개변수 조정, 평가 및 모델 배포가 포함된 ML 워크플로를 구축한다고 상상해 보십시오. 이러한 각 단계는 서로 다른 종속성을 가질 수 있으며 전체 워크플로를 단일체로 취급하면 다루기 어려워질 수 있습니다. ML 프로세스를 확장하기 시작할 때 팀의 다른 사람들과 ML 워크플로를 공유하여 다른 사람들이 실행하고 코드에 기여할 수 있도록 할 수 있습니다. 신뢰할 수 있고 재현 가능한 프로세스가 없으면 이 작업이 어려워질 수 ..

온라인 예측을 위해 big query ML 고객 이탈 분류기를 vertex ai에 배포 개요 bigquery ML XGBoost 모델을 사용하여 일괄 및 온라인 예측을 학습, 조정, 평가, 설명,생성함 사용자가 애플리케이션으로 돌아올 가능성 확인 bigquery ML 모델로 일괄예측 생성, vertex pyhton SDK를 사용하여 온라인 예측을 위해 vertex AI로 내보내고 배포 목표 기계학습용 bigquery에서 google 애널리틱스 4 데이터 샘플을 탐색하고 사전처리함 bigquery ML XGBoost 분류기를 학습시켜 모바일 게임 애플리케이션에서 사용자 이탈 예측 bigquery ML 초 매개변수 조정기능을 사용하여 bigquery ML XGBoost 분류기 조정 bigquery ML XG..

Vertex AutoML Vision으로 손상된 자동차 부품 식별 개요 autoML vision : ML 전문지식이 제한된 사람이라도 누구나 이미지 분류 모델을 훈련할 수 있도록 도와줌 ML 모델 생성 시 즉시 사용가능, UI or rest API 이용하여 google cloud console에서 직접 예측 생성 시작가능 목표 csv 파일을 사용하여 레이블이 지정된 데이터 세트를 cloud storage에 업로드하고 vertex ai에 관리 데이터세트로 연결 업로드된 이미지를 검사하여 데이터세트에 오류가 없는지 확인 학습된 모델을 검토하고 정확도 평가 1. cloud storage에 학습 이미지 업로드 [cloud storage 버킷 만들기] 환경변수 지정 export PROJECT_ID=$DEVSHEL..

220425_Vertex AI: Qwik Start 참고 : https://cloud.google.com/vertex-ai/docs/start/introduction-unified-platform vertex AI 공부 - vertex AI란 : 필요한 ML 도구를 포함한 하나의 AI 플랫폼 특징 1. 전체 ML 워크플로를 위한 통합 UI - 하나의 통합 UI 및 API로 ML을 빌드하기 위해 google cloud 서비스를 한 곳에 모은 것 2. 비전, 동영상, 자연어 등을 위한 선행 학습된 API 3. 데이터 및 AI를 위한 end to end 통합 - vertex AI Workbench를 통해 bigquery, dataproc, spark와 통합됨 - 표준 sql 쿼리 사용 bigquery에서 머신..

국민내일배움카드? 그걸로 신청한 수업이다 책으로 공부하고 주차별로 시험보고 월마다 과제를 제출해야한다. 총 8주차 / 2개월이고 주차별로 학습범위가 정해져있다. 그래서 그걸 따라서 공부하고 홈페이지에 시험 볼 수 있게 되어있어서 시험을 응시하면 됨 난 그것도 모르고 그냥 오리엔테이션 눌렀다가 퀴즈 먼저 다 풀어버렸잖아... 선 퀴즈 후 공부 되시겠다... 핳하.. 그래서 공부한걸 정리해서 써볼 것임 하.. 파이썬도 해야하는데..🤦‍♀️ 1주차 1장 AWS 기본(21 ~ 86) 클라우드란? IaaS : Infrastructure as a Service - 가상 서버 or 스토리지 등의 리소스를 인터넷을 기반으로 제공하는 서비스 - 사용자 : H/W 관리 필요 X, 컴퓨터 리소스 직접 사용 - 물리장치에 가..

옷 신청 했는데 P.O boxes라고 자꾸 알람이 뜨며 review order로 넘어가지 않아 문의를 해보았다. 그냥 알려주는 알람이라고 신경쓰지 말랬는데 그럼 다음창으로 넘어가야하잖아요..ㅜㅜ 다른분들은 다 주문하셧다는데 왜 저는 안되나요 나도 구글 프로페셔널 아키텍트 옷 갖고싶다고오옥 ㅜㅜ 친절한 구글... 문의메일에 답을 줬던 친절한 엔지니어가 대신 주문해줘서 옝에에에에 드디어 오고 있음 흑흑흑흑흑흑흑 너무 쭈아 겨울 다 지났지만... 그래도 오는게 어디니 올해 겨울에 입으면 되는거 아니겟니!! 꺄아아알아아앙 씡나 >

복습 겸 기억 떠올릴 겸 다시 만들어보는 LB https://jiniers.tistory.com/42?category=1269323 [GCP] 기본 구성 aws → gcp 구성 변경_5(LB 404 not found) 220317_lb 404 not found * 참고 https://bcho.tistory.com/1113 인스턴스 그룹이 세개여야하나? ▶ 기본 인스턴스 그룹(접속 시) / saas 인스턴스그룹(http://~/saas) / ncu 인스턴스 그룹(http.. jiniers.tistory.com 이거 보면서 다시 조치햇는데 이해가 안되서 만들어보는 로드밸런서 아마 그 전글에 부분부분 수정을 해놨지만 더 뒤죽박죽이 되는 것같아 그냥 통째로 다시 생성해보았다. 1. 34.117.185.150/n..

CI/CD란 #매번 찾고 까먹고 찾고 까먹고 하다가 그냥 외워버리려고 정리하는 ci/cd # 참고 : https://www.redhat.com/ko/topics/devops/what-is-ci-cd #위키백과 설명은 이렇다 지속적 통합, 지속적 전달, 지속적 배포의 결합방식 애플리케이션 구축, 테스트 및 배포에 자동화를 적용하여 개발 및 운영홀동과 팀 간의 격차를 해소함 #사전적 의미 - CI : Continuous Integration(지속적 통합) - CD : Continuous Delivery or Continuous Deployment(지속적 전달, 배포) #요약본 CI : 개발자를 위한 자동화 프로세스 / 여러 명의 개발자가 동시에 코드 작업을 수행할 경우 충돌할 수 있는 문제 방지 CD - C..

print () : 괄호 안의 문자를 화면에 출력 * 괄호 안에 "" 가 없으면 에러 input () : 사용자가 키보드로 텍스트를 입력하고 엔터를 누르면 문자열 출력 환경변수 지정? 이라고 생각하면 편함 len () : 문자열 or 문자열이 저장된 변수를 전달하면 그 문자열에 존재하는 문자 개수가 결과로 나옴 그 외 오류 왜이러냐면... print() 함수가 오류를 일으키는 것이 아니고 (_______) 괄호 안에 있는 표현식이 오류를 일으키는 것 → 숫자에 ' ' (따옴표)가 없어서 그렇다. 근데 이렇게 쓸거면 그냥 print ('I am 40 years old.') 라고 쓰는게 낫지않냐.. 무튼 이렇게 쓰면 되지만 '40' 이라고 적힌 부분이 변수가 아니고 상수가 되기때문에 변경이 불가능함 ▶ 정수..

※수정 220930 : 내용수정 본격 칠전팔기 gcp에 web,WAS서버 설치하기 순서 os install source file install JDK install tomcat8 install maria DB install & DB → database 입력 정도 되겠다. [1. os install → vm instance 생성] gcp로 만드는 거라 zone : asia-northeast3-a machine type : n1-stadard-1 boot disk : centos-7 액세스 범위 : 모든 cloud api에 대한 전체 액세스 허용 이렇게만 설정해준 뒤 ssh 접속 > ping 8.8.8.8 sudo passwd passwd : root 입력 su - 로 여기까지 해주었다. [2. source..

※ 수정 220930 : 내용 수정 어떻게 Dell VxRail을 공부할 수 있는 좋은 기회가 생겼다. 그래서 이것저것 찾아서 정리해봄 *참고 사이트링크1 사이트링크2 그냥 거의 사전처럼 '단어 : 뜻' 이렇게만 정리해놨다. HCI VxRail webinar 정리(기본개념) CI : Converged infrastructure - 서버, 스토리지, 네트워킹 및 sw가 단이 SKUs로 공급 * SKUs : ? - 제조사 또는 공급사에 의하여 factory에서 통합 구성되어 고객사에 공급 HCI : Hyper Converged infrastructure - 새로운 형태의 통합 시스템 - 서버 및 Software Defined Storage가 하나의 솔루션 또는 어플라이언스로 공급(외장 스토리지가 존재하지 않..

※ 수정 220930 : 내용 수정 이게 날 제일 힘들게 했어 하... ※ 참고 사이트링크 1 사이트 링크 2 사이트링크 3 사이트 링크 4 putty 키젠 이용 만들어보겟어요. username : 으로 변경 후 다시 generate key 비번 : save private key > save public key > gcp bastion host edit > 메타데이터에 키값 추가 putty > id@접속ip 왼쪽 ssh > auth > private ey file for authentication에 private key파일 선택 ssh-1 타입으로 변경 후 키젠 다시 시도 : 는 실패 는 다른방법 3 bastion vm의 ssh keys 가 있는데 거기에 public key를 넣어 는 실패 다른방법 2 ..

220317_lb 404 not found * 참고 https://bcho.tistory.com/1113 인스턴스 그룹이 세개여야하나? ▶ 기본 인스턴스 그룹(접속 시) / saas 인스턴스그룹(http://~/saas) / ncu 인스턴스 그룹(http://~/ncu) 도메인 2개 만들어서 각각 백엔드로 연결 http://ming406.duckdns.org -> saas http://ming407.duckdns.org -> ncu * default 접속 시 : saas ip : 34.149.100.236 아 이거 업뎃되고 백엔드에 붙는데 좀 오래걸림!! url -> web server에 경로가 없어서 404가 뜨는 것임! 경로를 만들어준다. 각 web ssh 접속 해서 > cd /var/www/html..

※ 수정 220930 : 내용 수정 220314 load balancer 만들기 아주 어려웠어... 순서 완전 뒤죽박죽 ** 참고 사이트링크 load balancer 생성순서 1. vm 이미지 만들기 2. 인스턴스 템플릿 생성 3. 인스턴스 그룹생성 & 인스턴스 그룹에 이름이 지정된 포트 추가하기 4. 방화벽 규칙 구성 5. 외부 ip 주소 예약 6. 부하분산 설정 7. lb에 도메인 연결 8. test * 순서 참조 https://cloud.google.com/load-balancing/docs/https/ext-https-lb-simple 내가 설정한 도메인↓ * http://ming406.duckdns.org http://ming407.duckdns.org *** 참조 https://cloud.go..

은 이제 이 방법으로 통신에 성공했단 이야기 얘들아(0명) 언니가 성공했다(?? 원래 sql 있는 부분은 서브넷이 달라 피어링 통신이 되어야하는데 sql을 만들다보니 private 구성이 있엇다 public으로 했으면 다른 서브넷이 필요했겠지만 private 구성으로 만들다보니 서브넷처럼 ip를 다르게 구성할 수 있엇음 피어링도 자동으로 되고 편했다. 그래서 그냥 그렇게 구성함 ㅇ vpc 네트워크 만들기(서브넷 생성) 1. web-network 생성 name : web-network subnet name : web-sub 10.100.0.0/24 gcloud compute networks create web-network --project=folkloric-alpha-342423 --subnet-mode..

제일 처음 이해하고 만든 버전으로 작성해야 했기에 vpc network 부터 설정해보았다. 실패는 성공의 어머니라고 했다..ಥ_ಥ vpc 네트워크 만들기(서브넷 생성) 1. web-network 생성 name : web-network subnet name : web-sub 10.100.0.0/24 gcloud compute networks create web-network --project=folkloric-alpha-342423 --subnet-mode=custom --mtu=1460 --bgp-routing-mode=regional gcloud compute networks subnets create web-netsub --project=folkloric-alpha-342423 --range=10.1..

aws 기본구성 → gcp 구성변경 이라고 쓰고 뻘소리를 챱챱 뿌리는 이야기 혹시나 검색해서 찾아오신 분이 있다면 스킵하고 다음 게시글로 넘어가도록 하자. 기존 aws에 올라가 있던 구성을 gcp로 변경해서 올려보는 걸 좋은 기회가 생겨서 해보았다. 근데 이제 맨땅에 헤딩처럼 하나씩 해보는.. 구성도 이해가 덜된 나(라고 쓰고 이제 응애라고 읽는)는 일단 단순화시켜서 그려봄 그리고 이제 하나씩 설치하고 구성하면서 구성도가 진화하게됨 이렇게 그리고 이렇게 버전업이 된단 소리임 ㅇㅇ 대충 어느정도 구성이 되었으니 하나씩 수정해서 올려보도록 하겠다. 구성하러 가기 → https://jiniers.tistory.com/40?category=1269323 [GCP] 기본 구성 aws → gcp 구성 변경_3(22..

파이썬 초보의 우당탕탕 파이썬 공부하기 귀차니즘 개쩌는 인간이라 파이썬 공부하기로 마음은 먹었지만 꾸준히 할지는 나도모르고 너도 모르고 아무도 모르지 파이썬 다운로드 및 설치 https://www.python.org/downloads/ Download Python The official home of the Python Programming Language www.python.org 뮤 편집기 다운로드 및 설치 https://codewith.mu/en/download Download Mu On Linux, in order for Mu to work with the MicroPython based devices you need to ensure you add yourself to the correct pe..

비공개 google 액세스 및 cloud nat 구성(VPC + NAT) [목표] 외부 ip 주소가 없는 vm 인스턴스 구성 외부 ip 주소가 없는 vm에 연결한 bastion host 생성 서브넷에서 비공개 google 액세스를 활성화 cloud nat 게이트웨이 구성 google api 및 서비스의 공개 ip 주소 및 기타 인터넷 연결에 대한 액세스 확인 cloud nat 로깅으로 nat 연결 기록 1. vm 인스턴스 만들기 [vpc 네트워크 및 방화벽 규칙 만들기] vpc network create - name : privatenet - subnet creation mode : custom - Name : privatenet-us - Region : us-central1 - IP address ra..

오픈 소스 IDS를 사용한 google cloud 패킷 미러링 트래픽 미러링 : 보안 및 네트워크 분석을 위한 google cloud 네트워킹의 핵심 기능 ※유의※ Packet Mirroring : 각 패킷의 전체 페이로드를 캡쳐하므로 추가 대역폭을 소비한다. 샘플링 주기를 기반으로 하지 않기 때문에 더 나은 문제해결, 보안 솔루션 및 상위계층 응용 프로그램 기반 분석에 사용할 수 있음 패킷 미러링 정책을 기반으로 한다. Region VPC Network(s) Mirrored Source(s) Collector (destination) Mirrored traffic (filter) 고려사항 TCP, UDP 및 ICMP 트래픽만 미러링 가능 Mirrored Source(s)와 Collector (desti..

Google Cloud Certified - Professional Cloud Architect 취득! 수습기간 끝나자마자 바로 취득했다.. 운이 좋았음 처음에 gcp 하라고 할 땐 아무것도 몰라서 당황했는데 생각보다 .....더보기 시험공부는 https://www.examtopics.com/ Free Exam Prep By IT Professionals | ExamTopics ExamTopics The only source for free & accurate actual exam questions & answers, passing your exam easily is guaranteed, and for free! www.examtopics.com 이라는 곳에서 했음(과장님이 알려주셨다 힇희 여기가 시험문..

※ 수정 220930 : 내용 수정 내부 로드밸런서 생성 목표 http 및 상태 확인 방화벽 규칙 만들기 두 개의 인스턴스 템플릿 구성 관리형 인스턴스 그룹 2개 만들기 내부 부하 분산장치 구성 및 테스트 1. http 및 상태 확인 방화벽 규칙 구성 [my-internal-app 네트워크 탐색] vpc network > vpc network > my-internal-app 있는지 확인 [http 방화벽 규칙 만들기] gcloud compute firewall-rules create app-allow-http --direction=INGRESS --priority=1000 --network=my-internal-app --action=ALLOW --rules=tcp:80 --source-ranges=0...

Cloud Armor가 포함된 http 부하분산기 cloud armor ip allow list / deny list를 사용하면 google cloud 엣지에서 사용자 및 악성 트래픽에 대해 최대한 가까운 http(s) 로드밸런서에 대한 액세스를 제한하거나 허용할 수 있음 → 이러면 악의적인 사용자나 트래픽이 리소스를 소비하거나 VPC 네트워크에 들어가는 것을 방지할 수 있음 이거라는데 어.... 그래요... 해보라니까 해볼게... [목표] http 및 상태 확인 방화벽 규칙 만들기 두 개의 인스턴스 템플릿 구성 관리형 인스턴스 그룹 2개 만들기 IPv4 및 IPv6을 사용하여 http 로드밸런서 구성 http 로드밸런서 스트레스 테스트 http 로드밸런서에 대한 액세스를 제한하기 위해 ip 주소 거부 ..

VPC 네트워크 - 액세스 제어 개 요 두개의 nginx 웹 서버를 만들고 태그가 지정된 방화벽 규칙을 사용하여 웹 서버에 대한 외부 http 액세스를 제어한다. 그런다음 iam 역할 및 서비스 계정을 탐색한다. 목 표 nginx 웹 서버 생성 태그가 지정된 방화벽 규칙 만들기 iam 역할이 있는 서비스 게정 생성 네트워크 관리자 및 보안 관리자 역할에 대한 권한탐색 1. 웹 서버 생성 [블루/그린서버 생성] vm instance 생성 - name : blue - zone : us-central1-a - networking * networkk tags : web-server - name : green - zone : us-central1-a [nginx 설치 및 시작 페이지 사용자 지정] blue ssh..

Configure Secure RDP using a Windows Bastion Host [미완성] Windows 배스천 호스트를 사용하여 보안 RDP 구성 * Bastion Host - 침입차단 sw가 설치되어 내부-외부네트워크 사이에서 일종의 게이트 역할을 수행하는 호스트 - 네트워크 보안 상 가장 중요한 방화벽 호스트 - 이 외에도 screened host, dual homed host, screened subnet, multi homed host 등이 있음 - 참고 https://blog.naver.com/pentamkt/221034903499 ** 참고 : https://www.youtube.com/watch?v=jfIxkg4RiS8 목표 1. 보안 프로덕션 windows 서비스를 호스팅할 새 ..

개 요 IAP(Identity-Aware Proxy)를 사용하여 애플리케이션에 대한 액세스를 제한하고 애플리케이션에 사용자 id 정보를 제공하는 방법을 살펴본다. python 이용 간단한 app engine 앱 작성 및 배포 앱에 대한 액세스를 제한하기 위해 IAP 활성화 및 비활성화 방법 IAP에서 앱으로 사용자 ID 정보를 가져오는 방법 스푸핑으로부터 보호하기 위해 IAP의 정보를 암호화 방식으로 확인하는 방법 IAP(Identity-Aware Proxy)란? IAP(Identity-Aware Proxy)는 애플리케이션으로 전송된 웹 요청을 가로채고 google id 서비스를 사용하여 요청하는 사용자를 인증하며 승인한 사용자가 보낸 요청인 경우에만 요청을 통과하도록 허용해주는 google cloud ..

VPC 네트워킹 기초 vpc network > routes > default route(0.0.0.0/0) 확인 vpc network > firewall > default-allow-* 4가지 확인 1. 기본 네트워크 삭제 vpc network 삭제 후 route 확인 > route 확인하면 아무것도 없음! * vpc 네트워크가 없으면 route도 없음 2. vm 인스턴스 생성 시도 는 안됨 3. 방화벽 규칙으로 자동모드 vpc 네트워크 만들기 ** 참고 : https://jiniers.tistory.com/5 - 자동모드 네트워크 만들기 4. vm 인스턴스만들기 4-1. name = mynet-us-vm zone = us-central1-c machine-type=n1-standard-1 > shell..

MySQL 데이터베이스를 Google Cloud SQL로 마이그레이션 목표 1. Google Cloud SQL 인스턴스 생성 및 데이터베이스 생성 2. MySQL 데이터베이스를 Cloud SQL로 가져오기 3. 로컬 MySQL 데이터베이스 대신 Cloud SQL을 사용하도록 애플리케이션 재구성 도전 시나리오 귀하의 WordPress 블로그는 더 이상 적합하지 않은 서버에서 실행되고 있습니다. 전체 마이그레이션 연습의 첫 번째 부분으로 블로그에서 사용하는 로컬 호스팅 데이터베이스를 Cloud SQL로 마이그레이션합니다. 기존 WordPress 설치는 랩에서 이미 실행 중인 /var/www/html/wordpress이라는 인스턴스의 디렉터리에 설치됩니다. blog웹 브라우저를 열고 블로그 인스턴스의 외부 I..

MySQL 데이터베이스를 Google Cloud SQL로 마이그레이션 목표 1. Google Cloud SQL 인스턴스 생성 및 데이터베이스 생성 2. MySQL 데이터베이스를 Cloud SQL로 가져오기 3. 로컬 MySQL 데이터베이스 대신 Cloud SQL을 사용하도록 애플리케이션 재구성 도전 시나리오 귀하의 WordPress 블로그는 더 이상 적합하지 않은 서버에서 실행되고 있습니다. 전체 마이그레이션 연습의 첫 번째 부분으로 블로그에서 사용하는 로컬 호스팅 데이터베이스를 Cloud SQL로 마이그레이션합니다. 기존 WordPress 설치는 랩에서 이미 실행 중인 /var/www/html/wordpress이라는 인스턴스의 디렉터리에 설치됩니다. blog웹 브라우저를 열고 블로그 인스턴스의 외부 I..