220425_Identify Damaged Car Parts with Vertex AutoML Vision

Vertex AutoML Vision으로 손상된 자동차 부품 식별

 

개요

autoML vision : ML 전문지식이 제한된 사람이라도 누구나 이미지 분류 모델을 훈련할 수 있도록 도와줌
ML 모델 생성 시 즉시 사용가능, UI or rest API 이용하여 google cloud console에서 직접 예측 생성 시작가능

 

목표

• csv 파일을 사용하여 레이블이 지정된 데이터 세트를 cloud storage에 업로드하고 vertex ai에 관리 데이터세트로 연결
• 업로드된 이미지를 검사하여 데이터세트에 오류가 없는지 확인
• 학습된 모델을 검토하고 정확도 평가
  
  

---

1. cloud storage에 학습 이미지 업로드

 

[cloud storage 버킷 만들기]

환경변수 지정

export PROJECT_ID=$DEVSHELL_PROJECT_ID
export BUCKET=$PROJECT_ID

cloud storage 버킷 생성

gsutil mb -p $PROJECT_ID \
    -c standard    \
    -l us-central1 \
    gs://${BUCKET}

 

[스토리지 버킷에 자동차 이미지 업로드]

이미지 → cloud storage 버킷에 복사

gsutil -m cp -r gs://car_damage_lab_images/* gs://${BUCKET}

cloud storage > browser > 새로고침
폴더 다섯가지 있는지 확인

---

2. 데이터세트 만들기

 

[csv 파일 업데이트]

파일 복사본 만들기

gsutil cp gs://car_damage_lab_metadata/data.csv .

스토리지 경로 업데이트

sed -i -e "s/car_damage_lab_images/${BUCKET}/g" ./data.csv

버킷 이름 제대로 들어갓는지 확인

cat ./data.csv

csv파일을 cloud storage 버킷에 업로드

gsutil cp ./data.csv gs://${BUCKET}

data.csv 파일이 버킷에 나열되어있는지 확인

[관리형 데이터세트 만들기]

vertex ai > dashboard > Get started with Vertex AI > ebabke vertex ai api 클릭 > create dataset 

name : damaged_car_parts
이미지 분류 : 싱글라벨(단일 레이블)

create

[데이터 세트를 훈련 이미지에 연결]

import > Select an import method : Select import files from Cloud Storage > browser : data.csv 선택 > continue... > 좀 걸림 > browser 탭을 눌러 이미지가 뜨는지 확인한다.

data.csv 선택

---

3. 이미지 검사

[이미지 검사]

이미지에 오류가 없는지 확인

이미지 검사

[이미지 라벨확인]

dataset > 필터 목록을 눌러 자동차 이미지가 제대로 라벨링 되어있는지 확인

---

4. 모델 학습

vertex ai > Train New Model >
Model training method : autoML > continue > 
name : damaged_car_parts_model > continue > 
budget : 8 > start training

---

5. 모델 평가

* 모델 교육을 완료하는데 30분정도 소요
인고의 시간...
기다림의 시간...

인고의 시간...

---

6. 이해력 테스트

퀴즈
1. 엔진룸-범퍼 , 범퍼-후드
2. 엔진 구성 요소 레이블 : 3
3. 0.5 임계값에서 정밀도 높이기 위해 권장되는 단계 : 수집할 데이터 유형 식별

---

7. 엔드포인트에 배포

vertex ai > models > 방금 생성한 모델 클릭 > deploy&test > deploy to endpoint > 
name : damaged-car-part-model-endpoint
number of compute nodes : 1 > done > deploy

* 배포하는데 10분정도 소요

 

얘도 인고의 시간 2.

---

8. 예측생성

 

데이터를 사용하여 훈련된 모델에 대한 예측 생성
예측을 생성하는 몇가지 방법
but, 여기선 UI를 사용하여 이미지 업로드 및 분류

[모델에 이미지 추가]

vertex ai > models > 클릭 > deploy&test > 이미지 업로드

 

분류 잘하는지 확인