본문 바로가기
AI, 머신러닝, 딥러닝, 데이터 분석

AI-900 인공지능 자격 시험

by 포로리다 2023. 12. 3.
728x90
반응형
SMALL

문제은행

답만 확인

 

8. 청각, 시각 기타 장애

Inlcusiveness

 

9. 예상치 못한 조건 unacticipated conditions -> safety

AI가 내린 결정 -> 책임감 어카운트

소비자에게 데이터 수집 -> 프라이버시 시큐리티

 

10. 예기치 않은 상황~에서 Safety

11. 투명성 원칙 = transparency---> debug

debug 나오면 정답. 한번 밖에 안 나옴. 

13. 장벽 barriers -> 답 inclusiveness

18 (대출 승인여부 평가)  요소 설명 -> 투명성 

19 결과에 대한 설명 -> 투명성

챗봇 + 안정성 및 원칙-> x NO

20. 성별, 인종 차별 -> 공정성

승인 개인데이터 -> 프라이버스 시큐리

22. 앱이 책임있는 AI원칙 사용하는지 확인 -> 

23. 편향 biases  <-> 공정성 fairness

61. 비정상적이나 누락된 값 = safety

151. 투명성과 포괄성

154. 개인정보 프라이버시

156. nlp 허가없이얻은 데이터 -> 프라이버시

160. 편향 -> 공정

161. 시스템의 편향 최소 -> 영국인구를 대표하는 대표 샘플 만든다.

anomaly detector(이상탐지)

 

-----모듈 1-----

모듈2 머신러닝 지도학습 비지도학습

1. 회귀 리그레이션

2. 분류 클레시피케이션

3. 군집 클러스터링

 

1. 결과치가 모두 숫자로 나옴 numeric

2. 이진 분류

3. similar 유사한 k-.means clustering

 

2. ml진행위해 데이터 분할? 랜덤 로우(행)임의 분할

150. 

45. 모델 교육 때 행을 별도의 하위 집합으로 무작위 분할 이유?

모델학습에서 사용되지 않은

50. 리그레이션 r r 

29. 수를 예측 -> 리그레이션

31. 미터 단위로 예측 (숫자) 과거의 데이터로 미래 예측 리그레이션

39. 몇 시간 초과근무 예측 -> 리그레이션

55. 경매품목의 가격 예측 -> 리그레이션

 

---분류-------

초기 감지(earlyt detection)

헬스케어 병은 대부분 분류

-----군집

유사성 similarities, slmilar,

스플릿 하지 않음

-----오토ML 2문제

Custom python 사용자지정스크립트 X

정답 아님

캔버스 - 오토ML 해당X

 

쿠버네티스 AKS '정답'

자바, 자바스크립트 지원X

 

--------------

피쳐 = 특징 (기계번역: 기능)

피쳐 엔지니어링

 

모델 예측에 영향을 미치는 값 = 피쳐

레이블이 지정된 데이터 사용하면 회귀모델

분류는 임계치보다 낮은지 높은지 분류

회귀모델은 레이블이 숫자여야 함.

클러스터링 레이블 사용 X

분류모델 레이블은 숫자여야 합니다. TRUE FALSE 0 과 1

기계 학습 작업공간 만들기 = 애저 포털

마법사 = 오토 ML

기계학습 모델에서 입력으로 사용되는 데이터를 피쳐 배리어블(변수) variables 라고 함.

추가적인 컨피규레이션 셋팅 기억하기 

------------모듈 3------------

1.이미지 분류 image classification (taxi)

2.객체 탐지 object detection : 위치(잡초 찾기), 캡션/주석 confidence로 퍼센트  

3. 의미체계구분 semantic segmentation 픽셀로 오브젝트 구분, 색상별 픽셀

4. image analysis 이미지 분석 : 사진 묘사 describe the image

할아버지가 까만 개를 끌고 지나갑니다 (캡션 달아줌)

5. face detection&recognition 얼굴 탐지&인식

6. OCR optical character recognition 광학문자인식

사진에 대한 자동캡션 생성 = describe the image

텍스트를 디지털화 = ocr

Custom vision : your own image 커스텀 이미지 분류, 커스텀 오브젝트 detection 두가지

form recognizer(형식): 영수증 receit, invoices, 텍스트 키/값 쌍 테이블 데이터 

 

경쟁사의 제품 식별 -> 커스텀 비전

커스텀 비전 (탐지,분류) 

 

얼굴, 선글라스 -> detect operation in the face service

선글라스 껴도 인식 가능

같은사람? verification

사용자가 짜증내는지 식별 facial analysis

노출exposure, 노이즈noise, occlusion폐색(얼굴가리는 요소 안경,선글라스) -> 분석

 

영수증 - form recognizer

개체 수 세는 것 = 컴퓨터 비전

브랜드명 = 컴퓨터 비전

이미지에 클래스명 할당(고양이,개) = 레이블링

always false확률 큼.

컴퓨터 비전에서는 confidence사용함(어큐러시 대신)


NLP

1. analysis entity revodnition 텍스트 분석 및 엔터티 인식

2. sentiment analysis 감정 분석

3. speech recogcition and synthesis 음성 인식 및 합성

4. machine translation 기계 번역

semantic language modeling 의미 체계적 언어 모델링(시험 안 나옴)

 

NER 

199. 텍스트 입력 기반으로 챗봇을 구축.주문 수락, 문서 검색, 주문 업데이트, 어떤 유형의 NLP를 사용해야 4번

114. 리뷰 나오면 감정 분석.

198. 어조 Tone 식별 -> 감정 분석

 

핵심문구 추출=주요 논점 main talking point = key frame 

서명 감지는 이미지,

 

언어 이해

entity (주제, 키워드) intent(의도)

utterance(발언, 발화= 질문한 것)

LUIS(랭귀지 언더스탠딩 언어 이해)

챗봇 - Intent = LUIS

쿼리 = 질문

 

챗봇 솔루션에 포함해야하는 서비스 = 애저 봇 서비스, QnA메이커

QnA메이커 문서 형식 = PDF

사용자 친화적 = Add chit-chat(잡담)

intent(주제) 와 상관없는 거 미리 추가해 놓음

응답의 관련성 개선 = 액티브 러닝

여러 채널 = 애저 봇 서비스

봇 생성하려면 qna메이커

코타나를 사용하여 봇과 통신할 수 있다. 

팀을 사용하여 통신 가능

웹 채팅 인터페이스사용하여 통신 가능

애저 cognitive 서비스를 통합가능 

챗봇은 템플릿으로도 구축가능, 커스텀 코드를 통해서도 구축 가능

각 커뮤니케이션 채널마다 별도의 챗봇이 필요한가??teams, ....하나의 챗봇으로 여러 커뮤니케이션 채널 통합 가능함.

텍스트만 있으면 엔터티 추출 가능

음성 서비스 사용하여 통화 오디오를 다른 언어로 번역 가능.

 key fames extention 핵심 추출 = nlp

텍스트에서 직업 추출 entity recognition

key phrase extraction 중요 정보 요약

인텐트 = 랭귀지 서비스 (발화, 엔티티, 인텐트)

지식기반을 원할 때 랭귀지 서비스의 질문답변 사용해야 함

랭귀지 서비스의 질문답변은 사용자 발화의 의도를 결정할 수 있다.

이상치 감지 anomaly detection = 사기성, 비정상적 카드결제 식별

환불 교환 자동 챗봇 = knowledge mining

 

Key phrase extraction (핵심 구문 추출)

텍스트에서 사람, 위치 및 조직을 추출합니다. 주요 구문과 사람, 장소 조직과 같은 명명된 엔티티를 포함하여 텍스트의 중요한 개념을 식별합니다., 문서 모음에서 주요 요점을 식별

  1.  Named Entity Recognition (알려진 엔티티 인식)
    - NER (Named Entity Recognition)는 사람, 장소, 조직, 수량, 잘 알려진 엔티티도 인식되고 웹에서 더 많은 정보에 연결되므로 텍스트의 엔티티를 식별하고 분류 할 수 있습니다.
  2. ex 가장 자주 논의되는 도시 이름에 대한 언급을 추출하는 솔루션

음성 합성(speech synthesis)은 말소리의 음파를 기계가 자동으로 만들어 내는 기술

TTS(=Text-to-Speech)

 

한글 문제에는 98문제(영어버전에 없던 문제들이 추가되어 있음)

문제풀이 영상 링크 :  M1: Responsible AI | 모듈별 영상 | SQN902.6x 코스웨어 | MLP 온라인 캠퍼스 (datamine.co.kr)

 

오답노트

 

책임 원칙은 AI 시스템이 해당하는 모든 윤리적 및 법적 표준을 충족하도록 설계된다는 점을 보장합니다. 

개인 정보 보호 및 보안 원칙은 AI 시스템이 개인 데이터 및/또는 민감한 데이터를 보호하도록 설계되어야 한다는 점을 명시합니다. 

포용성 원칙은 AI 시스템이 긍정적이고 포괄적인 방식으로 사람들을 지원해야 한다고 명시하고 있습니다. 

AI 시스템에는 공정성 원칙이 적용되어 시스템 사용자가 공정하게 대우받을 수 있도록 보장합니다.


ML

 

 

 

순서

1. Automobile price data - 자동차 가격 데이터 가져오기
2. Select columns in dataset - 데이터 집합에서 열 선택
3. Clean missing data - 누락 데이터 정리
4. Split data - 데이터 분할
5. Linear regression - 선형 회기 분석
6. Train model - 모델 학습

 

●Feature engenieering(피처 엔지니어링) - 존에 제공되는 피처를 가공하여 추가적인 피처를 새로 생성하여 제공함으로써 모델의 오류를 줄이고 모델의 정확도를 높여주는 작업이다.

●Feature selection(특성 선택) - 제공되는 피처를 효율적으로 사용하기 위해 일부 필요한 피처만 선택하는 기술입니다.

Features(특징)입력되는 정보를 의미합니다. 예측에 사용되는 정보는 모두 Feature가 될 수 있습니다.(가구 소득, 연령, 학)

Labels(레이블)해당 데이터로부터 예측하고자 하는 정답 값 입니다.(주택 가격 범주, 소득범위)

일반적으로 분류기를 평가할 때 가장 먼저 확인하는 측정항목입니다. 그러나 테스트 데이터가 불균형하거나(대부분의 인스턴스가 클래스 중 하나에 속하는 경우) 클래스 중 하나의 성능에 더 관심이 있는 경우 정확도는 실제로 분류기의 효율성을 포착하지 못합니다.

모델이 새로운 샘플에 얼마나 잘 일반화될지 아는 유일한 방법은 새로운 샘플에 실제로 적용해 보는 것입니다. 이를 위해 실제 서비스에 모델을 넣고 잘 동작하는지 모니터링하는 방법이 있습니다. 새로운 샘플에 대한 오류 비율을 일반화 오차라고 하며, 테스트 세트에서 모델을 평가함으로써 이 오차에 대한 추정값을 얻습니다. 이 값은 이전에 본 적이 없는 새로운 샘플에 모델이 얼마나 잘 작동할지 알려줍니다.

 

 

기계 학습 모델에서는 입력으로 사용되는 데이터를 __변수_Variables_______라고 합니다.

 

 

 

디자이너를 사용하여 모듈을 연결하여 파이프라인 초안을 만들 수 있습니다.
디자이너에서 파이프라인을 편집하면 진행률이 파이프라인 초안으로 저장됩니다.

 

(중요) 여러 번 틀림

 

* 회귀 알고리즘은 숫자 값을 예측하는 데 사용됩니다. 

   - 회귀는 알려진 레이블 값과 함께 과거 데이터를 사용하여 모델을 학습시키므로 지도 기계 학습의 예,

   - 학습 집합에는 알려진 기능 및 레이블 값이 포함.

    - 다중 선형 회귀 모델은 이 항목의 시나리오와 일치하는 두 개 이상의 기능과 단일 레이블 간의 관계를 모델링합니다.

    - 선형 회귀는 단일 기능을 사용

    - 해당 항목의 기능을 기반으로 항목과 관련된 숫자 레이블을 예측하는 기계 학습 알고리즘 유형

* 클러스터링 알고리즘은 비슷한 특성을 가진 데이터 요소를 그룹화합니다. 

 - 기능의 유사성을 기반으로 관찰 내용을 그룹화하는 기계 학습 알고리즘 유형

 - 자율 기계 학습 할고리즘 모듈. 클러스터링 모델 학습에 사용 알고리즘 구성 요소 = K-MEANS클러스터링.

* 분류 알고리즘은 입력 값이 속한 범주를 예측하는 데 사용됩니다

 - 로지스틱 회귀는 부울 값 또는 범주별 결정을 반환하는 분류 모델의 한 유형

.

 

작업 영역 만들기 -> 머신러닝 스튜디오 액세스 -> 머신러닝 스튜디오 작업 만들기 -> 회귀 모델 학습 ->학습 완료 후 애저 컨테이너 AKS클러스터 배포

자동화된 ML 실행 데이터세트 필요

(중요)Machine Learning 디자이너를 사용하여 새로 학습된 모델에서 예측 서비스를 배포하려면 먼저 Machine Learning 디자이너에서 파이프라인을 만들어야 함

 

기계 학습 모델의 학습을 시작하려면 먼저 Machine Learning 디자이너에서 파이프라인을 만들어야 합니다. 다음으로 데이터 세트를 추가하고, 학습 모듈을 추가한 후, 마지막으로 서비스를 배포


컴퓨터비전

Verification 확인 동일 사람인지 확인

유사성 ; look like other people?

신분 증명(identification) 이 그룹에서 이사람은 누구인가

 

페이스 분석: 노출, 노이즈, 폐색에 대한 피드백 제공 ai솔루션

 

nlp

LUIS언어이해  speech 연설 같이 있으면 LUIS 우선 선택 

의미 예측, 입력 의미 해석 , 의도 파악

 

입력 검색어와 관련된 이미지 표시와 비밀번호 재설정 요청을 제출은 대화형 AI 기술이 아닙니다.

발화 의도 확인 불가

speech 아님 주의!!!!

 

동영상 스피치->캡션 / 자막 생성 NLP 

이미지 태그 및 설명 생성은 -> 컴퓨터 비전

- 형태소 분석은 단어를 세기 전에 정규화합니다.

- 벡터화는 단어를 n차원 공간의 위치에 할당하여 단어 간의 의미론적 관계를 포착

 

 

 

728x90
반응형
LIST

'AI, 머신러닝, 딥러닝, 데이터 분석' 카테고리의 다른 글

AI 오디오처리  (0) 2023.11.28
화자 분할 논문 리뷰  (0) 2023.11.16
Salmonn(2023. 10. 26.)  (1) 2023.11.03
AI 화자 인식_DenseNet, ResNet, Ensemble  (0) 2023.10.30
AI 강연 리뷰  (2) 2023.10.30