본문 바로가기
728x90

MS

 (7)
[DP] - 4 데이터 분석 및 시각화 데이터 분석의 기본 사항 데이터 분석은 기업이 의사 결정에 활용할 수 있는 인사이트를 발견하는 과정입니다. 대규모 데이터 웨어하우징, 분석 데이터 저장소, 데이터 시각화 등의 단계로 구성됩니다. 대규모 데이터 웨어하우징 대규모 데이터 웨어하우징은 데이터를 효과적으로 수집하고 처리하여 분석에 활용하기 위한 시스템입니다. - 데이터 수집 및 처리: ETL$($추출, 변환, 로드$)$ 또는 ELT$($추출, 로드, 변환$)$ 오케스트레이션을 통해 데이터를 수집하고 처리합니다. 대규모 데이터의 정리와 재주성을 위한 분산 처리가 핵심입니다. - 분석 데이터 저장소: 데이터 웨어하우스와 데이터 레이크로 데이터를 저장합니다. 데이터 웨어하우스는 관계형 데이터베이스 저장소와 쿼리 엔진을 제공하며, 데이터 레이크는 비정..
[DP] - 2 Azure의 관계형 데이터의 기본 사항 관계형 데이터 개념 살펴보기 관계형 데이터는 테이블에 저장되며, 테이블은 행과 열로 구성됩니다. 행은 레코드를, 열은 속성을 나타냅니다. 이러한 관계형 데이터는 테이블 간의 관계를 통해 연결될 수 있습니다. 각 열에는 데이터 형식이 지정되며, 이는 데이터의 쓰기 스키마 및 데이터의 구조를 정의합니다. 표준화$($정규화$)$ 정규화는 관계형 데이터를 구조화하여 중복을 최소화하고 데이터의 일관성을 유지하는 과정입니다. 각 엔터티$($개체$)$를 자체 테이블로 분리하고, 불연속적인 특성은 각각의 열로 분리합니다. 또한 기본 키를 사용하여 각 엔터티 인스턴스$($행$)$를 고유하게 식별하고, 외래키 열을 사용하여 관련 엔터티를 연결합니다. SQL$($구조적 쿼리 언어$)$ SQL은 관계형 데이터베이스와 함께 사..
[DP] - 1 데이터, 데이터 워크로드, Microsoft 클라우드 서비스 데이터란 무엇일까요? 데이터는 정보를 기록하는 데 사용되는 값들을 의미합니다. 이러한 값들은 종종 하나 이상의 속성을 가진 엔터티를 나타냅니다. 데이터는 크게 정형 데이터, 반정형 데이터, 비정형 데이터로 분류될 수 있습니다. 정형 데이터는 구조화된 테이블 형태로 저장되는 데이터이며, 반정형 데이터는 일부 구조화된 형태를 가지고 있지만 완전한 테이블 형태는 아닌 데이터를 의미하고, 비정형 데이터는 구조가 없는 데이터입니다. 데이터 저장 데이터는 파일 또는 데이터베이스를 통해 저장될 수 있습니다. 파일 형식으로는 텍스트 파일부터 JSON, XML 같은 형식, 그리고 BLOB$($Binary Large Object$)$ 등 다양한 형식이 있습니다. 최적화된 형식으로는 Avro, ORC, Parquet 등이 ..
[AI] 자연어 처리 [Microsoft Azure] 안녕하세요! 오늘은 자연어 처리와 대화형 AI에 대해 알아보겠습니다. 이러한 기술들은 최근 AI 분야에서 큰 관심을 받고 있으며, Microsoft Azure에서도 AI 서비스를 제공하고 있습니다. 1. 자연어 처리 - 텍스트 분석 및 엔터티$($Entity$)$ 인식: 텍스트 데이터를 분석하여 감정, 핵심 구문, 엔터티(명사 등)를 추출합니다. - 정서 분석: 텍스트 데이터의 감정을 분석하여 긍정, 부정 또는 중립으로 분류합니다. 이를 통해 사용자의 감정을 이해하고, 적절한 반응을 할 수 있습니다. - 음성 인식 및 합성: 음성을 텍스트로 변환하거나, 텍스트를 음성으로 합성하는 기능을 제공합니다. 음성 인식을 통해 사용자의 음성 명령을 이해하고, 음성 합성을 통해 AI 에이전트가 음성으로 응답합니다. ..
[AI] Computer Vision을 이용한 이미지 분류[Microsoft Azure] Custom Vision을 이용한 이미지 분류 안녕하세요. 오늘은 Custom Vision이라는 서비스를 이용하여 이미지 분류를 해보려고 합니다. Custom Vision은 Microsoft Azure에서 제공하는 인공지능 서비스로, 사용자가 원하는 이미지를 업로드하고 태그를 지정하면 자동으로 모델을 학습시켜주는 편리한 기능입니다. 이번 포스팅에서는 Custom Vision을 사용하는 방법과 Postman 프로그램을 이용하여 예측 결과를 확인하는 방법에 대해 알아보겠습니다. 이미지 분류와 관련된 간단한 단어 - 이미지 분류$($image classification$)$: 다중 밴드 래스터 이미지로부터 정보 클래스를 추출하는 작업 또는 이미지 전체를 특정 레이블로 이해하고 분류하는 작업입니다. - 픽셀$(..
[AI] Machine Learning Studio를 활용한 머신러닝 기초 및 파이프라인 구축 가이드[Microsoft Azure] Machine Learning Studio를 이용한 머신러닝 파이프라인 구축 안녕하세요. 오늘은 Machine Learning Studio라는 서비스를 이용하여 머신러닝 파이프라인을 구축해보려고 합니다. Machine Learning Studio는 Microsoft Azure에서 제공하는 머신러닝 서비스로, 드래그 앤 드롭 방식으로 간편하게 데이터를 처리하고 모델을 학습시킬 수 있는 편리한 기능입니다. 이번 포스팅에서는 Machine Learning Studio를 사용하는 방법과 Postman 프로그램을 이용하여 예측 결과를 확인하는 방법에 대해 알아보겠습니다. Machine Learning Studio 사용 방법 Machine Learning Studio를 사용하기 위해서는 먼저 Designer에서 각..
[AI] AI의 기초와 기계 학습: 워크로드, 원칙 [Microsoft Azure] AI: 인간 모방 소프트웨어 일반적인 인공지능 워크로드 Machine Learning 데이터 및 통계를 기반으로 한 예측 모델 - AI의 기초 이상 감지 비정상적인 패턴이나 이벤트를 감지하여 선제적 조치를 가능하게 하는 시스템 Computer Vision 카메라, 이미지 또는 비디오의 시각적 입력을 해석하는 애플리케이션 자연어 처리 서면 또는 음성 언어를 해석하고 사용자와 대화에 참여할 수 있는 애플리케이션 정보 마이닝 데이터 원본에서 정보를 추출하여 검색 가능한 지식 저장소 만들기 원칙 해결 과제 또는 위험 예제 공정성 $($fairness$)$ 바이어스는 결과에 영향을 줄 수 있습니다. 학습된 데이터의 바이어스로 인한 성차별 신뢰성 및 안정성 $($Reliability and safety$)$ 오류로..

티스토리툴바