…
(OpenAPI 활용방법) (수업자료: smb0.ipynb)
공공 데이터 포털 Open API의 예를 들어, 우선 공공 데이터 포털에서 희망하는 API를 활용 신청하고 인증키를 확인한다.
End Point와 인증키를 합쳐 데이터가 있는 링크에 접속할 수 있다.단, API마다 사용법이나 데이터 구조가 다를 수 있으므로 반드시 매뉴얼을 확인!
그리고 가져온 json 자료를 csv로 다음과 같이 변환한다.
(NoSQL)
엄청난 양의 로그 데이터와 비정형 데이터를 다루기 위해 NoSQL이나 Hadoop이 필요하다는 것은 알겠는데, 사실 오늘 배운 내용은 사용법보다는 정말 조금의 개념만 배웠고 지식이 아직 정립되지 않은 느낌이다.
따라서 수업 때 참고한 몇 개의 사이트만 첨부한다.
https://www.samsungsds.com/kr/insights/1232564_4627.html?referrer=https://www.google.com/NoSQL이 무엇인가? 대량데이터 동시처리를 위한 DBMS의 종류와 특징 www.samsungsds.com
** 비정형 데이터를 다루기 위해서 꼭 알아야 할 내용 **맵-리듀스(Map-Reduce) 키-밸류(Key-Value)
SQL과 NoSQL은 보완관계
https://docs.microsoft.com/en-us/azure/architecture/aws-professional/databasesA comparison of the differences between database technologies between Azure and AWSdocs.microsoft.comhttps://docs.microsoft.com/en-us/azure/architecture/guide/architecture-styles/big-dataDescribes benefits, challenges, and best practices for Big Data architectures on Azure.docs.microsoft.comhttps://docs.microsoft.com/en-us/azure/architecture/data-guide/big-data/non-relational-dataLearn about non-relational databases that store data as key/value pairs, graphs, time series, objects, and other storage ma
- NoSQL 종류-1. Document datastores 2. Columnard atastores 3. Key / value datastores 4. Graph datastores
- Microsoft가 비정형 데이터를 불러와서 SQL에서 정형데이터를 취급하게 해준다.
+ 소감)본격적인 프로젝트가 시작되기 전에 포스팅이 엉망진창… 수업시간에 더 잘 이해할 수 있도록 노력해야겠어.