파이썬 기초부터 시작하는 딥러닝 영상인식 자율주행 2주차 리뷰, 지난주까지 파이썬 딥러닝에 필요한 파이썬 기초 강의를 들었습니다. 파이썬 기초 파트에서는 강의 소개와 함께 변수 개념, GUI, 웹사이트 정보를 스크래핑으로 얻는 것 등을 배웠습니다.14개 강의에서 배운 파이썬 기초에 이어 파이썬 딥러닝을 위한 ‘데이터 분석’ 파트에 들어갔습니다!!
Part 2 데이터 분석에서는 크게 팬더스로 데이터를 가공하여 분석용 데이터셋 작성 차트 5대 기법과 데이터 시각화
두 파트로 구성되어 있습니다.실제 데이터를 가져와 파이썬 딥러닝에 필요한 기본 데이터셋 작업부터 직접 시작하세요. 판다스의 기본부터 학습한 후 실제 데이터를 가져와 데이터셋을 만들어보고 차트 5대 기법에서는 어떤 상황에 어떤 차트가 적합한지 배울 수 있다고 합니다.이번 주는 먼저 판다스에 대해 배웠습니다.팬더스란? 파이썬 언어로 작성된 데이터를 분석하고 조작하기 위한 소프트웨어 라이브러리입니다.
이 강의를 듣기 전에도 한 학기 동안 파이썬 기초를 배운 적이 있지만 데이터 분석 목적이 아니었기 때문에 팬더스는 처음 접해봤습니다. part2에서는 도로교통공사에서 제공하는 실제 데이터에서 판더스의 기초를 하나씩 배워갑니다.방대한 데이터에서 필요한 부분만 가져와 정렬하는 등 데이터 분석을 위한 데이터셋에 대해 배우는 과정입니다!!
이렇게 강의 들으면서 바로 따라하고 있어요!!
<저장된 데이터의 취득> 코랩은 휘발성이라고 하는 단점이 있습니다.이 단점을 보완하기 위해 구글 드라이브에서 콜라보로 데이터를 가져오는 mount를 이용합니다.
제 구글 드라이브와 mount가 되었습니다.pandas에서 저장된 데이터를 취득했습니다.도로공사 파일이 한국어로 작성되었기 때문에 깨지지 않도록 euc-kr을 이용한다고 합니다. data.head()와 tail()에서 제대로 가져왔는지 확인 <필요없는 데이터를 찾아 정제하기> 데이터의 전처리 및 정제는 데이터의 품질과 데이터에 포함된 방대한 정보량에서 필요한 값을 찾기 위해 필요합니다.데이터에서 결측치를 제거, 대치하는 과정은 데이터의 품질을 좌우하는 중요한 과정이라고 합니다.data.isnull().sum(axis=0)에서 데이터에 널값이 있는지 확인하고 삭제data_clean = data_clean[data_clean.통행시간>0] 이렇게 통행시간 음수 값을 제외하고 추출하였습니다. null 값과 적절하지 않은 음수 값을 삭제했더니 데이터 용량이 기존 1.3G에서 1.1G로 줄었습니다. <필요한 데이터를 조건에 맞게 선택>필요한 열, 통행 시간이 700 이상인 것, 영업소 코드가 101인 데이터를 추출해 보았습니다.이 과정도 데이터 수가 줄어들고 효율적인 분석에 필요한 과정입니다!! <원하시는 데이터 추가> 판다에서 데이터를 추가하는 방법은 크게 세 가지 새로운 List column.loc[].assign()그런데 위에 두 개를 쓰면 더 효율적인 방법을 추천해줘서 결국 세 번째.assign()을 가장 추천한다고 합니다. <데이터를 필요한 형태로 정렬, 그룹>sort(정렬)를 이용하여 통행시간별로 정렬해 보았습니다.오름차순이 기본 적용되며 ascending=False 추가시 내림차순으로 나열됩니다!!이렇게 이번 주에 배운 내용입니다!! 처음 배우는 내용이라 무리없이 천천히 따라가는데 나름대로 많은 것을 배웠네요.강의를 들으면서 좋았던 것은 지금 배우는 과정이 데이터 분석에 왜 필요한지 설명해주시고 강의 시작마다 mount부터 작성해온 코드를 계속 설명해주셔서 자연스럽게 복습되고 흐름을 이어갈 수 있다는 점이었습니다.파이썬 딥러닝에 대해 아무것도 모르는 저도 하나씩 따라가면서 데이터에 대해 이해하고 있어요!! part 1부터 마지막 part 5 자율주행 영상 인식까지 따라가면 파이썬 딥러닝에 대해 깊이 배울 수 있어 더욱 기대됩니다.파이썬 기초부터 시작하는 딥러닝 영상인식 바이블 Online.|퍼스트 캠퍼스 파이썬 기초부터 영상인식 심화까지 딥러닝의 모든 것을 담은 온라인 바이블 강의! 최근 인기 있는 자율주행/모빌리티 관련 예제 실습으로 최신 기술까지 완벽하게 마스터하세요.bit.ly[본 게시물은 퍼스트캠퍼스 서포터즈 3기로서 무료로 강의를 제공받아 작성한 솔직한 소감입니다]