Python과 pandas를 이용해 데이터를 다룰 때 용량(분량) 문제로 여러 개의 파일로 나누어진 파일에서 데이터를 불러와 합쳐야 하는 경우가 있습니다. 그럴 때 사용할 수 있는 pandas concat을 이용해 데이터프레임을 합치는 방법입니다. # pandas 패키지 불러오기 import pandas as pd # 연도별 데이터 불러와 각각 dataframe 만들기 temp_2015 = pd.read_csv("./data/2015.csv", sep=',', index_col=False, dtype='unicode') temp_2016 = pd.read_csv("./data/2016.csv", sep=',', index_col=False, dtype='unicode') temp_2017 = pd.rea..
언젠가 듣고 나서 기억에 담아둔 글귀인지 아니면 내 관념이 만들어낸 생각인지는 모르겠지만, 이 글에 대해 수년 동안 생각해오다 최근 들어서 이 말이 왜 맞는지에 대해 정리가 됐다. "해야 할 일을 하지 않는 것보다 하지 말아야 할 일을 하는 것이 나쁘다." ■ 과연 어떤 것이 나쁜 일인가? 위 두 가지 중에 과연 어떤 것이 좋고 나쁘다고 할 수 있는 것인지, 나쁘다면 해야 할 일을 하지 않는 것이 더 나쁜 것이 아닌지 곰곰이 생각해 보곤 한다. 해야 할 일을 하지 않는 것은 아무 일도 일어나지 않는다, 하지만 하지 말아야 할 일을 하는 순간 하지 말아야 할 이유에 해당하는 나쁜 결과가 만들어질 수 있다. 해야 할 일을 하지 않았다면, 언젠가는 그 일을 할 수 있는 기회가 있지만, 하지 말아야 할 일을 했..
"나는 네가 지난여름에 한 일을 알고 있다"는 영화 제목이 갑자기 생각나서 포스팅 제목으로 패러디해 봤습니다. 영화를 안 본 사람은 있어도 제목을 모르는 사람이 없을 정도로 유명한 제목을 가진 영화였었죠. 한번 찾아보니 1997년도 개봉 했었군요. 컴퓨터 사용 시간, 즉 특정 애플리케이션을 쓴 시간이나 방문한 사이트에 머문 시간 등을 기록해서 통계를 내주는 서비스를 이용 중입니다. 몇 주 전 "소프트웨어 개발"에 가장 많은 시간을 썼다는 이메일 리포트가 와서 웃으며 지나쳤었는데, 생각나서 한번 통계를 살펴보았습니다. (왜 웃었느냐 하면, 저는 개발자는 아닙니다. ^^;;) 지난달에 컴퓨터에 앉아 있던 시간 중 가장 많은 시간은 "Communication & Scheduling"에 할애를 했고, 상세 내용..
DBGuide.net을 활용한 데이터(빅데이터)분석, 데이터 과학 입문하기 내 경우, 처음에 구글 애널리틱스 등의 웹로그 분석 도구 활용하여 웹 또는 모바일 서비스 이용자의 방문 데이터 분석을 잘 해야겠다는 생각으로 웹데이터 분석 공부를 시작했다. 그러다가 빅데이터와 인공지능을 위한 머신러닝 등 좀더 폭넓은 데이터 분석에 관한 사회적인 수요도 점점 커지고 있고, 내가 상대하고 있는 고객사들의 자사 데이터 분석에 대한 니즈가 점점 늘어나고 있어서, 내가 지금 하고 있는 업무와 하고자 하는 업무에 여러 방향으로 도움이 될 것이라 생각해서 데이터 분석 공부를 본격적으로 시작하게 된 것 같다. 공부를 시작할 때 어디서부터 어떻게 공부하면 좋을지 막막했다.데이터 분석에 관한 책도 많이 나와 있고, 관련 강좌와 컨..
- Total
- Today
- Yesterday
- 독서
- RESTfulAPI
- 파이썬
- 아침습관
- Sweet Home 3D
- 데이터분석
- pandas
- scikit-learn
- Python
- 메모
- 아침
- 문자열인코딩
- 추천
- 데이터분석자격
- 행복
- read_csv
- 책
- 방법론
- 사이킷런
- 데이터과학
- 육아
- 교육
- 커뮤니티리더
- 독서관리
- 자기계발
- 개발
- 다국어처리
- ADsP
- 습관
- 공부
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |