Python - pandas(numpy기반의 복잡한 데이터분석을 위한 패키지)

# test22.py
 
# https://pandas.pydata.org
# pandas : numpy 기반 만들어져 있음, 복잡한 데이터 분석
# dataframe 기반 -> 엑셀 table, 2차원 배열(리스트), 행,열, DB table
import pandas as pd
 
# Series 데이터 생성 1차원 배열
s1 = pd.Series([10, 20, 30, 40, 50])
print(s1)
# 0    10
# 1    20
# 2    30
# 3    40
# 4    50
# dtype: int64
# index 번호 value 값
print(s1.index)  # RangeIndex(start=0, stop=5, step=1)
print(s1.values)  # [10 20 30 40 50]
 
s2 = pd.Series(['a', 'b', 'c', 1, 2, 3])
print(s2)
'''
0    a
1    b
2    c
3    1
4    2
5    3
dtype: object
'''
 
import numpy as np
 
# np.nan -> NaN 데이터 없다
s3 = pd.Series([np.nan, 10, 30])
print(s3)
'''
0     NaN
1    10.0
2    30.0
dtype: float64
'''
index_data = ['2020-08-01', '2020-08-02', '2020-08-03', '2020-08-04']
s4 = pd.Series([100, 195, np.nan, 205], index=index_data)
print(s4)
'''
2020-08-01    100.0
2020-08-02    195.0
2020-08-03      NaN
2020-08-04    205.0
dtype: float64
'''
s5 = pd.Series({'국어': 100, '영어': 95, '수학': 90})
print(s5)
'''
국어    100
영어     95
수학     90
dtype: int64
'''
 
# 날짜 생성
s6 = pd.date_range(start='2020-08-01', end='2020-08-07', periods=None, freq='D')
print(s6)
'''
DatetimeIndex(['2020-08-01', '2020-08-02', '2020-08-03', '2020-08-04',
               '2020-08-05', '2020-08-06', '2020-08-07'],
              dtype='datetime64[ns]', freq='D')
'''
 
s7 = pd.date_range(start='2020-08-01', periods=4, freq='D')
print(s7)
'''
DatetimeIndex(['2020-08-01', '2020-08-02', '2020-08-03', '2020-08-04'], dtype='datetime64[ns]', freq='D')
'''
# DataFrame 2차원 데이터 생성
index_data = pd.date_range(start='2020-08-01', periods=3)  # 2020-08-01 3개
columns_list = ['A', 'B', 'C']
df1 = pd.DataFrame([[1, 2, 3], [4, 5, 6], [7, 8, 9]], index=index_data, columns=columns_list)
print(df1)
'''
            A  B  C
2020-08-01  1  2  3
2020-08-02  4  5  6
2020-08-03  7  8  9
'''
print(df1.index)
print(df1.values)
print(df1.columns)
'''
DatetimeIndex(['2020-08-01', '2020-08-02', '2020-08-03'], dtype='datetime64[ns]', freq='D')
----------------
[[1 2 3]
 [4 5 6]
 [7 8 9]]
---------------
Index(['A', 'B', 'C'], dtype='object')
 
'''
df2 = pd.DataFrame({'연도': [2015, 2016, 2017],
                    '지사': ['한국', '미국', '한국'],
                    '고객수': [200, 450, 300]})
print(df2)
'''
     연도  지사  고객수
0  2015  한국  200
1  2016  미국  450
2  2017  한국  300
 
'''
#         봄       여름      가을      겨울
# 2012    256.5     356.5     256.5     156.5
# 2013    264.3     364.3     264.3     164.3
# 2014    215.9     315.9     215.9     115.9
# 2015    223.2     323.2     223.2     123.2
# 2016    312.8     312.8     312.8     112.8
 
df3 = pd.DataFrame([[256.5, 356.5, 256.5, 156.5], [264.3, 364.3, 264.3, 164.3], [215.9, 315.9, 215.9, 115.9],
                    [223.2, 323.2, 223.2, 123.2], [312.8, 312.8, 312.8, 112.8]],
                   columns=['봄', '여름', '가을', '겨울'],
                   index=[2012, 2013, 2014, 2015, 2016])
print(df3)
 
# 데이터 총합, 평균, 표준편차
print(df1)
print(df1.sum())
'''
A    12
B    15
C    18
'''
print(df1.sum(axis=1))
'''
2020-08-01     6
2020-08-02    15
2020-08-03    24
Freq: D, dtype: int64
'''
print(df1.mean())
print(df1.mean(axis=1))
print(df1.std())
print(df1.std(axis=1))
print(df1.describe())
print(df2.describe())
print(df3.describe())
'''
A    4.0
B    5.0
C    6.0
dtype: float64
---------------------
2020-08-01    2.0
2020-08-02    5.0
2020-08-03    8.0
Freq: D, dtype: float64
---------------------
A    3.0
B    3.0
C    3.0
dtype: float64
--------------------
2020-08-01    1.0
2020-08-02    1.0
2020-08-03    1.0
Freq: D, dtype: float64
---------------------
   A    B    C
count  3.0  3.0  3.0
mean   4.0  5.0  6.0
std    3.0  3.0  3.0
min    1.0  2.0  3.0
25%    2.5  3.5  4.5
50%    4.0  5.0  6.0
75%    5.5  6.5  7.5
max    7.0  8.0  9.0
------------------------
     연도         고객수
count     3.0    3.000000
mean   2016.0  316.666667
std       1.0  125.830574
min    2015.0  200.000000
25%    2015.5  250.000000
50%    2016.0  300.000000
75%    2016.5  375.000000
max    2017.0  450.000000
-----------------------------
                봄         여름          가을         겨울
count    5.000000    5.00000    5.000000    5.00000
mean   254.540000  334.54000  254.540000  134.54000
std     38.628267   24.06539   38.628267   24.06539
min    215.900000  312.80000  215.900000  112.80000
25%    223.200000  315.90000  223.200000  115.90000
50%    256.500000  323.20000  256.500000  123.20000
75%    264.300000  356.50000  264.300000  156.50000
max    312.800000  364.30000  312.800000  164.30000
'''
# 상위 하위 몇개
print(df3.head(3))
print(df3.tail(3))
print(df3['봄'])
print(df3[0:2])
print(df3['봄'][0:2])
print(df3['봄'][2012:2014])
print(df3.loc[2012])
print(df3.loc[2012:2014]['봄'])
print(df3['봄'].loc[2012:2014])
 
print(df3.T)  # 전치행렬(행,열바꿈)
 
'''
 봄     여름     가을     겨울
2012  256.5  356.5  256.5  156.5
2013  264.3  364.3  264.3  164.3
2014  215.9  315.9  215.9  115.9
---------------------------------
          봄     여름     가을     겨울
2014  215.9  315.9  215.9  115.9
2015  223.2  323.2  223.2  123.2
2016  312.8  312.8  312.8  112.8
--------------------------------------
2012    256.5
2013    264.3
2014    215.9
2015    223.2
2016    312.8
Name: 봄, dtype: float64
-----------------------------
          봄     여름     가을     겨울
2012  256.5  356.5  256.5  156.5
2013  264.3  364.3  264.3  164.3
2012    256.5
2013    264.3
Name: 봄, dtype: float64
------------------------
Series([], Name: 봄, dtype: float64)
---------------------
봄     256.5
여름    356.5
가을    256.5
겨울    156.5
Name: 2012, dtype: float64
-----------------------
2012    256.5
2013    264.3
2014    215.9
Name: 봄, dtype: float64
-----------------------
 2012   2013   2014   2015   2016
봄   256.5  264.3  215.9  223.2  312.8
여름  356.5  364.3  315.9  323.2  312.8
가을  256.5  264.3  215.9  223.2  312.8
겨울  156.5  164.3  115.9  123.2  112.8
'''
 
# 열추가
df3['sum_0']=0
print(df3)
df3['sum']=df3['봄']+df3['여름']+df3['가을']+df3['겨울']
print(df3)
'''
   봄     여름     가을     겨울  sum_0     sum
2012  256.5  356.5  256.5  156.5      0  1026.0
2013  264.3  364.3  264.3  164.3      0  1057.2
2014  215.9  315.9  215.9  115.9      0   863.6
2015  223.2  323.2  223.2  123.2      0   892.8
2016  312.8  312.8  312.8  112.8      0  1051.2
'''
# avg 열추가
df3['avg']=df3['sum']/4
print(df3)
'''
봄     여름     가을     겨울  sum_0     sum    avg
2012  256.5  356.5  256.5  156.5      0  1026.0  256.5
2013  264.3  364.3  264.3  164.3      0  1057.2  264.3
2014  215.9  315.9  215.9  115.9      0   863.6  215.9
2015  223.2  323.2  223.2  123.2      0   892.8  223.2
2016  312.8  312.8  312.8  112.8      0  1051.2  262.8
'''
 
# 열삭제
df3_1=df3.drop('sum_0',axis=1)  # 저장한 결과를 다른변수에 저장
print(df3_1)
 
# 조건데이터 추출
# print(df3[조건식])
print(df3[df3['봄']>=300])
 
# 정렬
print(df3.sort_values(by=['봄']))  # 오름차순
print(df3.sort_values(by=['봄'],ascending=False))  # 내림차순
 
# min max sum count mean
print(df3.min())
print(df3.max())
print(df3.sum())
print(df3.count())
print(df3.mean())
 
# 그룹 groupby()
print(df2)
df2_group=df2.groupby(by='지사').count()
print(df2_group)
df2_group=df2.groupby(by='지사').mean()
print(df2_group)
df2_group=df2.groupby(by='지사')['고객수'].mean()
print(df2_group)
 
df2_group=df2.groupby(by='지사')['고객수'].agg([min,max])
print(df2_group)
 
# 연도 count  고객수  sum
agg_format={'연도':'count','고객수':'sum'}
df2_group=df2.groupby(by='지사').agg(agg_format)
print(df2_group)
 
# 파일 읽고 쓰기
# DataFrame -> 파일로 만들기
df1.index.name='년도'
print(df1)
df1.to_csv('df1.csv')
# df2    df3 -> csv 파일 만들기
df2.to_csv('df2.csv')
df3.to_csv('df3.csv')
 
# 파일 읽어오기
fdf1=pd.read_csv('height.csv',encoding="cp949")  # 한글처리 encoding="cp949"
print(fdf1)
 
# nation index 지정
fdf2=pd.read_csv('height.csv',index_col="nation")
print(fdf2)
print(fdf2.mean())
 
 
# 두 frame 데이터 통합 행 추가 열추가 병합
df4=pd.DataFrame({'1반':[95,92,98,100],
                  '2반':[91,93,97,100]})
print(df4)
 
df5=pd.DataFrame({'1반':[87,89],
                  '2반':[85,90]})
print(df5)
# frame 추가 append
# index 번호 변경
print(df4.append(df5,ignore_index=True))
 
# frame 컬럼 (열) 추가 join()
df6=pd.DataFrame({'3반':[90,96,88,80]})
print(df4.join(df6))
#     1반  2반  3반
# 0   95  91  90
# 1   92  93  96
# 2   98  97  88
# 3  100  99  80
 
# frame 열기준 통합 (병합) merge
df7=pd.DataFrame({'1반':[95,92,98,100],
                  '2반':[91,93,97,99],
                  '3반':[90,96,88,80],
                  '4반':[95,90,80,80]})
 
df8=pd.DataFrame({'3반':[95,92,98,100],
                  '4반':[91,93,97,99],
                  '5반':[90,96,88,80],
                  '6반':[95,90,80,80]})
 
print(df7)
#    과목   1반  2반
# 0  국어   95  91
# 1  영어   92  93
# 2  수학   98  97
# 3  과학  100  99
print(df8)
#  과목  3반  4반
# 0  음악  90  95
# 1  미술  96  90
# 2  수학  88  80
# 3  과학  80  80
print(df7.merge(df8))
print(df7.merge(df8,how='inner'))
#    과목   1반  2반  3반  4반
# 0  수학   98  97  88  80
# 1  과학  100  99  80  80
print(df7.merge(df8,how='left'))
#    과목   1반  2반    3반    4반
# 0  국어   95  91   NaN   NaN
# 1  영어   92  93   NaN   NaN
# 2  수학   98  97  88.0  80.0
# 3  과학  100  99  80.0  80.0
print(df7.merge(df8,how='right'))
#    과목     1반    2반  3반  4반
# 0  음악    NaN   NaN  90  95
# 1  미술    NaN   NaN  96  90
# 2  수학   98.0  97.0  88  80
# 3  과학  100.0  99.0  80  80
print(df7.merge(df8,how='outer'))
# 과목     1반    2반    3반    4반
# 0  국어   95.0  91.0   NaN   NaN
# 1  영어   92.0  93.0   NaN   NaN
# 2  수학   98.0  97.0  88.0  80.0
# 3  과학  100.0  99.0  80.0  80.0
# 4  음악    NaN   NaN  90.0  95.0
# 5  미술    NaN   NaN  96.0  90.0
# 이상한 데이터 9999 => NaN 변경
# 결손데이터 (비어있는 데이터 처리)  NaN  => 0, 평균값 대치
mdf=df7.merge(df8,how='outer')
print(mdf)
print(mdf.isna().sum())
# NoN ->0,평균값 대치
print(mdf['2반'].fillna(0))
'''
0    91.0
1    93.0
2    97.0
3    99.0
4     0.0
5     0.0
6     0.0
7     0.0
'''
print(mdf['2반'].fillna(mdf['2반'].mean()))
'''
0    91.0
1    93.0
2    97.0
3    99.0
4    95.0
5    95.0
6    95.0
7    95.0
'''
 
# 람다함수이용  열 추가  apply()
print(mdf)
# '1반100'  1반열 *100
mdf['1반100']=mdf['1반'].apply(lambda x:x*100)
print(mdf)
# '1반grade'     1반열>=95 'A' else 'B'  람다 매개변수 : 참값 if 조건 else 거짓값
mdf['1반grade']=mdf['1반'].apply(lambda x: 'A' if x>=95 else 'B')
print(mdf)
# 과목     1반    2반    3반    4반    1반100 1반grade
# 0  국어   95.0  91.0   NaN   NaN   9500.0       A
# 1  영어   92.0  93.0   NaN   NaN   9200.0       B
# 2  수학   98.0  97.0  88.0  80.0   9800.0       A
# 3  과학  100.0  99.0  80.0  80.0  10000.0       A
# 4  음악    NaN   NaN  90.0  95.0      NaN       B
# 5  미술    NaN   NaN  96.0  90.0      NaN       B
 
# train.csv 가져오기
train_df=pd.read_csv('train.csv')
print(train_df)
 
# 상위 5개 출력
print(train_df.head(5))
# 하위 5개 출력
print(train_df.tail(5))
# 개수 출력
print(train_df.count())
 
# 추출 'Pclass' 3등석 상위 3개 출력
print(train_df[train_df['Pclass']==3].head(3))
# 추출 'Age' 60보다 큰 데이터 상위 3개 출력
print(train_df[train_df['Age']>60].head(3))
# 추출 'Age' 60보다 큰 데이터중 'Name','Age' 상위 3개 출력
print(train_df[train_df['Age']>60][['Name','Age']].head(3))
'''
 PassengerId  Survived  Pclass  ...     Fare Cabin  Embarked
0            1         0       3  ...   7.2500   NaN         S
1            2         1       1  ...  71.2833   C85         C
2            3         1       3  ...   7.9250   NaN         S
3            4         1       1  ...  53.1000  C123         S
4            5         0       3  ...   8.0500   NaN         S
 
[5 rows x 12 columns]
     PassengerId  Survived  Pclass  ...   Fare Cabin  Embarked
886          887         0       2  ...  13.00   NaN         S
887          888         1       1  ...  30.00   B42         S
888          889         0       3  ...  23.45   NaN         S
889          890         1       1  ...  30.00  C148         C
890          891         0       3  ...   7.75   NaN         Q
 
[5 rows x 12 columns]
PassengerId    891
Survived       891
Pclass         891
Name           891
Sex            891
Age            714
SibSp          891
Parch          891
Ticket         891
Fare           891
Cabin          204
Embarked       889
dtype: int64
   PassengerId  Survived  Pclass  ...   Fare Cabin  Embarked
0            1         0       3  ...  7.250   NaN         S
2            3         1       3  ...  7.925   NaN         S
4            5         0       3  ...  8.050   NaN         S
 
[3 rows x 12 columns]
    PassengerId  Survived  Pclass  ...     Fare Cabin  Embarked
33           34         0       2  ...  10.5000   NaN         S
54           55         0       1  ...  61.9792   B30         C
96           97         0       1  ...  34.6542    A5         C
 
[3 rows x 12 columns]
                              Name   Age
33           Wheadon, Mr. Edward H  66.0
54  Ostby, Mr. Engelhart Cornelius  65.0
96       Goldschmidt, Mr. George B  71.0
'''
# 정렬
train_df_sorted=train_df.sort_values(by=['Name'])
print(train_df_sorted.head(3))
'''
  PassengerId  Survived  Pclass  ...   Fare Cabin  Embarked
845          846         0       3  ...   7.55   NaN         S
746          747         0       3  ...  20.25   NaN         S
279          280         1       3  ...  20.25   NaN         S
'''
# 그룹
# 'Pclass' 기준으로 그룹 개수
train_df_group=train_df.groupby(by='Pclass')
print(train_df_group.count())
# 'Pclass' 기준으로 그룹 'Survived' 합계
print(train_df_group['Survived'].agg([sum]))
# 'Pclass' 기준으로 그룹 'Age' 최대값, 최소값
print(train_df_group['Age'].agg([max,min]))
# 'Pclass' 기준으로 그룹 'Age' 최대값, 'Fare' 평균
agg_format={'Age':'max','Fare':'mean'}
print(train_df_group.agg(agg_format))
# 'Pclass' 기준으로 그룹 'Age' 평균, 'Survived' 합계
agg_format={'Age':'mean','Survived':'sum'}
print(train_df_group.agg(agg_format))
# 'Sex' 기준으로 그룹 'Age' 평균, 'Survived' 합계
train_df_group=train_df.groupby(by="Sex")
agg_format={'Age':'mean','Survived':'sum'}
print(train_df_group.agg(agg_format))
 
# 열추가
train_df['age_10']=train_df['Age']*10
print(train_df)

pandas 패키지를 다운로드한 후 간단하게 활용해보았는데 복잡한 데이터를 다루기 위한 패키지 이기 때문인지 python 기능을 배워보는 것들 중에선 어렵게 느껴진 거 같다. 그래도 데이터를 [] 안에 {} 딕셔너리 형태로 여러 가지를 넣어주며 여러 내장 함수들을 활용해서 정렬을 해보고 칼럼이나 인덱스 별로 정렬도 해보면서 익숙해 지기 위해 노력해보았다. 

아직은 많이 부족하지만 좀더 익숙해지고 여러 가지 들을 더 배워서 프로그램을 완벽하게 만들고 싶어 졌다.