7、Python 数据分析-Pandas人口分析案例
需求:
- 1.导入文件,查看原始数据
- 2.将人口数据和各州简称数据进行合并
- 3.将合并的数据中重复的abbreviation列进行删除
- 4.查看存在缺失数据的列
- 5.找到有哪些state/region使得state的值为NaN,进行去重操作
- 6.为找到的这些state/region的state项补上正确的值,从而去除掉state这一列的所有NaN
- 7合并各州面积数据areas
- 8.我们会发现area(sq.mi)这一列有缺失数据,找出是哪些行
- 9.去除含有缺失数据的行
- 10.找出2010年的全民人口数据
- 11.计算各州的人口密度
- 12.排序,并找出人口密度最高的州
①
导入文件,查看原始数据
abb = pd.read_csv(\'./state-abbrevs.csv\')
#state(州的全称)abbreviation(州的简称)
area = pd.read_csv(\'./state-areas.csv\')
#state州的全称,area (sq. mi)州的面积
pop = pd.read_csv(\'./state-population.csv\')
#state/region州/地区简称,ages年龄,year时间,population人口数量
②
将人口数据和各州简称数据进行合并
abb_pop = pd.merge(abb,pop,left_on=\'abbreviation\',right_on=\'state/region\',how=\'outer\')
③
将合并的数据中重复的abbreviation列进行删除
abb_pop.drop(labels=\'abbreviation\',axis=1,inplace=True)
④
查看存在缺失数据的列
方式1:
abb_pop.info()
>>>
<class \'pandas.core.frame.DataFrame\'>
Int64Index: 2544 entries, 0 to 2543
Data columns (total 5 columns):
# Column Non-Null Count Dtype
--- ------ -------------- -----
0 state 2448 non-null object
1 state/region 2544 non-null object
2 ages 2544 non-null object
3 year 2544 non-null int64
4 population 2524 non-null float64
dtypes: float64(1), int64(1), object(3)
memory usage: 119.2+ KB
方式2:
abb_pop.isnull().any(axis=0)
>>>
state True
state/region False
ages False
year False
population True
dtype: bool
⑤
找到有哪些state/region使得state的值为NaN,进行去重操作
#1.找到state中的空值
abb_pop[\'state\'].isnull()
#2.将空值对应的行数据提取
abb_pop.loc[abb_pop[\'state\'].isnull()]
#3.将state空对应的简称找出
abb_pop.loc[abb_pop[\'state\'].isnull()][\'state/region\']
#4.对符合要求的简称进行去重
abb_pop.loc[abb_pop[\'state\'].isnull()][\'state/region\'].unique()
>>>
array([\'PR\', \'USA\'], dtype=object)
#nunique可以统计重复元素的个数
abb_pop.loc[abb_pop[\'state\'].isnull()][\'state/region\'].nunique()
>
2
⑥
为找到的这些state/region的state项补上正确的值,从而去除掉state这一列的所有NaN
#1.state这一列中的空值对应的简称为PR和USA,
#state这一列的空值分为两种类型,一种类型需要补充PR的全称,一种类型需要补充为USA的全称
#2.找到PR简称对应全称的空值
#可以将PR对应的行数据取出,然后将state列取出即可
abb_pop[\'state/region\'] == \'PR\'
#取出对应的行数据
abb_pop.loc[abb_pop[\'state/region\'] == \'PR\']
#3.将符合要求的空进行正确填充
indexs = abb_pop.loc[abb_pop[\'state/region\'] == \'PR\'].index
#批量赋值
abb_pop.loc[indexs,\'state\'] = \'PPPRRR\'
abb_pop[\'state/region\'] == \'USA\'
abb_pop.loc[abb_pop[\'state/region\'] == \'USA\']
indexs = abb_pop.loc[abb_pop[\'state/region\'] == \'USA\'].index
abb_pop.loc[indexs,\'state\'] = \'United States\'
⑦
合并各州面积数据areas
abb_pop_area = pd.merge(abb_pop,area,how=\'outer\')
⑧
我们会发现area(sq.mi)这一列有缺失数据,找出是这些行
abb_pop_area[\'area (sq. mi)\'].isnull()
abb_pop_area.loc[abb_pop_area[\'area (sq. mi)\'].isnull()]
drop_index = abb_pop_area.loc[abb_pop_area[\'area (sq.mi)\'].isnull()].index
>>>
Int64Index([2448, 2449, 2450, 2451, 2452, 2453, 2454, 2455, 2456, 2457, 2458,
2459, 2460, 2461, 2462, 2463, 2464, 2465, 2466, 2467, 2468, 2469,
2470, 2471, 2472, 2473, 2474, 2475, 2476, 2477, 2478, 2479, 2480,
2481, 2482, 2483, 2484, 2485, 2486, 2487, 2488, 2489, 2490, 2491,
2492, 2493, 2494, 2495, 2496, 2497, 2498, 2499, 2500, 2501, 2502,
2503, 2504, 2505, 2506, 2507, 2508, 2509, 2510, 2511, 2512, 2513,
2514, 2515, 2516, 2517, 2518, 2519, 2520, 2521, 2522, 2523, 2524,
2525, 2526, 2527, 2528, 2529, 2530, 2531, 2532, 2533, 2534, 2535,
2536, 2537, 2538, 2539, 2540, 2541, 2542, 2543],
dtype=\'int64\')
⑨
去除含有缺失数据的行
#删除缺失数据的行
abb_pop_area.drop(labels=drop_index,axis=0,inplace=True)
#删除最后一行数据
abb_pop_area.drop(labels=2544,axis=0,inplace=True)
#查看状态信息是否都已清洗完成
abb_pop_area.isnull().any(axis=0)
>>>
state False
state/region False
ages False
year False
population False
area (sq. mi) False
dtype: bool
⑩
找出2010年的全民人口数据
query条件查询
abb_pop_area.query(\'year == 2010 & ages == "total"\')
⑪
计算各州的人口密度
abb_pop_area[\'midu\'] = abb_pop_area[\'population\'] / abb_pop_area[\'area (sq. mi)\']
⑫
排序,并找出人口密度最高的州
sort_values:值排序
sort_index:索引排序
abb_pop_area.sort_values(by=\'midu\',axis=0,ascending=False)