| 站长开始收学徒,辅导python啦! | 站长答疑 | 本站每日ip已超7000,现出租广告位,位置价格可谈,需要合作请联系站长
+关注
已关注

分类  

暂无分类

标签  

暂无标签

日期归档  

2019-08(62)

2019-09(116)

2019-10(11)

2019-11(5)

2019-12(10)

2020-01(22)

2020-02(35)

2020-03(84)

pandas去除重复数据

发布于2020-03-19 18:01     阅读(1011)     评论(0)     点赞(12)     收藏(0)


# -*- coding: utf-8 -*-
#1. 概念:把数据结构中,行相同的数据只保留一行。
# 语法: drop_duplicates  该方法返回一个去重后的数据框对象

from pandas import read_csv

df = read_csv("D:/python/workspace/pythonStudy/8.csv")

#找出行重复的位置(索引值)
dIndex = df.duplicated() #返回一列布尔值。如果某行数据没有出现过,则返回False,否则返回True

#找出列重复位置
dIndex = df.duplicated('id') #返回id这一列重复的位置

dIndex = df.duplicated(['id','key']) #这两列同时重复的位置

#根据上面的返回值,把重复数据提取出来                     
df[dIndex]


#删除重复值
#默认根据所有的列,进行删除(当某两行所有列的数据都重复时,会删除其中一行)
newDf = df.drop_duplicates()

#当然也可以指定某一列或多列,进行重复值删除
newDf = df.drop_duplicates("id")
newDf = df.drop_duplicates(["id","key"])

原文链接:https://blog.csdn.net/qq_41551450/article/details/104947450



所属网站分类: 技术文章 > python文章

作者:滴水

链接: https://www.pythonheidong.com/blog/article/268610/

来源:python黑洞网 www.pythonheidong.com

任何形式的转载都请注明出处,如有侵权 一经发现 必将追究其法律责任

12 0

赞一赞 or 踩一踩

收藏该文
已收藏

评论内容:(最多支持255个字符)

最新文章

  Python-Socketserver实现FTP,文件上传、下载

  Python3标准库:xml.etree.ElementTree XML操纵API

  django时区问题

  Python编程 | 新手必会的 9 个 Python 技巧

  PAT (Basic)1004 成绩排名 (Python实现)

  Python小技巧:用类写装饰器的正确方法,一般新手都不知道

  教你用Python 每日定时推送睡前小故事给你__的人

  后端开发使用pycharm的技巧

  Django 对多对多字段进行批量add

  史上最全的Python面向对象知识点疏理

优质资源排行榜

 python经典电子书大合集下载 下载次数 8148

 零基础java开发工程师视频教程全套,基础+进阶+项目实战(152G) 下载次数 7556

 零基础前端开发工程师视频教程全套,基础+进阶+项目实战(共120G) 下载次数 7446

 零基础大数据全套视频400G 下载次数 7009

 零基础php开发工程师视频教程全套,基础+进阶+项目实战(80G) 下载次数 6895

 零基础软件测试全套系统教程 下载次数 6507

 这个项目是人人网的爬虫程序 下载次数 6506

 全套人工智能视频+pdf 下载次数 6446

 IOS全套视频教程 基础班+就业班 下载次数 4681

10  python视频各种视频很多 下载次数 3877

11  编程小白的第一本python入门书(高清版)PDF下载 下载次数 3761

12  effective python编写高质量Python代码的59个有效方法 pdf下载 下载次数 3427

13  Python深度学习 pdf下载 下载次数 3196

14  笨办法学python pdf下载 下载次数 3106

15  Python Cookbook第三版中文PDF下载高清完整扫描原版 下载次数 3044

16  树莓派Python编程指南 pdf下载 下载次数 3028

17  python从入门到精通视频(全60集)python视频教程下载 下载次数 3009

18  Python基础教程 pdf下载 下载次数 3002

19  python项目开发视频 下载次数 3002

20  使用python+pygame开发的小游戏《嗷大喵快跑》源码下载 下载次数 3001

21  黑马2017年java就业班全套视频教程 下载次数 2993

22  Python算法教程_中文版 pdf下载 下载次数 2988

23  python实战项目 平铺图像板系统源码下载,适用于想要保存,标记和共享图像,视频和网页的用户 下载次数 2987

24  利用python实现程序内存监控脚本 下载次数 2987

25  老男孩python自动化视频 下载次数 2983

26  老王python基础+进阶+项目视频教程 下载次数 2975

27  尚硅谷Go学科全套视频 下载次数 2973

28  某硅谷Python项目+AI课程+核心基础视频教程 下载次数 2968

29  Web前端实战精品课程 下载次数 2967

30  tron python小游戏 下载次数 2963

31  [小甲鱼]零基础入门学习Python 下载次数 2962

32  老男孩python全栈开发15期 下载次数 2959

33  2017最新web前端开发完整视频教程附源码 下载次数 2948

34  流畅的Python PDF下载高清完整扫描原版 下载次数 2937

35  最新全套完整JAVAWEB2018开发视频 下载次数 2926

36  Python高性能编程 pdf下载 下载次数 2924

37  Spring boot实战视频6套下载 下载次数 2910

38  python全套视频十五期(116G) 下载次数 2910

39  简明python教程 (A Byte of Python)pdf下载 下载次数 2893

40  利用Python进行数据分析 pdf下载 下载次数 2892

41  Python项目实战 下载次数 2888

42  30个小时搞定Python网络爬虫 含源码 下载次数 2887

43  python全自动抢火车票教程-python视频教程下载 下载次数 2883

44  尚硅谷大数据之Hadoop视频 下载次数 2877

45  python接口测试视频 下载次数 2874

46  Python A~B~C~ python视频教程下载 下载次数 2868

47  全套python量化交易视频教程 下载次数 2866

48  数据结构与算法视频(小甲鱼讲解-全) 下载次数 2864

49  web小程序表白天数倒计时源码下载 下载次数 2863

50  python基础视频教程 下载次数 2862