1.linux通配符 *:代表所有字符(0到多个); ?:代表一个字符; ;:连续不同命令之间的分隔符; #:配置文件注释; |:管道; ~:当前用户的家目录; -:上一次所在的路径; $:变量前面需要加的符号; /:路径分隔符; >或1>:重定向,会覆盖原有数据; >>:追加重定向; <:输入重定向(xargs.tr); <<:追加输入重定向(cat); ':单引号,不具有命令置换功能,输出时所见即所得; ":双引号,具有变量置换功能,解析变量后才输出…

待补充:https://www.cnblogs.com/zknublx/p/6042295.html 一.使用集合直接去重 ids = [1,4,3,3,4,2,3,4,5,6,1]ids = list(set(ids)) 处理起来比较简单,使用了集合方法set进行处理,不过结果不会保留之前的顺序. 二.列表法 ids = [1,2,3,3,4,2,3,4,5,6,1]news_ids = []for id in ids:    if id not in news_ids:        new…

List: listA = ['python','python','言','是','一','门','动','态','语','言'] print sorted(set(listA), key = listA.index)   DataFrame: gd = gd.query('mbrg > @grouth and nprg > @grouth')[['code','mbrg','nprg']].drop_duplicates('code')…

#coding:utf-8 #author:Blood_Zero import re tmp_list=[] f=open("E:/ASP.txt","r") f1=f.readlines() for i in f1: rule=re.compile('\W') i=re.sub(rule,'',i) tmp_list.append(i) f.close() new_list=list(set(tmp_list)) new_file=open("E:/ou…

一.概念与定义 集合类型与数学中集合的概念一致,即包含0个或多个数据项的无序组合. 元素不可重复,只能是固定数据类型元素. 集合(set)属于Python无序可变序列,使用一对大括号作为定界符,元素之间使用逗号分隔,同一个集合内的每个元素都是唯一的,元素之间不允许重复. 集合中只能包含数字.字符串.元组等不可变类型(或者说可哈希)的数据,而不能包含列表.字典.集合等可变类型的数据.类型本身都是可变数据类型,不能作为集合的元素出现. 二.创建于删除 直接将集合赋值给变量即可创建一个集合对象. >>…

对一个list中的新闻id进行去重,去重之后要保证顺序不变. 直观方法 最简单的思路就是: ids = [1,2,3,3,4,2,3,4,5,6,1] news_ids = [] for id in ids: if id not in news_ids: news_ids.append(id) print news_ids 用set 另外一个解决方案就是用set: ids = [1,4,3,3,4,2,3,4,5,6,1] ids = list(set(ids)) 这样的结果是没有保持原来的顺序…

转载于:http://yxmhero1989.blog.163.com/blog/static/112157956201381443244790/ Python很简洁 我们喜欢简单有效的代码   一.{}.fromkeys(list).keys() list2 = {}.fromkeys(list1).keys() 二.set list2 = list(set(list1)) 三.itertools.grouby ids = [1,4,3,3,4,2,3,4,5,6,1] ids.sort()…

前言 在看一个聊天机器人的神经网络模型训练前准备训练数据,需要对训练材料做处理(转化成张量)需要先提炼词干,然后对词干做去重和排序 words = sorted(list(set(words))) 对这三个方法做一下整理: 1.set() 语法:set([iterable]) 参数:可迭代对象(可选),a sequence (string, tuple, etc.) or collection (list, set, dictionary, etc.) or an iterator object…

注:set 对类对象去重,在于重写__eq__方法和__hash__方法,如果没有重写__hash__会导致People类对象不是可hash的 #!/usr/bin/env python # -*- coding: utf-8 -*- class People: def __init__(self, name, age, sex, weight): self.name = name self.age = age self.sex = sex self.weight = weight def __…

# python 使用set对列表去重,并保持列表原来顺序 list1 = ['cc', 'bbbb', 'afa', 'sss', 'bbbb', 'cc', 'shafa'] for item in list1: print('word: %6s index: %2s' % (item, list1.index(item))) print('==========================') list2 = list(set(list1)) list2.sort(key=list1.i…