本节目录 常用函数一:获取指定文件夹内所有文件 常用函数二:文件合并 常用函数三:将文件按时间划分 常用函数四:数据去重 写在前面 写代码也有很长时间了,总觉得应该做点什么有价值的事情,写代码初始阶段觉得做更多的项目,积累更多的经验是自己应该做的事情,这样可以使自己短时间内技术水平获得较大的提升.随着代码量和项目的增加,确实体会到了自身水平的进步,但同时由原来的尽可能多的做项目,学知识,逐渐转变为了尽可能精尽可能专的投入,更准确的说是当有了一定的知识基础和技术积累,追求不仅仅是知识和项目的广度,…

本节目录 常用函数一:词云图 常用函数二:关键词清洗 常用函数三:中英文姓名转换  常用函数四:去除文本中的HTML标签和文本清洗 常用函数一:词云图 wordcloud # -*- coding: utf-8 -*- """ Datetime: 2020/06/28 Author: Zhang Yafei Description: 词云图 """ import os import random import matplotlib.pyplot…

 本节目录 常用函数一:sel文件转换 常用函数二:refwork文件转换 常用函数三:xml文档解析 常用函数四:文本分词 常用函数一:sel文件转换 sel是种特殊的文件格式,具体应用场景的话可以在搜狗细胞词库中看到,经常在做文本处理,分词的时候需要一些词典,那么搜狗细胞词库中的一些相关词库就会被使用,而这种sel文件格式不能直接使用,需要进行转换,转换成txt文件之后就可以去做进一步使用了,转换的代码是从网上找到,我自己也是用过多次,使用的时候可以直接拿来用. # -*- coding:u…

本节目录 常用函数一:词频统计 常用函数二:word2vec 常用函数三:doc2vec 常用函数四:LDA主题分析 常用函数一:词频统计 # -*- coding: utf-8 -*- """ Datetime: 2020/06/25 Author: Zhang Yafei Description: 统计词频 输入 文件名 列名 分割符 输出 词频统计结果-文件 """ from collections import Counter impor…

本节目录 常用函数一:批量文件重命名 常用函数一:批量文件重命名 # -*- coding: utf-8 -*- """ DateTime : 2021/02/08 10:29 Author : ZhangYafei Description: 批量文件重命名 """ import os def rename(path, prefix: str = None, suffix: str = None, replace: dict = None, ap…

本节目录 常用函数一:向量距离和相似度计算 常用函数二:pagerank 常用函数三:TF-IDF 常用函数四:关键词提取 常用函数一:向量距离和相似度计算 KL距离.JS距离.余弦距离 # -*- coding: utf-8 -*- """ @Datetime: 2019/3/30 @Author: Zhang Yafei """ import numpy as np import pandas as pd import scipy.stats…

本节目录 常用函数一:redis操作 常用函数二:mongodb操作 常用函数三:数据库连接池操作 常用函数四:pandas连接数据库 常用函数五:异步连接数据库 常用函数一:redis操作 # -*- coding: utf-8 -*- """ Datetime: 2020/07/06 Author: Zhang Yafei Description: """ import redis def get_redis_conn(): conn = r…

Python常用功能函数系列总结(一) 常用函数一:获取指定文件夹内所有文件 常用函数二:文件合并 常用函数三:将文件按时间划分 常用函数四:数据去重 Python常用功能函数系列总结(二) 常用函数一:sel文件转换 常用函数二:refwork文件转换 常用函数三:xml文档解析 常用函数四:文本分词 Python常用功能函数系列总结(三) 常用函数一:词频统计 常用函数二:word2vec 常用函数三:doc2vec 常用函数四:LDA主题分析 Python常用功能函数系列总结(四) 常用函…

Python常用功能函数汇总 1.按行写字符串到文件中 import sys, os, time, json def saveContext(filename,*name): format = '^' context = name[0] for i in name[1:]: context = context + format + str(i) context = str(context).replace('(','(').replace(')',')').replace(',',',').re…

Python 常用string函数 字符串中字符大小写的变换 1. str.lower()   //小写>>> 'SkatE'.lower()'skate' 2. str.upper()   //大写>>> 'SkatE'.upper()'SKATE' 3. str.swapcase()  //大小写互换>>> 'SkatE'.swapcase()'sKATe' 4. str.title()   //首字母大写,其余的小写>>> 'S…