Python3实战系列之四(获取印度售后数据项目)
问题:续接上一篇。说干咱就干呀,勤勤恳恳写程序呀!
目标:此篇开始进入正题了。为实现我们整个项目功能而开始实现各个子模块功能。首先实现第一篇列出的分步功能模块的第一步:
1、python访问ftp,下载所有文件到本地文件夹DownloadData
解决方案:查找python访问ftp并下载文件的相关资料,编写涉及的功能函数,并将其封装在一个通用的FTPHelper类中。这样方便使用和维护。
具体相关项分析:
1、ftp对象信息:ftp主机名称或者ip地址,端口(默认是21),登录名称,登录密码。
2、成功连接上ftp后的操作:某指定的路径是否是文件路径,某指定的路径是否是文件夹路径,获取某指定的路径下的所有文件名,下载某指定的路径下的所有文件。
3、python实现操纵ftp需要引用什么模块?ftplib。
python是依赖功能包来实现一些常见的功能的,因此安装和引用功能包是使用python编程的常见步骤。
具体实践:
1、新建了一个类: FTPHelper.py。
首行添加代码:import ftplib ,引用ftplib包。定义conn 连接对象,类初始化时连接ftp,定义login登录函数。
conn = ftplib.FTP() def __init__(self, host, port=21):
self.conn.connect(host, port) def login(self, username, password):
self.conn.login(username, password)
self.conn.set_pasv(True)
print("FTPHelper init")
# print(self.conn.welcome)
2、定义相关功能函数
def _is_ftp_dir(self, ftp_path): # 私有函数:是否是ftp路径
ftp_path = ftp_path.rstrip('/')
ftp_path_parent = os.path.dirname(ftp_path)
self.ftp_dir_name = os.path.basename(ftp_path)
self._is_dir = False
if ftp_path == '.' or ftp_path == './' or ftp_path == '':
self._is_dir = True
else:
# this use callback function ,that will change _is_dir value
try:
self.conn.retrlines('LIST %s' % ftp_path_parent, self._ftp_list)
except ftplib.error_perm as e:
return self._is_dir
return self._is_dir def _ftp_list(self, line):
list = line.split(' ')
if self.ftp_dir_name == list[-1] and list[0].startswith('d'):
self._is_dir = True def _is_ftp_file(self, ftp_path): # 私有函数:是否是ftp文件
try:
if ftp_path in self.conn.nlst(os.path.dirname(ftp_path)):
return True
else:
return False
except ftplib.error_perm as e:
return False
def download_files_from_dir(self, ftp_path, local_path='.', begin=False):
try:
ftp_path = ftp_path.rstrip('/')
# 当ftp目录存在时下载
if self._is_ftp_dir(ftp_path):
# 将指定路径ftp_path文件夹中的文件下载到本地。
# begin=True,则将ftp文件夹名作为本地保存文件夹名。
# 如果本地目录不存在,则创建目录。 if begin:
if not os.path.isdir(local_path):
os.makedirs(local_path)
local_path = os.path.join(local_path, os.path.basename(ftp_path))
# 如果本地目录不存在,则创建目录
if not os.path.isdir(local_path):
os.makedirs(local_path)
# 进入ftp目录,开始递归查询
self.conn.cwd(ftp_path)
ftp_files = self.conn.nlst()
for file in ftp_files:
local_file = os.path.join(local_path, file)
# 如果file ftp路径是文件则直接上传文件
if not self._is_ftp_dir(file):
self.get_file(file, local_file)
# else:
# print(file + " is dir.")
# 如果当前ftp目录文件已经遍历完毕返回上一层目录
self.conn.cwd("..")
return
else:
print('ERROR:The dir:%s is not exist' % ftp_path)
return
except Exception as e:
print(e) def get_files_name_from_dir(self, ftp_path):
try:
ftp_path = ftp_path.rstrip('/')
# 当ftp目录存在时下载
if self._is_ftp_dir(ftp_path):
# 将指定路径ftp_path文件夹中的文件名返回。
# 返回:list。
# 进入ftp目录,开始递归查询 self.conn.cwd(ftp_path)
ftp_files = self.conn.nlst()
array_data = []
for file in ftp_files:
# 如果file ftp路径是文件则收录
if not self._is_ftp_dir(file):
array_data.append(file)
# else:
# print(file + " is dir.")
# 如果当前ftp目录文件已经遍历完毕返回上一层目录
self.conn.cwd("..")
return array_data
else:
print('ERROR:The dir:%s is not exist' % ftp_path)
LogHelper.LogHelper.write_msg2log_file('ERROR:The dir:%s is not exist' % ftp_path, self.PROJECT_NAME)
return []
except Exception as e:
print(e)
LogHelper.LogHelper.write_msg2log_file("[" + sys._getframe().f_code.co_name + "]" + e, self.PROJECT_NAME)
return []
3、定义测试函数test并添加到主函数执行
def test():
ftp = FTPHelper('xxx')
ftp.login('xxx', 'xxx') # 下载文件夹到本地的文件夹
local_path = os.path.join(os.path.dirname(sys.argv[0]), "DownloadFiles")
ftp.download_files_from_dir('A/B', local_path)
print(ftp.get_files_name_from_dir('A')) if __name__ == '__main__':
test()
参考地址:http://www.jb51.net/article/67196.htm
Python3实战系列之四(获取印度售后数据项目)的更多相关文章
- Python3实战系列之一(获取印度售后数据项目)
问题:公司在印度开设生产工厂并在当地销售手机,生产.销售系统均由印度开发维护.对总部需要的售后数据,采用每日在ftp上提供一个.xlsx文件,给总部使用.总部需要将此数据导入到总部的销量统计系统中,以 ...
- Python3实战系列之七(获取印度售后数据项目)
问题:续接上一篇.说干咱就干呀,勤勤恳恳写程序呀! 目标:此篇开始进入正题了.为实现我们整个项目功能而开始实现各个子模块功能.首先实现第一篇列出的分步功能模块的第四步: 4.python读取excel ...
- Python3实战系列之九(获取印度售后数据项目)
项目现状:已经部署在服务器上并正常运行了. 1.服务器上的部署 2.下载到服务器的文件列表 3.转存在到数据库SQL Server中的数据 项目总结:这次项目采用python来实现,刚开始还是有点担忧 ...
- Python3实战系列之八(获取印度售后数据项目)
问题:续接上一篇.说干咱就干呀,勤勤恳恳写程序呀! 目标:此篇开始进入正题了.为实现我们整个项目功能而开始实现各个子模块功能.首先实现第一篇列出的分步功能模块的第五步: 5.python连接SQL S ...
- Python3实战系列之六(获取印度售后数据项目)
问题:续接上一篇.说干咱就干呀,勤勤恳恳写程序呀! 目标:此篇我们试着把python程序打包成.exe程序.这样就可以在服务器上运行了.实现首篇计划列表功能模块的第三步: 3..exe文件能在服务器上 ...
- Python3实战系列之二(获取印度售后数据项目)
问题:续接上一篇.说干咱就干呀,勤勤恳恳写程序呀! 目标:安装python和pycharm.要编写并运行python程序就需要电脑有开发工具和运行环境,所以此篇就是安装编辑和运行python程序的软件 ...
- Python3实战系列之五(获取印度售后数据项目)
问题:续接上一篇.说干咱就干呀,勤勤恳恳写程序呀! 目标:此篇我们试着把python程序打包成.exe程序.这样就可以在服务器上运行了.实现首篇计划列表功能模块的第二步: 2.将python程序转为 ...
- Python3实战系列之三(获取印度售后数据项目)
问题:续接上一篇.说干咱就干呀,勤勤恳恳写程序呀! 目标:实现第一个python程序的“Hello world!” 解决方案:新建一个项目Test,创建一个Test.py文件.在文件中实现打印出“He ...
- 单元测试系列之四:Sonar平台中项目主要指标以及代码坏味道详解
更多原创测试技术文章同步更新到微信公众号 :三国测,敬请扫码关注个人的微信号,感谢! 原文链接:http://www.cnblogs.com/zishi/p/6766994.html 众所周知Sona ...
随机推荐
- 解题(MiGong--迷宫问题(深度搜索))
题目描述 定义一个二维数组N*M(其中2<=N<=10;2<=M<=10),如5 × 5数组下所示: int maze[5][5] = { 0, 1, 0, 0, 0, 0, ...
- 15种css居中方式
1 水平居中 1.1 内联元素水平居中 利用 text-align: center 可以实现在块级元素内部的内联元素水平居中.此方法对内联元素(inline), 内联块(inline-block), ...
- python爬虫----scrapy框架简介和基础应用
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架. 其可以应用在数据挖掘,信息处理或存储历史数据等一系列的程序中.其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以 ...
- 打印低头思故乡 java
public static void main(String args[][){ char poet[] = str.tocharArray(); int pos = 18; while(true){ ...
- pycharm中conda环境部署
问题 pycharm中部署了conda base环境,项目中 import sklearn 报错,缺少DLL模块 . 但是在Anaconda Prompt中 import sklearn 则成功. 发 ...
- #define宏重定义
#define A 1 在同一个工程的另外一个文件里又定义了#define A 2 并不会报错(2010vs) 亲测可用 但是最后该宏变量A的值 ,应该是预处理-----顺序处理------最后一个运 ...
- 项目总结02:百度地图js 基本用法介绍
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/ ...
- Kylin介绍,功能特点【转】
Apache Kylin是一个开源的分布式分析引擎.完全由eBay Inc.中国团队开发 并贡献至开源社区.提供Hadoop之上的SQL查询接口及多维分析(MOLAP)能力以 支持大规模数据能在亚秒内 ...
- crm作业知识点集合[三]
知识点1 我们要实现一个这样的功能,在学生表中,可以查看每个学生的报名的班级的所有的成绩,就是下图的效果 1.首先我们需要在学生表中自定义一列,这一列的内容就是一个a标签,指向另外一个页面,而我们在另 ...
- ubuntu下sudo apt-get update Sources 404 Not Found 解决方法
刚安装了ubuntu之后的主要安装命令无非就是apt-get install了,然而很多都在这里就夭折了. 使用apt-get install ***需要先执行apt-get update 加载文件包 ...