前段时间工作中需要将经过我司平台某些信息核验数据提取后上传到客户的FTP服务器上,以便于他们进行相关的信息比对核验。由于包含这些信息的主机只有4台,采取的策略是将生成的4个文件汇集到一个主机上,然后在这台主机上将文件上传的目标ftp服务器。

1,建立主机A到其他三台主机之间的信任关系,以便于远程拷贝文件

#生成主机A的本地认证秘钥,可以选择生成rsa或者dsa类型的秘钥,这里选取rsa
[root@A ~]#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa >/dev/null 2>&1
#将本机的秘钥拷贝的其他三台主机的authorized_keys文件中,由于只有三台主机,一个一个执行就行,如果主机数量多,可以使用expect脚本批量执行
[root@A ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 22 root@192.168.1.B"
[root@A ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 22 root@192.168.1.C"
[root@A ~]#ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 22 root@192.168.1.D"
#出现让输入B、C、D的root密码时,输入密码后回车,出现如下提示时表示建立本机到目标主机的信任关系成功
Now try logging into the machine, with "ssh '-p 22 root@192.168.1.B'", and check in: .ssh/authorized_keys to make sure we haven't added extra keys that you weren't expecting.

2,建立上传文件到目标FTP服务器的脚本

  客户的要求是每天凌晨上传前一天的数据,我们生成的数据文件都是以当天日期_主机名_Result.csv类型的。

#以下展示脚本的内容
[root@A getfile] cat upload_csv.sh
#!/bin/bash
#此脚本用于每天定时将生成的数据文件上传到客户FTP服务器 #指定上传文件所在的主目录
SRCDIR=/tmp/test_jr/getfile/files/
#指定所需上传对端FTP服务器的目录
DESDIR=/JRAQ_FILE/ #指定对端FTP服务器的用户名和密码
USER=finftp
PASSWD="ABC@123"
#指定目标FTP服务器的IP
IP=3.3.3.3
#指定目标FTP服务器端口,一般都是默认
PORT= #指定所要上传文件的日期
targetDay=`date -d "-1 days" +"%Y%m%d"` #获取所要上传的文件
cd $SRCDIR
for host in 192.168..B 192.168..C 192.168..D
do
scp root@$host:$SRCDIR/$targetDay_*_Result.csv ./
done
#判定文件是否获取正确
[ $? -eq ] || echo "Copy romote files failed, pls check." >>$SRCDIR/upload_file.log #上传文件到FTP服务器
ftp -ivn <<EOF
open $IP $PORT
user $USER $PASSWD
binary
cd $DESDIR
lcd $SRCDIR
put ${targetDay}_*_Result.csv
quit
EOF #判定文件是否上传成功
[ $? -eq ] && echo "Upload $targetDay's files to romote FTP server successful." >>$SRCDIR/upload_file.log || echo "Upload files failed, pls check." >>$SRCDIR/upload_file.log

3,有可能用到的转码

  由于csv文件是可以用Excel打开的,但是Excel打开utf-8编码的文件时,所有中文名称会显示乱码,此时就需要用到转码,比如将utf-8格式转换成gbk编码的,Excel就可以完美打开了。

[root@A ~]iconv -futf8 -tgbk -c -o file2.csv file1.csv
#file1是待转码的文件
#file2是转码后文件名
#-f --from-code 即从那种格式转化
#-t --to-code 转化为那种格式
#-o --output 输出的文件名
#-c 忽略输出的非法字符 加这个参数是防止文件中有某些非法字符串,如果不加此参数iconv遇到非法字符串后会自动终止转码,即使后面还有正常的未转码的字符。

shell脚本实现ftp上传下载文件的更多相关文章

  1. Shell脚本调用ftp上传文件

    Shell脚本调用ftp上传文件 1.脚本如下 ftp -n<<! open x.x.x.x ###x.x.x.x为ftp地址 user username password ###user ...

  2. FTP上传下载文件(函数简易版)

    FTP上传下载文件(函数简易版) # 服务端 import socket import json import hashlib import struct import os user_dic = { ...

  3. java客户端调用ftp上传下载文件

    1:java客户端上传,下载文件. package com.li.utils; import java.io.File; import java.io.FileInputStream; import ...

  4. shell ftp上传下载文件

    1. ftp自动登录批量下载文件. #####从ftp服务器上的/home/data 到 本地/home/databackup#### #!/bin/bash ftp -n<<! open ...

  5. FTP上传下载文件(面向对象版)

    # 服务端 import socketserver import os import json import hashlib import struct class MySocketServer(so ...

  6. python实现支持目录FTP上传下载文件的方法

    #!/usr/bin/env python # -*- coding: utf-8 -*- import ftplib import os import sys class FTPSync(objec ...

  7. 如何通过SecureCRT FTP上传下载文件

    通过SecureCRT  FTP方式从一台机器下载文件到另一台机器上: [root@TEST144239 ~]# ftp 10.30.1.25 Connected to 10.30.1.25 (10. ...

  8. ftp上传下载文件

    客户端client: import os import json import socket import struct sk = socket.socket() sk.connect(('127.0 ...

  9. shell通过ftp实现上传/下载文件

    直接代码,shell文件名为testFtptool.sh: #!/bin/bash ########################################################## ...

随机推荐

  1. docker设置proxy

    该方法是持久化的,修改后会一直生效.该方法覆盖了默认的docker.service文件. 1. 为docker服务创建一个内嵌的systemd目录 mkdir -p /etc/systemd/syst ...

  2. python高级:垃圾回收机制

    ---恢复内容开始--- 垃圾回收机制 1.计数引用机制 就是一个变量.数据结构.对象当没有人引用时,python的会启用垃圾回收机制,将其从内存中删除. 怎么看引用的次数呢?sys模块提供的sys. ...

  3. JS求多个数组的重复数据

    今天朋友问了我这个问题:JS求多个数组的重复数据 注: 1.更准确的说是只要多个数组中有两个以上的重复数据,那么这个数据就是我需要的 2.单个数组内的数据不存在重复值(当然如果有的话,你可以去重) 3 ...

  4. 北风设计模式课程---状态模式State(对象行为型)

    北风设计模式课程---状态模式State(对象行为型) 一.总结 一句话总结: 状态模式 具体状态的行为在具体的状态类中就解决,不用交给外部做判断.实质是将多条件判断弄成了多个类,在不同的类中做判断 ...

  5. Python3实现简单的钉钉机器人调用

    具体可以参考开发文档:https://ding-doc.dingtalk.com/doc#/serverapi3/iydd5h from urllib import parse, request im ...

  6. xpath使用技巧

    爬虫中我们对于元素的定位有多种方法,大致有: Beautifulsoup.Xpath和正则表达式三种方式 其中效率比较为: Beautifulsoup<Xpath<正则表达式 习惯了使用B ...

  7. scrapy-redis源码浅析

    原文链接 前言 分析这个项目的源码原因是需要有去重过滤,增量爬取两个功能,而scrapy-redis项目已经帮我们实现了,想看看他是怎么实现的.这里只贴出部分主要代码,查看时请打开源码对照,笔记有点长 ...

  8. mysql.connector.errors.ProgrammingError: 1698 (28000): Access denied for user 'root'@'localhost'

    排错,首先在sql编辑工具 通过测试连接,查看一下自己的密码是否正确 : 由此可见,是自己的密码错误,输入正确的密码后 在这里把密码修改为正确之后程序运行正常 #初始化数据库连接 engine = c ...

  9. Red Hat Linux下安装JDK

    1. 下载Linux平台的JDK 下载对应操作系统的jdk,操作系统是32位的就下32位的jdk,64位的就下64位的jdk.下错了装不上的. 下载地址:http://www.Oracle.com/t ...

  10. 应用安全-Web安全-漏洞修复方案整理

    通过HTTP头部字段防御措施整理 X-Frame-Options #反劫持 X-XSS-Protection #开启浏览器防XSS功能 Set X-Frame-Options  CSP X-Conte ...