CMDB01 /paramiko模块、项目概述、项目架构、项目实现

1. paramiko

  • 用于帮助开发者通过代码远程连接服务器,并对服务器进行操作。

    pip3 install paramiko
  • 远程执行命令【用户名和密码】

       import paramiko
    
       # 创建SSH对象
    ssh = paramiko.SSHClient() # 允许连接不在know_hosts文件中的主机
    ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy()) # 连接服务器
    ssh.connect(hostname='192.168.16.85', port=22, username='root', password='123456') # 执行命令
    stdin, stdout, stderr = ssh.exec_command('df')
    # 获取命令结果
    result = stdout.read()
    # 关闭连接
    ssh.close() print(result.decode('utf-8'))
  • 远程执行命令【公钥和私钥】(公钥必须提前上传到服务器)

       import paramiko
    
       private_key = paramiko.RSAKey.from_private_key_file(r'C:/Users/Administrator/.ssh/id_rsa')
    
       # 创建SSH对象
    ssh = paramiko.SSHClient()
    # 允许连接不在know_hosts文件中的主机
    ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
    # 连接服务器
    ssh.connect(hostname='192.168.16.85', port=22, username='root', pkey=private_key) # 执行命令
    stdin, stdout, stderr = ssh.exec_command('df')
    # 获取命令结果
    result = stdout.read() # 关闭连接
    ssh.close() print(result)
  • 远程上传和下载文件【用户名和密码】

       import paramiko
    
       transport = paramiko.Transport(('192.168.16.85', 22))
    transport.connect(username='root', password='123456')
    sftp = paramiko.SFTPClient.from_transport(transport) # 将location.py 上传至服务器 /tmp/test.py
    sftp.put('wy.txt', '/data/wy.txt')
    # 将location.py 下载到本地 /tmp/test.py
    sftp.get('/data/wy.txt', 'xx.txt') transport.close()
  • 远程上传和下载文件【公钥和私钥】

       import paramiko
    
       private_key = paramiko.RSAKey.from_private_key_file(r'C:/Users/Administrator/.ssh/id_rsa')
    
       transport = paramiko.Transport(('192.168.16.85', 22))
    transport.connect(username='root', pkey=private_key) sftp = paramiko.SFTPClient.from_transport(transport)
    # 将location.py 上传至服务器 /tmp/test.py
    # sftp.put('/tmp/location.py', '/tmp/test.py') # 将remove_path 下载到本地 local_path
    # sftp.get('remove_path', 'local_path') transport.close()
  • 通过私钥字符串也可以连接远程服务器

       key = """-----BEGIN RSA PRIVATE KEY-----
    MIIG5AIBAAKCAYEAu0fkMInsVRnIBSiZcVYhKuccWCh6hapYgB1eSOWZLz3+xFGy
    G5p2z8HgiHzfT838gAm+5OajuyAuE4+fHI77LXSg+pLbr1FhPVKAP+nbsnLgvHty
    ykZmt74CKKvZ08wdM7eUWJbkdpRNWmkwHBi99LeO0zYbHdXQ+m0P9EiWfdacJdAV
    RDVCghQo1/IpfSUECpfQK1Hc0126vI8nhtrvT3V9qF420U1fwW9GJrODl71WRqvJ
    BgSsKsjV16f0RKARESNmtA2vEdvMeutttZoO4FbvZ+iLKpcRM4LGm2+odryr8ijv
    dCPCLVvoDExOPuqP1dgt5MWcCWf6ZNhMwAs/yvRHAKetvo5gtz8YvzwlikopCLM7
    bS6C6woyppMHfIPjoGJ6JuKpeaWtAgugOw/oVvj1rRYoCv48R13NftqhkFD1KD8z
    km9CjDC8hv+2DmIedtjvVwUz2QF4PN/RC/i1jo3+3rbP1DLu9emTHiortBBrpQ5o
    K+y4Rzv+6NusD6DHAgMBAAECggGBAJ4hTaNOUaZpZmI0rZrsxoSbL2ugghNqid9i
    7MFQW89v4TWSZXi5K6iwYw3bohKYMqNJl01fENBnk4AgvJA4ig0PdP0eEzAs3pYQ
    mwlcRIygQvHiqkHwv7pVTS1aLUqQBfgtAazre2xEPCwitOSEX5/JfWcJQEwoxZMt
    k1MIF0mZc67Zy5sT/Vwn+XScnDt2jbsEBFkPfg1aDto3ZYCQS5Aj/D21j0OauUdy
    1SDIYkw1Kivx0IKsX1Kg0S6OOcnX/B6YrJvisrlQDeZnWlTsTyKSVTekIybJjUHE
    ZgLIIbifSbTW1Bv1iCkDAJBd4Cj4txjXPIgea9ylZ39wSDSV5Pxu0t/M3YbdA26j
    quVFCKqskNOC+cdYrdtVSij2Ypwov67HYsXC/w32oKO7tiRqy51LAs/WXMwQeS5a
    8oWDZLiYIntY4TCYTVOvFlLRtXb+1SbwWKjJdjKvdChv4eo/Ov5JEXD2FVbVC/5E
    Qo3jyjIrt1lrwXUdpJa0/iz4UV33wQKBwQDprCPZVCI7yK/BWTmUvCcupotNk6CC
    +QIKDcvVxz63YFD5nXto4uG7ywXR6pEwOwmycO0CBuouvlPdSioQ3RYi6k0EO3Ch
    9dybC5RZ3MENBHROHvU3mp01EWPUYnXAwNpvknujJqfXMxyURZvvox7hOnu/s3m4
    C3eCBrMMg+uqNZDbLqAymw3pMGhHVWjy5oO8eLuLeJv6er+XoSSPNb21Da7StdQS
    fBPQ1H0/+RXnhFJOzANc4mRZcXMCNGVZX6MCgcEAzSz3evuCRQ47AaSOrDd89jAw
    PgpT+PG4gWw1jFZqHTbQ8MUl3YnElOVoaWRdIdDeslg9THg1cs5Yc9RrbIibyQjV
    F9k/DlXGo0F//Mgtmr7JkLP3syRl+EedRbu2Gk67XDrV7XIvhdlsEuSnEK9xOiB6
    ngewM0e4TccqlLsb6u7RNMU9IjMu/iMcBXKsZ9Cr/DENmGQlTaRVt7G6UcAYGNgQ
    toMoCQWjR/HihlZHssLBj9U8uPyD38HKGy2OoXyNAoHBAKQzv9lHYusJ4l+G+IyJ
    DyucAsXX2HJQ0tsHyNYHtg2cVCqkPIV+8UtKpmNVZwMyaWUIL7Q98bA5NKuLIzZI
    dfbBGK/BqStWntgg8fWXx90C5UvEO2MAdjpFZxZmvgJeQuEmWVVTo5v4obubkrF5
    ughhVXZng0AOZsNrO8Suqxsnmww6nn4RMVxNFOoTnbUawTXezUN71HfWa+38Ybl0
    9UNWQyR0e3slz7LurrkWqwrOlBwlBrPtrsCflUbWVOXR6wKBwDFq+Dy14V2SnOG7
    aeXPA5kkaCo5QJqAVglOL+OaWLqqnk6vnXwrl56pVqmz0762WT0phbIqbe02CBX1
    /t3IVYVpTDIPUGG6hTqDJzmSWXGhLFlfD3Ulei3/ycCnAqh5eCUxwp8LVqjtgltW
    mWqqZyIx+nafsW/YgWqyYu4p1wKR/O+x5hSbsWDiwfgJ876ZgyMeCYE/9cAqqb6x
    3webtfId8ICVPIpXwkks2Hu0wlYrFIX5PUPtBjJZsb00DtuUbQKBwF5BfytRZ0Z/
    6ktTfHj1OJ93hJNF9iRGpRfbHNylriVRb+hjXR3LBk8tyMAqR4rZDzfBNfPip5en
    4TBMg8UATf43dVm7nv4PM2e24CRCWXMXYl7G3lFsQF/g7JNUoyr6bZQBf3pQcBw4
    IJ38IcKV+L475tP4rfDrqyJz7mcJ+90a+ai5cSr9XoZqviAqNdhvBq5LjGOLkcdN
    bS0NAVVoGqjqIY/tOd2NMTEF6kVoYfJ7ZJtjxk/R3sdbdtajV3YsAg==
    -----END RSA PRIVATE KEY-----""" import paramiko
    from io import StringIO private_key = paramiko.RSAKey(file_obj=StringIO(key)) # 创建SSH对象
    ssh = paramiko.SSHClient()
    # 允许连接不在know_hosts文件中的主机
    ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
    # 连接服务器
    ssh.connect(hostname='192.168.16.85', port=22, username='root', pkey=private_key) # 执行命令
    stdin, stdout, stderr = ssh.exec_command('df')
    # 获取命令结果
    result = stdout.read() # 关闭连接
    ssh.close() print(result)

2. 基于xshell连接服务器

  • 用户名和密码

  • 公钥和私钥(rsa)

    • 生成公钥和私钥

      ssh-keygen.exe -m pem
      
      在当前用户家目录会生成: .ssh/id_rsa.pub    .ssh/id_rsa
    • 把公钥放到服务器

      ssh-copy-id -i ~.ssh/id_rsa.pub root@192.168.16.85
    • 以后再连接服务器时,不需要在输入密码

      ssh root@192.168.16.85

3. 项目概述

  • 背景

    • 大目标:运维自动化
    • 小目标:资产管理(以前用的excel)
    - 大公司:物理机1200 > 6000
    - 中:物理机70台
    - 小:阿里云(虚拟机)

    系统开发出来时候,可以自动化采集资产信息,并且给其他系统提供数据支持。

  • 运维:

    • 业务
    • IDC
    • 桌面
    • 监控
  • 物理机和虚拟机

    • 物理机:托管在兆维、世纪互联机房。
    • 虚拟机(云服务器):阿里云、腾讯云、aws

4. 项目架构

  • 项目结构图

  • 项目有三部分组成:

    • 资产采集,用于远程连接服务器并获取服务器的资产信息,然后将资产信息汇报API
    • API,负责将资产信息写入数据库,并且要做资产变更记录,为了以后搭建运维自动化平台,可以为其他系统提供restful接口做数据支持。
    • 资产管控平台,为用户提供数据展示和报表。
  • 采集资产的方式:

    • 基于SSH(paramiko),70台物理机

    • ansible管理工具(saltstack、puppet)

    • 基于agent(客户端),1200台物理机

5. 项目实现(资产采集、API)

5.1 资产采集流程

  • 脚本

    import paramiko
    
    # 创建SSH对象
    ssh = paramiko.SSHClient()
    # 允许连接不在know_hosts文件中的主机
    ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
    # 连接服务器
    ssh.connect(hostname='192.168.16.85', port=22, username='root', password='123456')
    # 执行命令
    stdin, stdout, stderr = ssh.exec_command('df')
    # 获取命令结果
    result = stdout.read()
    # 关闭连接
    ssh.close()
    data = result.decode('utf-8')[0:10] # 将资产信息提交到api : POST http://127.0.0.1:8000/api/v1/server/
    """
    pip3 install requests
    """
    import requests """
    content-type:x-www-form-encode..
    数据格式:server=xxx&host=kkkk
    """
    # requests.post(
    # url="http://127.0.0.1:8000/api/v1/server/",
    # data={'server':data,'host':'192.168.16.88'}
    # ) """
    content-type:application/json
    数据格式:{'server': 'Filesystem', 'host': '192.168.16.88'}
    """
    requests.post(
    url="http://127.0.0.1:8000/api/v1/server/",
    json={'server':data,'host':'192.168.16.88'}
    )
  • api

    from rest_framework.views import APIView
    from rest_framework.response import Response
    class ServerView(APIView):
    def post(self,request,*args,**kwargs):
    print(request.data)
    return Response('发送成功')

5.2 采集多个资产信息(CPU、内存等)

总结

  1. 为什么要开发CMDB?

    公司以后想要搭建自动化运维平台,CMDB是搭建平台的基石。
    目前而言,公司资产信息不够准确,因为都维护在excel中,维护主要人,通过cmdb可以自动采集资产信息以及做资产变更记录。
  2. 你们公司有多少台服务器?物理机?虚拟机?

    100台左右物理机。
  3. 你的CMDB是如何实现的?

    cmdb是由三部分组成,其中包含:资产采集的中控机、API、资产管控平台。
    对于资产采集部分,通过paramiko远程操作服务器(本质SSH)并采集资产信息,然后将资产信息汇报到API,在资产采集部分还继承了可扩展的功能,让我们定制插件时可以更加方便,实现起来也比较简单,参考django中间件的原理、开发封闭原则、工厂模式实现可插拔式的插件。
    api,基于restful规范和drf组件来实现完成,主要做资产入库以及资产变更处理。
    资产管控平台,对资产数据进行数据呈现和报表的处理。
  4. 你的程序有什么Bug?难以忘记的经历?

    对于bug没有太多印象,主要在资产采集可扩展性方面。。。。。
  5. 技术点

    • 类的约束

    • 通过字符串的形式导入一个模块

      import importlib
      module = importlib.import_module("xxx.xx.xx.csss")
    • 反射,通过字符串形式去操作对象中属性

      getattr
      setattr
      delattr
      hasattr
    • 线程池的应用

    • 导入包时,自动加载 __init__.py

    • requests模块的应用

      requests.get(url='...')
      
      requests.post(url="...",data={})
      
      requests.post(url="...",json={})
    • 项目中容易被修改的值,可以放在配置文件中。

    • 开放封闭原则

      • 配置开放
      • 源码封闭
    • 工厂模式:简单工厂

      mode = "email"
      class Email(object):
      def send(self):
      pass class Wechat(object):
      def send(self):
      pass class Message(object):
      def send(self):
      pass
      def run():
      instance = None
      if mode == 'email':
      instance = Email()
      elif mode == 'wechat':
      instance = Wechat()
      elif mode == 'message':
      insance = Message() if not instance:
      print('配置异常')
      instance.send() run()
    • 工厂模式:工厂方法/抽象工厂

      mode = "xxx.xx.Email"
      class Email(object):
      def send(self):
      pass class Wechat(object):
      def send(self):
      pass class Message(object):
      def send(self):
      pass
      def run():
      # 根据反射到类,并实例化。
      instance.send()
      run()

CMDB01 /paramiko模块、项目概述、项目架构、项目实现的更多相关文章

  1. spring+springmvc+hibernate架构、maven分模块开发样例小项目案例

    maven分模块开发样例小项目案例 spring+springmvc+hibernate架构 以用户管理做測试,分dao,sevices,web层,分模块开发測试!因时间关系.仅仅測查询成功.其它的准 ...

  2. springboot的maven多模块项目架构微服务搭建——依赖方式的多模块演化为微服务项目

    在上一篇依赖方式多模块的基础上对项目进行改造.主要改造user-service项目,service要配置mapper.mybatis及数据库相关的东西,后面的接口消费方user就不再需要了 注意:以下 ...

  3. Mall电商项目总结(一)——项目概述

    项目概述 此电商项目为本人学习项目,后端 使用nginx实现负载均衡转发请求到多台tomcat服务器,使用多台 redis服务器分布式 缓存用户登录信息. 项目已经部署到阿里云服务器,从阿里云linu ...

  4. 大数据项目之_15_电信客服分析平台_01&02_项目背景+项目架构+项目实现+数据生产+数据采集/消费(存储)

    一.项目背景二.项目架构三.项目实现3.1.数据生产3.1.1.数据结构3.1.2.编写代码3.1.3.打包测试3.2.数据采集/消费(存储)3.2.1.数据采集:采集实时产生的数据到 kafka 集 ...

  5. 简单使用Idea创建三层架构项目和数据库连接(使用原生ajax进行访问+ajax)

    Idea创建三层架构项目 首先创建一个Web项目model 创建Web完成后进行创建entity.dao.service 特别注意 根据上面的步骤进行创建即可得到 创建完成 我们首先创建数据库 cre ...

  6. Linux运维企业架构项目实战系列

    Linux运维企业架构项目实战系列 项目实战1—LNMP的搭建.nginx的ssl加密.权限控制的实现 项目实战2—LVS.nginx实现负载均衡系列2.1 项目实战2.1—实现基于LVS负载均衡集群 ...

  7. Rest构建分布式 SpringCloud微服务架构项目

    一.开发环境:jdk  1.8.Maven  3.x.IDEA  2019.1.4.SpringBoot   2.0.7.spring Cloud  最新的稳定版  Finchley SR2   搭配 ...

  8. Web服务器项目详解 - 00 项目概述

    目录 00 项目概述 01 线程同步机制包装类 02 半同步/半反应堆线程池(上) 03 半同步/半反应堆线程池(下) 04 http连接处理(上) 05 http连接处理(中) 06 http连接处 ...

  9. Python基础之模块:7、项目开发流程和项目需求分析及软件开发目录

    一.项目开发流程 1.项目需求分析 明确项目具体功能: 明确到底要写什么东西,实现什么功能,在这个阶段的具体要询问项目经理和客户的需求 参与人员: 产品经理.架构师.开发经理 技术人员主要职责: 引导 ...

随机推荐

  1. HttpClient 常用方法封装

    简介 在平时写代码中,经常需要对接口进行访问,对于 http 协议 rest 风格的接口请求,大多使用 HttpClient 工具进行编写,想着方便就寻思着把一些常用的方法进行封装,便于平时快速的使用 ...

  2. Windows下C,C++开发环境搭建指南

    Windows下C,C++开发环境搭建指南 前情提要 基于近一段时间很多网友发邮件反馈,说一些项目编译出现问题,诸如此类的情况. 就觉得很有必要写一篇C,C++开发环境的小指南,统一回复. 1.君欲善 ...

  3. [NOI Online #3]魔法值

    题目   点这里看题目. 分析   我们不难想到,对于系数进行一下的拆分: \[\begin{aligned} f(u,j)&=\bigoplus_{(u,v)\in E} f(v,j-1)\ ...

  4. Unit2-窝窝牌电梯

    全文共2329字,推荐阅读时间10~15分钟. 文章共分四个部分: 作业分析 评测相关 重构策略 课程体验感受 作业分析 Unit2要求我们模拟现实生活中的电梯调度情景,迭代路径是单电梯->多电 ...

  5. Ubuntu18.04下使用Hexo框架搭建个人博客

    一.安装node.js 说明:安装node.js的原因:Hexo框架是基于node.js. 1.推荐使用nvm安装速度快,也可自行百度其它方法. wget -qO- https://raw.githu ...

  6. 2019-02-02 Python学习——生成器杨辉三角,迭代器与可迭代对象的区别

    练习 杨辉三角定义如下: 1 / \ 1 1 / \ / \ 1 2 1 / \ / \ / \ 1 3 3 1 / \ / \ / \ / \ 1 4 6 4 1 / \ / \ / \ / \ / ...

  7. Java 多线程基础(六)线程等待与唤醒

    Java 多线程基础(六)线程等待与唤醒 遇到这样一个场景,当某线程里面的逻辑需要等待异步处理结果返回后才能继续执行.或者说想要把一个异步的操作封装成一个同步的过程.这里就用到了线程等待唤醒机制. 一 ...

  8. C/C++语言的学习方向

    这个世界上有太多的坑,如果我们不具备查阅资料的能力和对现实世界的思考能力,入坑是大概率的事情. C/C++语言能做什么?C/C++程序员在做什么?企业需要什么样的C/C++程序员?对初学者来说,要搞清 ...

  9. Spring Boot项目使用Swagger2文档教程

    [本文版权归微信公众号"代码艺术"(ID:onblog)所有,若是转载请务必保留本段原创声明,违者必究.若是文章有不足之处,欢迎关注微信公众号私信与我进行交流!] 前言 Sprin ...

  10. 谈谈spring-boot-starter-data-redis序列化

    在上一篇中springboot 2.X 集成redis中提到了在spring-boot-starter-data-redis中使用JdkSerializationRedisSerializerl来实现 ...