项目地址: https://github.com/foyoux/aligo 这个项目起源于我的一个简单需求, 我有25000个文件, 已经上传了9000个, 但是现在我把这些文件重新整理了, 最后我不知道哪些文件已经上传了, 哪些没有, 并且有些文件的文件名也已经改了, 能够唯一确定一个文件的就是文件名中含有的一串数字id. 而我不想重复或者重新上传这些文件. 于是我就抽筋地做了这个项目 aligo 基本功能 扫码登录 refresh_token登录 持久化登录 获取用户信息 获取云盘信息 获取

要求:安装python2.7,安装git 1.git clone https://github.com/houtianze/bypy.git 2.cd bypy 3.sudo python setup.py install 4.bypy info收到提示: Please visit: https://openapi.baidu.com/oauth/2.0/authorize?scope=basic+netdisk&redirect_uri=oob&response_type=code&am

1. Redis的安装 sudo pip install redis sudo pip install hiredis Parser可以控制如何解析redis响应的内容.redis-py包含两个Parser类,PythonParser和HiredisParser.默认,如果已经安装了hiredis模块,redis-py会使用HiredisParser,否则会使用PythonParser.HiredisParser是C编写的,由redis核心团队维护,性能要比PythonParser提高10倍以上

基于Hadoop开发网络云盘系统客户端界面设计初稿 前言: 本文是<基于Hadoop开发网络云盘系统架构设计方案>的第二篇,针对界面原型原本考虑有两个方案:1.类windows模式,文件夹.文件方式,操作习惯完全按照Windows方式进行,提供右键菜单管理命令.2.浏览列表式,提供常规界面按钮式命令.本文采用的方式是文件清单列表式,至于第一种方式,另列专题进行说明. 一.界面原型 二.设计说明 连接管理:建立连接.断开连接.设置连接参数 文件操作:浏览文件.上传文件.下载文件.删除文件.导入文

java服务端的代码请看上文. 1.说明: 这两篇文章其实解决的问题是,当使用python去访问大数据线上集群的时候,遇到两个问题: 1)python-hadoop和python-hive相关包链接不稳定,表现为经常出现链接超时: 2)如果使用fork进程执行hadoop fs或者hive -e的方式则消耗大量的机器资源,包括进程资源和集群链接资源. 我们的解决方式是写一个java的代理服务,使用java-hadoop封装了对集群的操作,通过thrift提供接口给python程序. 2.编译.t

项目中使用了python,需要使用到zookeeper的功能,这里记录一下安装过程. 内核版本:2.6.32 发行版:CentOs-6.6 64bit 1.由于python客户端依赖c的客户端所以要先安装c版本的客户端 [root@rocket c]# cd /usr/local/zookeeper-3.4.6/src/c [root@rocket c]# ./configure [root@rocket c]# make [root@rocket c]# make install 2.测试c客

盘一盘 Python 系列 1 & 2 - 入门篇 https://mp.weixin.qq.com/s?__biz=MzIzMjY0MjE1MA==&mid=2247486473&idx=1&sn=e9228958bb5c425b8981261f14bd2f8c&chksm=e8908f00dfe70616fb3b87db7fcd054738322acbbacb1a08dbd81d36ab2c41cc56b7cc146394&scene=21#wechat

前提:服务端是现成的,java.springMVC.resttemplate.jboss等:突然有个需要,要在windows上开发一个客户端,作用是定期向服务端上传文件.想了想,如果客户端写一个java程序,势必要求在windows上安装java的运行环境,这样比较麻烦.后来的解决思路是写python的程序,然后打包成exe在windows上执行.以下是Rest Post示例的服务端.客户端代码. server端代码: @RequestMapping(value = "/uploadScript

上一篇说了最为底层的用来网络通讯的套接字.有很多基于套接字的一些协议,这些协议构成了当今互联网大多数客户服务器应用的核心 其实这些协议时在套接字上面的进一层封装用来完成特定的应用,这些应用主要包括: 文件传输(FTP, SCP 等) 阅读Usenet 新闻组(NNTP) e-mail 发送(SMTP) 从服务器上下载e-mail(POP3, IMAP)等等 这些协议的工作方式与之前在套接字编程中介绍的客户端/服务器的例子很像 因特网客户端?? 好吧,之前我们实现了两个机器的通信,那因特网呢?其实

摘要: Ffrpc可以很方便的构建c++ server, 在网游服务器程序开发中,进程间通讯非常的重要,比如gateserver和gameserver或dbserver之间的通信.而ffrpc可以使得进程间通信非常简单,是由于ffrpc的broker模式封装了位置无关性,使得如gate调用gameserver的接口只需要知道对方的服务名,从而使得程序中各个节点的关系与系统的拓扑关系是完美吻合的.这也使得系统的架构更加清晰,系统的实现更健壮和易维护. 之前ffrpc只提供了c++ server/c

还有一种创建方式 是使用py开发工具,调用openstackclient的方法进行创建实例 ,好处就是可随意指定我们要的虚拟机IP地址,需求的场景就是,某天我们需要主动分配一个比较熟知的IP用作某个服务组件   或者某天,你需要打包一个实例的快照,终止实例后,你想通过快照的方式将它恢复为原来的IP,可以使用以下方法.   以win7客户端为例. 先下载安装eclipse 安装 安装 eclipse 的python插件,插件安装方法可自行百度   本机,安装python2.7环境 安装完后,添加p

点对点通讯分为客户端和服务器,多个客户端通过服务器进行信息的交流 服务器端代码  service端 #!/usr/bin/env python # -*- coding:utf-8 -*- import SocketServer import subprocess ## 代号 地址和端口 连接对象 class myconn(object): ##存放连接 listconn = {} ## 地址端口 连接对象 # codeflage = {} ## 代号 地址端号 class MyServer(S

使用Python连接Redis,需要先安装Python以及redis-py,以CentOS为例,介绍redis-py的客户端环境搭建. 第0步:准备工作 华为云上购买1台弹性云服务器ECS(我选了CentOS 6.3),一个分布式缓存实例(DCS for Redis),我选了个单机实例. 注意ECS和缓存实例配置相同的VPC和安全组,确保网络互通. 第1步:安装python和redis-py 如果系统没有自带python,可以使用yum方式安装. yum install python 下载并解压

add by zhj: 对Publish / Subscribe,LUA Scripting,Sentinel support,Scan Iterators等部分没有翻译,需要的用户参见英文原文吧.另外,我对译文略有修改,如果要使用watch,我更喜欢第一种方法(使用with),而第二种有点复杂,不简练,第三种将事务分成了两个函数,两个函数watch的键要一致,容易出错. 目录: 1. 安装 2. 入门     3. API参考     4. 详细说明       4.1 连接池 4.2 连接

Keyspaces A cluster is a container for keyspaces. A keyspace is the outermost container for data in Cassandra, corresponding closely to a schema in a relational database. The keyspace can include operational elements, such as replication factor and d

Kafka 中有这样一个概念消费者组,所有我们去订阅 topic 和 topic 交互的一些操作我们都是通过消费者组去交互的. 在 consumer 端设置了消费者的名字之后,该客户端可以对多个 topic 进行订阅.我们也可以通过 group-id 来识别是谁在消费消息,或者在消费哪些组的消息. 发挥 consumer 最大的效果就是和 broker 的 topic 下的 partitions 数相等. 做到一个 parititons 分配一个独立的 consumer 去消费能达到最高效果,比

之前使用 Kafka 的客户端消费者比较多一点,而且也是无脑订阅使用也没有深入了解过具体的参数.总的来说使用不够细节. 这次公司项目活动期间暴露非常多的问题,于是有了这篇文章. 首先我们来拆解一下 Kafka KafkaProducer 类给我们暴露的参数,我会依次介绍一下这些参数的功能以及效果,其中也包括比较重要的自定义 paritiition 的参数. 1. bootstrap_servers bootstrap_servers: 'host[:port]' string (or list

概述 Redis是一个基于key-value键值对的持久化数据库存储系统.redis支持的数据存储类型比memcached更丰富,包括strings(字符串),lists(列表),sets(集合)和sorted sets(有序集合)等. 这些数据类型支持push/pop,add/remove及取交集,并集和差集及更丰富的操作,而且这些操作都是原子性的.在此基础上,redis支持各种不同方式的排序.与memcached缓存服务一样,为了保证效率,数据都是缓存在内存中提供服务.和memcached不

1. 安装 1. redis-py a. 使用easy_install 1 sudo easy_install redis  b. 源码安装 1 2 3 git clone https://github.com/andymccurdy/redis-py.git cd redis-py python setup.py install 2. Parser安装 Parser可以控制如何解析redis响应的内容.redis-py包含两个Parser类,PythonParser和HiredisParser

solrPy 基础使用: 1)与solr建立连接 import solr s = solr.Solr('http://host:ip/solr/collectionName') 2)查询 r = s.select('*:*') for hit in r.results: pirnt hit 具体参考: solrpy documentation ------------------------------------------ 选择solrPy的初衷: 1)初期想法:solr做数据存储,做“数据

使用的python库: kafka-python 安装方式: pip install kafka-python 简单的模拟Producer """ Kafka Producer Test using kafka-python library """ # -*- encoding: utf-8 -*- # Author: shayzhang@sina.com # import KafkaProducer class from kafka impor