我在做个人APP - CayKANJI - 的时候遇到一个问题:

如何增量式地把日语汉字数据地从server更新到APP端,即每次用户运行更新操作时,仅仅获取版本号高于本地缓存的内容。

数据格式

为了可以与mongoDB无缝结合,并省去编写后台代码的麻烦,索性就把汉字数据保存成json文件,上传到server后。交给web应用去读取并写入数据库。

汉字文件就是普通的json格式。

{
"category": "行為ー2",
"contents": [
{
"kanji" : "尋",
"on-yomi" : "ジン",
"kun-yomi" : "たず-ねる",
"examples": ["不明な点を尋ねる", "行方を尋ねて回る", "由来を尋ねる", "警官が怪しい男に尋問する", "尋常ではない行動"]
},
{
"kanji" : "促",
"on-yomi" : "ソク",
"kun-yomi" : "うなが-す",
"examples": ["成長を促す", "発言を促す", "販売を促進する", "支払いを催促する"]
}
]
}

数据库操作

然后利用不同的目录做一个队列,未被写入数据库的文件放在pending目录。已经写入的放在finished目录。

这样当webserver接收到第一次更新请求时,会检測pengding目录下是否有新的json文件,有的话就写入到数据库。并把json文件移动到finished目录。

web端用的是Django框架,使用pymongo操作数据库。

数据写入

def write_to_db(self, path):
with open(path) as my_file:
self._db.kanji.insert(json.loads(my_file.read()))
def check_update(self):
for (path, dirs, files) in os.walk(self.PENDING_DIR):
for file in files:
self.write_to_db(os.path.join(path, file)) # move sync-over file into 'finished' directory
shutil.move(os.path.join(path, file), os.path.join(self.FINISHED_DIR, file))

把json数据同步到数据库后,就能够在Android端发起请求来获取数据。

可是。这样做并不能在手机端实现增量更新,每次请求都会下载数据库中全部的数据。事实上解决的方法也非常easy。给每条json数据加上一个版本号就搞定了

增量数据的版本号控制

改动之前的json文件。加入一个version字段。

{
"category": "行為ー2",
"version" : 0,
"contents": [
{
"kanji" : "尋",
"on-yomi" : "ジン",
"kun-yomi" : "たず-ねる",
"examples": ["不明な点を尋ねる", "行方を尋ねて回る", "由来を尋ねる", "警官が怪しい男に尋問する", "尋常ではない行動"]
},
{
"kanji" : "促",
"on-yomi" : "ソク",
"kun-yomi" : "うなが-す",
"examples": ["成長を促す", "発言を促す", "販売を促進する", "支払いを催促する"]
}
]
}

数据读取

数据请求RESTfull风格的url - http://www.liangfeizc.com/catykanji/download/0

download后面的数字表示这次请求的最低版本,server收到这个请求后会返回全部版本大于等于0的数据。

首先在url.py中加入url规则

url(r'^download/(?P<version>\d+)$', 'download_kanji'),

然后在view.py中加入download_kanji函数

def download_kanji(request, version=0):
kanji = _mongo.get_kanji(int(version))
return HttpResponse(kanji, content_type="application/json")

读取大于等于version的数据

def get_kanji(self, version):
# check pending dir to see if there's any file
self.check_update()
result = self._db.kanji.find({"version": {"$gte": version}})
return json_util.dumps(result)

搞定了web端的增量更新规则。Android就没什么问题了。

Android端

Android的HTTP请求使用了AOSP的Volley库,仅仅要把uri拼接好,加入到Volley的RequestQueue就能够了。

每次从server返回请求数据时,解析json文件后把最大的version的值加1后保存到Preference中。再次发送请求的时候直接从Preference中读取这个版本号。拼接成一个请求指定版本号号的url就能够了。

最后把解析完的json数据分成三个表保存到的数据库就大公告成了。源代码能够看

https://github.com/LyndonChin

一个简单的数据增量更新策略(Android / MongoDB / Django)的更多相关文章

  1. Kettle中通过触发器方式实现数据 增量更新

    在使用Kettle进行数据同步的时候, 共有 1.使用时间戳进行数据增量更新 2.使用数据库日志进行数据增量更新 3.使用触发器+快照表 进行数据增量更新 今天要介绍的是第3中方法. 实验的思路是这样 ...

  2. odi增量更新策略

    增量更新策略:通过一个“update key”比较流数据记录与目标表中的记录比较进行数据整合.具有相同“update key”的记录当相关联列不同时将被更新:在目标表中不存在的记录将被插入.这种方式用 ...

  3. spring boot: @Entity @Repository一个简单的数据读存储读取

    spring boot: @Entity @Repository一个简单的数据读存储读取 创建了一个实体类. 如何持久化呢?1.使用@Entity进行实体类的持久化操作,当JPA检测到我们的实体类当中 ...

  4. **app后端设计(10)--数据增量更新(省流量)

    在新浪微博的app中,从别的页面进入主页,在没有网络的情况下,首页中的已经收到的微博还是能显示的,这显然是把相关的数据存储在app本地. 使用数据的app本地存储,能减少网络的流量,同时极大提高了用户 ...

  5. app后端设计(10)--数据增量更新

    在新浪微博的app中,从别的页面进入主页,在没有网络的情况下,首页中的已经收到的微博还是能显示的,这显然是把相关的数据存储在app本地. 使用数据的app本地存储,能减少网络的流量,同时极大提高了用户 ...

  6. Android 6.0 7.0 8.0 一个简单的app内更新版本-okgo app版本更新

    登陆时splash初始页调用接口检查app版本.如有更新,使用okGo的文件下载,保存到指定位置,调用Android安装apk. <!-- Android 8.0 (Android O)为了针对 ...

  7. 一个简单的数据查询显示jsp

    以前使用jstl标签库只是使用core来显示一些数据,非常方便,今天看了下发现jstl还有其他的标签,使用都非常方便, 1.sql标签,可以直接访问数据库,后台代码都不需要了,这在某些时候非常适合使用 ...

  8. 分享给大家一个简单的数据导出excel类

    <?php /** * 生成excel文件操作 * * @author wesley wu * @date 2013.12.9 */ class Excel { private $limit = ...

  9. 一个简单xml数据转换为数组的方法

    本人用easywechat做微信回复图文,从数据库中拿到的数据直接是xml拼好的数据,但是框架只有自带的获取xml格式的语句,所有需要将xml数据中所需要的数据拿出来用来拼接. 搜了好多资料说的都很麻 ...

随机推荐

  1. 收纳箱1号 | GitHub Pages部署静态网页的一点私货

    Static site 总结各种各有的 static site generator Jekyll 其实是一个 static site generator. 如果你去 Google 这个,会发现有很多总 ...

  2. pyttsx的中文语音识别问题及探究之路

    最近在学习pyttsx时,发现中文阅读一直都识别错误,从发音来看应该是字符编码问题,但搜索之后并未发现解决方案.自己一路摸索解决,虽说最终的原因非常可笑,大牛们可能也是一眼就能洞穿,但也值得记录一下. ...

  3. HDU 4815 Little Tiger vs. Deep Monkey 2013 长春现场赛C题

    链接:http://acm.hdu.edu.cn/showproblem.php?pid=4815 [题意] n个题目,每题有各自的分数,A有50%的概率答对一道题目得到相应分数,B想要在至少P的概率 ...

  4. [读书笔记] CSS揭秘-背景与边框

    半透明边框 默认情况下,背景会延伸到边框所在的区域下层.可以通过background-clip属性调整该默认行为. border: 10px solid rgba(0,0,0,.2) backgrou ...

  5. Linux内核分析 - 网络

    http://blog.csdn.net/column/details/network-kernel-yoyo.html

  6. 设计模式之观察者模式(php实现)

    github地址:https://github.com/ZQCard/design_pattern /** * 当对象间存在一对多关系时,则使用观察者模式(Observer Pattern). * 比 ...

  7. Android.mk入门(一)

    Android.mk是Android工程管理文件,其作用基本等同于Linux环境中的Makefile,在语法上,Android.mk和普通Makefile略有不同,主要区别是Android.mk包含一 ...

  8. 深入理解ES6里的promise

    一.ES6 Promise是什么? 复杂的概念先不讲,我们先简单粗暴地把Promise用一下,有个直观感受.那么第一个问题来了,Promise是什么呢?是一个类?对象?数组?函数? 别猜了,直接打印出 ...

  9. Hive设置参数的三种方法

    Hive提供三种可以改变环境变量的方法,分别是:(1).修改${HIVE_HOME}/conf/hive-site.xml配置文件:(2).命令行参数:(3).在已经进入cli时进行参数声明.下面分别 ...

  10. Spark-Streaming之window滑动窗口应用

    Spark-Streaming之window滑动窗口应用,Spark Streaming提供了滑动窗口操作的支持,从而让我们可以对一个滑动窗口内的数据执行计算操作.每次掉落在窗口内的RDD的数据,会被 ...