扩展SQLite使其能从apk文件中读取db
游戏中会大量使用到配置文件,每个项目组根据自己不同的需求会选择不同的存储格式,比如使用Json或者SQLite来存储数据。此处我们只对使用SQLite的情况来做讨论。一般情况下会选择把它放在可读写目录里面,这样SQLite可以直接使用它原来的io API来对db文件进行读取。在PC或者iOS平台上这不是问题。但是如果在Android平台上,游戏安装后还是以一个apk文件的形式存在。如果我们的数据放在了db中,使用SQLite原来自带的io功能是不能进行读取的。这里有3种方式可以供选择:
- 在程序第一次启动时,把apk中的所有文件解压出来放到可读写目录中,这样存在的问题是第一次打开程序时会比较慢。
- 在需要的读取某个db的时候才把这个文件从apk中解压出来,这样的话可能会导致卡顿,或者使用协程等异步操作来完成,但是这样对于逻辑层的代码书写成本比较高。
- 对SQLite做一定的改动,使它可以读取apk中的db文件。
一般大家可能会选择第一种方法,这没有什么好说的。我们接下来看看第3种方法的可能性。
理论
为了实现上述的想法,我们需要两个条件:
- android提供对apk中单个文件的读取的能力。
- SQLite提供了对io层(不同平台)进行快速修改的能力,这就要求SQLite有比较好的抽象以较少的模块之间的耦合。
当然上述两个条件是满足的,下面我们来具体看看这两个条件。
Android对apk中单个文件的读取能力
Open a new file descriptor that can be used to read the asset data. If the start or length cannot be represented by a 32-bit number, it will be truncated. If the file is large, use AAsset_openFileDescriptor64 instead. Returns < 0 if direct fd access is not possible (for example, if the asset is compressed). int AAsset_openFileDescriptor (AAsset * asset, off_t * outStart, off_t * outLength ) |
从这个API可以看出,它可以返回一个用于读取当前asset的一个文件描述符。但是如果当前asset被压缩了,那么就回返回一个小于0的值。如果我们想要读取db的话,那么它必须是没有压缩过的。
示例代码大体如下所示:
AAsset* asset = AAssetManager_open(mgr, filename, AASSET_MODE_UNKNOWN); if (NULL == asset) { //LOGD("file not found! Stop preload file: %s", filename); return FILE_NOT_FOUND; } // open asset as file descriptor int fd = AAsset_openFileDescriptor(asset, &start, &length); assert(0 <= fd); AAsset_close(Asset); |
注意,这个fd返回的是整个apk的句柄,start代表这个文件在apk中的偏移,length代表长度,使用的时候要注意。
SQLite对于文件io层的支持
下图是SQLite官方给出的架构图:
我们这里主要关注的就是OS Interface这一层,它使用了VFS这一对象来为不同系统之间的可移植性提供了保证,。具体细节可以参照官网对于VFS的介绍。SQLite目前提供了对类unix系统和windows系统的支持,分别在os_unix.c以及os_win.c中实现的。其中os_unix.c提供了对mac os、iOS、Android以及Linux的支持。如果读取想对这块有一个比较深入了了解可以看官方文档以及查看一些示例如test_demovfs.c等来深入了解。
实现
有了上面的理论支持,那么我们就可以着手可以写代码了。我们目前有两种方案可以选择:
- 单独为安卓实现一个VFS。
- 在os_unix.c的基础上进行修改。
第一种方案需要写的代码比较多,而且需要读者对SQLite有一个比较深入的了解。所以我们这里选择第二种方案。在原来的os_unix.c的基础上进行改动。
SQLite改造
通过分析os_unix.c文件,我们能得出它主要使用了open() read() write()等io操作。这跟我们上面Android NDK提供的AAsset_openFileDescriptor正好完美的结合起来。我们正好可以使用它返回的句柄进行类似的操作。只不过在Android的情况下特殊一点。
这样下来,我们基本上大体需要改的几个函数和结构体如下所示
- struct unixFile 我们需要在其中添加文件在apk中的偏移以及大小 。
- posixOpen 通过openFileDescriptor返回文件描述符。
- seekAndRead 读取时要加上文件偏移。
- unixFileSize 返回前面unixFile中记录的文件大小的值。
以上基本是需要改到的函数,当然根据实现的不同可能具体需要改动的函数不一样。这只是比较粗暴的改法。像我们需要支持从apk里面读取以及从一个散文件里面读取,所以跟上面的改动多少有一些不一样的地方,但是基本思想是通的。当然由于本人对SQLite不了 解,可能有需要改动的地方没有注意到,如果说的有错误希望能及时指正。方法已经说的比较明白了,这里也就不贴代码了。
上面的例子提到的AAssetManager_open在打开时需要一个AAssetManager的对象,这个对象只能从Java里面获取。如果你是直接使用Android开发那么这个对象就比较容易获取,那么如果你是使用Unity或者UE4开发怎么获取这个对象呢。
Unity实现细节
SQLite的修改跟上面是一样的,只是我们在Unity中如何获取这个对象呢。读者可以具体对照一下这个类AndroidJNI AndroidJNIHelper AndroidJavaClass AndroidJavaObject AndroidJavaProxy这几个类。
示例代码如下所示:
IntPtr cls_Activity = (IntPtr)AndroidJNI.FindClass("com/unity3d/player/UnityPlayer"); IntPtr fid_Activity = AndroidJNI.GetStaticFieldID(cls_Activity, "currentActivity", "Landroid/app/Activity;"); IntPtr obj_Activity = AndroidJNI.GetStaticObjectField(cls_Activity, fid_Activity); IntPtr obj_cls = AndroidJNI.GetObjectClass(obj_Activity); IntPtr asset_func = AndroidJNI.GetMethodID(obj_cls, "getAssets", "()Landroid/content/res/AssetManager;"); jvalue[] asset_array = new jvalue[2]; // <- ? IntPtr assetManager = AndroidJNI.CallObjectMethod(obj_Activity, asset_func, asset_array); |
这样我们就得到了这个AssetManager,这个时候我们就可以通过C#把这个对象传递给SQLite库了。
UE4实现细节
UE4在C++中可以直接拿到AAssetManager对象,具体实现细节UE4已经帮我们做了,具体可以查看AndroidJNI.cpp中的代码。我们拿到AAssetManager这个对象并把它设置给SQLite就可以了。
总结
到此,我们对SQLite扩展读取apk中db的方法已经写完了。由于Android NDK返回了文件描述符以及SQLite提供的OS Interface层让我们很比较容易的实现了对SQLite扩展。由于作者对SQLite原来并没有了解,所以难免有错误之处,如果有错误请及时指正。如果读者想对SQLite有一个比较深入的认识,也可以看看参考文章6。
参考文章:
- http://sqlite.org/arch.html
- http://www.sqlite.org/vfs.html
- https://developer.android.com/ndk/reference/group___asset.html#ga1af4ffd050016e99961e24f550981677
- https://docs.unity3d.com/560/Documentation/ScriptReference/AndroidJNI.html
- http://answers.unity3d.com/questions/205212/android-file-open.html
扩展SQLite使其能从apk文件中读取db的更多相关文章
- [Android Pro] 查看 keystore文件的签名信息 和 检查apk文件中的签名信息
1: 查看 keystore文件的签名信息 keytool -list -v -keystore keystoreName -storepass keystorePassword 2: 检查apk文件 ...
- 从Excel文件中读取内容
从Excel文件中读取内容 global::System.Web.HttpPostedFileBase file = Request.Files["txtFile"]; strin ...
- 条形码的应用三-----------从Excel文件中读取条形码
条形码的应用三------从Excel文件中读取条形码 介绍 上一篇文章,我向大家展示了生成多个条形码并存储到Excel文件中的一个方法.后来我又有了个想法:既然条码插入到excel中了,我可不可以从 ...
- Servlet从本地文件中读取图片,并显示在页面中
import java.io.IOException; import javax.servlet.ServletException; import javax.servlet.http.HttpSer ...
- 文件_ _android从资源文件中读取文件流并显示的方法
======== 1 android从资源文件中读取文件流并显示的方法. 在android中,假如有的文本文件,比如TXT放在raw下,要直接读取出来,放到屏幕中显示,可以这样: private ...
- 在C#中用Linq从属性文件中读取键值对Key-Value Pair
博客搬到了fresky.github.io - Dawei XU,请各位看官挪步.最新的一篇是:在C#中用Linq从属性文件中读取键值对Key-Value Pair.
- Python3 将configparser从ini文件中读取的内容转换成字典格式
因为写脚本的用到了,所以研究了下怎么将configparser从ini文件中读取的内容转换成字典格式. 整理一下,希望能对大家有帮助. 从http://stackoverflow.com/questi ...
- Python3实现从文件中读取指定行的方法
from:http://www.jb51.net/article/66580.htm 这篇文章主要介绍了Python3实现从文件中读取指定行的方法,涉及Python中linecache模块操作文件的使 ...
- Java将对象保存到文件中/从文件中读取对象
1.保存对象到文件中 Java语言只能将实现了Serializable接口的类的对象保存到文件中,利用如下方法即可: public static void writeObjectToFile(Obje ...
随机推荐
- cuda学习3-共享内存和同步
为什么要使用共享内存呢,因为共享内存的访问速度快.这是首先要明确的,下面详细研究. cuda程序中的内存使用分为主机内存(host memory) 和 设备内存(device memory),我们在这 ...
- 【Python的迭代器,生成器】
一.可迭代对象和迭代器 1.迭代的概念 上一次输出的结果为下一次输入的初始值,重复的过程称为迭代,每次重复即一次迭代,并且每次迭代的结果是下一次迭代的初始值 注:循环不是迭代 while True: ...
- jquery 根据数据库值设置radio的选中
jsp代码: <label>性 别</label> <input type="radio" value="1" name=&quo ...
- 用js获取页面颜色值怎么比较?
一般情况下,我们通过十六进制的方式设置页面颜色值 如#64e164 但当我们通过js获取这个dom颜色值的时候,返回的值却可能不是十六进制的,所以比较的时候需要分浏览器进行 在火狐和谷歌浏览器中,返回 ...
- 什么是 html 标签,html 实体
为什么需要转换 更简了,因为有时候我们需要在浏览器页面中显示 html 标签,然而直接输出<script>alert(1)</script>,在浏览页面时将会被当作 html ...
- 安装xampp出错,安装xampp出错,windows找不到-n ?
安装路径错误的问题 安装参考路径:D:\xampp\子文件
- Ubuntu下的iptux和Windows下的飞秋互传文件
1.问题 当Linux下的iptux是安装源里的版本时,存在下面的问题:Windows下的飞秋可以向Linux下的iptux发送文件,iptux接受正常Linux下的iputx给Windows下的飞秋 ...
- 转 使用HAProxy,PHPRedis,和MySQL支撑10亿请求每周架构细节
[编者按]在公司的发展中,保证服务器的可扩展性对于扩大企业的市场需要具有重要作用,因此,这对架构师提出了一定的要求.Octivi联合创始人兼软件架构师Antoni Orfin将向你介绍一个非常简单的架 ...
- MongoDB--操作符
$gt -- > $lt -- < $gte -- >= $lte -- <= $all 与 in 类似,不同的是必须满足[]内所有的值 $exists 字段是否存在 db.s ...
- 门(door)
门(door) 时间限制: 1 Sec 内存限制: 128 MB 题目描述 输入 第一行是一个正整数n,表示原始字符串的长度.第二行是一个字符串,长度为n.字符串由大小写字母,数字,符号,空格构成. ...