基于python深度学习的apk风险预测脚本

为了有效判断安卓apk有无恶意操作,利用python脚本,通过解包apk文件,对其中xml文件进行特征提取,通过机器学习构建模型,预测位置的apk包是否有风险。

一、APK拆包

一般的方法有两种

  1. 由google开发的apktool。
  2. python的androguard包。

网上关于apktool的教程比较多,但是笔者在尝试使用后发现,

  1. apktool是基于java开发的,而机器学习由python控制,虽然可以利用python控制apktool,但有点多此一举。

  2. apktool对apk进行完全解包,浪费太多时间,在我准备构建的模型中有很多内容并不会使用。

固使用快速又强大的androguard。

from androguard.core.bytecodes import apk
import re
def get_permissions_one(filename):
app = apk.APK(filename)
permission = app.get_permissions()
with open(re.sub(r'.apk', '', filename) + '.txt', 'w', encoding='UTF-8')as f:
for temp in permission:
f.write(temp + '\n')

通过app.get_permissions()提取所有权限,利用正则写入txt文件。

关于androguard的更多命令可以看这篇博客,也可以看官方的API说明文档,本脚本只需要get_permissions()函数。、

先使用任意apk进行测试,执行结果如下:

得到了写入权限的txt文件。

网上有挺多恶意、正常apk例子,笔者是在网站下载的。

二、标准权限获取

之前提到实现类似功能的博客中,采用了动态标准。在解包apk文件的时候,每次遇到了新的权限,就将权限写入标准权限的列表。而笔者在尝试了几个常见apk(qq、微信等)后发现,由于安卓有各类延申的os,而不同软件又有各自生态,有各种各样权限。笔者认为太多的权限会导致最后的模型不准确,固选择直接从网上找了个安卓权限大全,进行正则提取。大全网址

import re

with open("带安卓权限.txt", "r", encoding='utf-8') as f:  # 打开文件
data = f.read() # 读取文件
temp = re.findall(r'android.permission.(.+?),', data)
print(len(temp)) with open('带安卓权限简述.txt', 'w')as f1:
i = 0
while i < len(temp):
f1.write('android.permission.' + temp[i])
f1.write('\n')
i = i + 1

有三条不满足标准,手动补上

com.android.browser.permission.READ_HISTORY_BOOKMARKS
com.android.browser.permission.WRITE_HISTORY_BOOKMARKS
com.android.alarm.permission.SET_ALARM

于是得到了120条标准权限。

三、对照并得出抽象值

笔者对数据的抽象是这样设计的:

由于权限一共有120条,在解包万任一文件后,创建一个120*[0]的数组,将提取后txt中每条权限与标准权限对比,当匹配到相同的权限时,令全[0]的数组中对应元素为[1],这样就完成了数据抽象化。

关键代码:

def power_compare(filename):
standard = get_ready()
list = list_dir_read_txt(filename)
apk = []
for txt in list:
with open(txt, 'r')as f:
temp = [0] * 120
for line in f.readlines():
line = line.strip('\n') # 去掉列表中每一个元素的换行符
for i, power in enumerate(standard):
if line == power:
temp[i] = 1
apk.append(temp)
return apk

四、对抽象值进行处理

虽然用列表进行搜索,一个一个匹配挺蠢的,但是这么做确实是最简单的,直接贴代码吧。

def power_compare(filename):
standard = get_ready()
list = list_dir_read_txt(filename)
apk = []
for txt in list:
with open(txt, 'r')as f:
temp = [0] * 120
for line in f.readlines():
line = line.strip('\n') # 去掉列表中每一个元素的换行符
for i, power in enumerate(standard):
if line == power:
temp[i] = 1
apk.append(temp)
return apk

五、通过算法得到模型

使用sklearn,简单暴力。

第一次只用了朴素贝叶斯,其他的算法也就改个名称换个参数,差不多(大概吧)

sklearn只认numpy里的数组,强转一下,扔进去就完事了,笔者第一次学习,也没分训练组和测试组,只体验了一下流程。

from data_get import *
import numpy as np
from sklearn.naive_bayes import GaussianNB safe, dangerous = data_get() clf = GaussianNB() train = np.asarray(safe + dangerous)
target = np.asarray(len(safe)*[0] + len(dangerous)*[1]) clf.fit(train, target)

六、完整代码

之前省略了挺多正则处理还有读写文件,全扔这里了,希望对你有帮助。

data_get.py

# -*— codeing = utf-8 -*-
from androguard.core.bytecodes import apk
import re
import os def get_permissions_one(filename):
app = apk.APK(filename)
permission = app.get_permissions()
with open(re.sub(r'.apk', '', filename) + '.txt', 'w', encoding='UTF-8')as f:
for temp in permission:
f.write(temp + '\n') # 对单个文件拆包出权限,并写入txt文件 def get_safe_permissions():
print('开始读取安全文件')
list = list_dir_read_apk('安全文件')
for file in list:
get_permissions_one(file)
print('读取完毕!') # 读取安全文件并记录其权限 def get_dangerous_permissions():
print('开始读取危险文件')
list = list_dir_read_apk('危险文件')
for file in list:
get_permissions_one(file)
print('读取完毕!') # 读取危险文件并记录其权限 def list_dir_read_apk(file_dir):
dir_list = os.listdir(file_dir)
file = []
for cur_file in dir_list:
path = os.path.join(file_dir, cur_file)
if os.path.isfile(path):
if re.findall(r'.apk', path):
file.append(path)
if os.path.isdir(path):
# 递归读取所有照片夹子目录内容
list_dir_read_apk(path)
return file # 读取目标文件夹内所有apk文件,并记录每一个的地址 def list_dir_read_txt(file_dir):
dir_list = os.listdir(file_dir)
file = []
for cur_file in dir_list:
path = os.path.join(file_dir, cur_file)
if os.path.isfile(path):
if re.findall(r'.txt', path):
file.append(path)
if os.path.isdir(path):
# 递归读取所有照片夹子目录内容
list_dir_read_apk(path)
return file # 读取目标文件夹内所有txt文件,并记录每一个的地址 def get_ready():
power = []
with open('带安卓权限简述.txt', 'r')as f:
for line in f.readlines():
line = line.strip('\n') # 去掉列表中每一个元素的换行符
power.append(line)
return power # 读入所有权限文件,写入集合文件,方便搜索 def power_compare(filename):
standard = get_ready()
list = list_dir_read_txt(filename)
apk = []
for txt in list:
with open(txt, 'r')as f:
temp = [0] * 120
for line in f.readlines():
line = line.strip('\n') # 去掉列表中每一个元素的换行符
for i, power in enumerate(standard):
if line == power:
temp[i] = 1
apk.append(temp)
return apk # 比较权限,并写入数组 def data_get():
apk_safe = power_compare('安全文件')
apk_dangerous = power_compare('危险文件')
return apk_safe, apk_dangerous # 获得数据

data_set.py

# -*— codeing = utf-8 -*-
from data_get import *
import numpy as np
from sklearn.naive_bayes import GaussianNB safe, dangerous = data_get() clf = GaussianNB() train = np.asarray(safe + dangerous)
target = np.asarray(len(safe)*[0] + len(dangerous)*[1]) clf.fit(train, target)

七、参考文献

文献 链接
类似项目 https://www.jianshu.com/p/670023af50f6
androguard官方文档 https://docs.koodous.com/yara/androguard/
apk例子 https://www.unb.ca/cic/datasets/invesandmal2019.html
一个牛逼的完整的项目,以后有机会复现 https://aistudio.baidu.com/aistudio/projectdetail/1562926?shared=1
一开始想自制数据集,后来发现没那么麻烦 https://zhuanlan.zhihu.com/p/354146564
sklearn官方文档,没看懂 https://sklearn.apachecn.org/docs/master/37.html
类似项目,写的很好,没看懂 https://www.jianshu.com/p/0bf2eb488afa

基于python深度学习的apk风险预测脚本的更多相关文章

  1. 利用python深度学习算法来绘图

    可以画画啊!可以画画啊!可以画画啊! 对,有趣的事情需要讲三遍. 事情是这样的,通过python的深度学习算法包去训练计算机模仿世界名画的风格,然后应用到另一幅画中,不多说直接上图! 这个是世界名画& ...

  2. 基于深度学习的建筑能耗预测01——Anaconda3-4.4.0+Tensorflow1.7+Python3.6+Pycharm安装

    基于深度学习的建筑能耗预测-2021WS-02W 一,安装python及其环境的设置 (写python代码前,在电脑上安装相关必备的软件的过程称为环境搭建) · 完全可以先安装anaconda(会自带 ...

  3. 解析基于keras深度学习框架下yolov3的算法

    一.前言 由于前一段时间以及实现了基于keras深度学习框架下yolov3的算法,本来想趁着余热将自己的心得体会进行总结,但由于前几天有点事就没有完成计划,现在趁午休时间整理一下. 二.Keras框架 ...

  4. 时间序列深度学习:seq2seq 模型预测太阳黑子

    目录 时间序列深度学习:seq2seq 模型预测太阳黑子 学习路线 商业中的时间序列深度学习 商业中应用时间序列深度学习 深度学习时间序列预测:使用 keras 预测太阳黑子 递归神经网络 设置.预处 ...

  5. 参考分享《Python深度学习》高清中文版pdf+高清英文版pdf+源代码

    学习深度学习时,我想<Python深度学习>应该是大多数机器学习爱好者必读的书.书最大的优点是框架性,能提供一个"整体视角",在脑中建立一个完整的地图,知道哪些常用哪些 ...

  6. 7大python 深度学习框架的描述及优缺点绍

    Theano https://github.com/Theano/Theano 描述: Theano 是一个python库, 允许你定义, 优化并且有效地评估涉及到多维数组的数学表达式. 它与GPUs ...

  7. 蛋白质组DIA深度学习之谱图预测

    目录 1. 简介 2. 近几年发表的主要工具 1.DeepRT 2.Prosit 3. DIANN 4.DeepDIA 1. 简介 基于串联质谱的蛋白质组学大部分是依赖于数据库(database se ...

  8. 好书推荐计划:Keras之父作品《Python 深度学习》

    大家好,我禅师的助理兼人工智能排版住手助手条子.可能非常多人都不知道我.由于我真的难得露面一次,天天给禅师做底层工作. wx_fmt=jpeg" alt="640? wx_fmt= ...

  9. Predicting effects of noncoding variants with deep learning–based sequence model | 基于深度学习的序列模型预测非编码区变异的影响

    Predicting effects of noncoding variants with deep learning–based sequence model PDF Interpreting no ...

随机推荐

  1. hive -- 外部表、内部表、临时表

    1.外部表 关键字:EXTERNAL 外部表创建时需要指定LOCATION 删除外部表时,数据不被删除 CREATE EXTERNAL TABLE page_view(viewTime INT, us ...

  2. 如何让BootStrap栅格之间留出空白间隙呢?

    BootStrap栅格之间留出空隙 BootStrap栅格系统可以把我们的container容器划分为若干等分,如果想要每个部分之间留出一定的空隙,我们很可能首先想到的方法就是用margin外边距来使 ...

  3. easyexcel

    导出: package com.example.demo.excel.demo0; import com.alibaba.excel.annotation.ExcelProperty; import ...

  4. python入门-变量与数据类型

    1.命名规则 变量名只能包含字母.数字和下划线.但不能以数字打头. 变量名不能包含空格 不能与关键字冲突 变量名应尽量简短且具有描述性 2.字符串 python中引号括起的内容,其中引号可以为单引号或 ...

  5. springMVC学习总结(一) --springMVC搭建

    springMVC学习总结(一) --springMVC搭建 搭建项目 1.创建一个web项目,并在项目中的src文件夹下创建一个包com.myl.controller. 2.添加相应jar包 3.在 ...

  6. JS_DOM操作之查找标签

    1 - 直接查找标签 // 方式1:获取元素 document.getElementsByTagName("标签名") document.getElementById(" ...

  7. NAT-T下的端口浮动

    1. IKE端口浮动 IPsec在隧道建立第一第二阶段主要进行加密方式.加密策略等信息的协商,这部分功能是通过IKE协议来实现的. IKE协议默认端口为500,但是如果IPsec隧道传输路径上存在NA ...

  8. java基础语法以及进制的转换

    关键字 关键字: 被Java语言赋予特定含义的单词 关键字特点 组成关键字的字母全部小写 关键字注意事项 goto和const作为保留字存在,目前并不使用 类似IDEA这样的集成工具,针对关键字有特殊 ...

  9. 日期SQL 脚本

    一个月第一天的 SELECT DATEADD(mm, DATEDIFF(mm,0,getdate()), 0)本周的星期一     SELECT DATEADD(wk, DATEDIFF(wk,0,g ...

  10. freeswitch 编译安装后的配置

    --------------------FreeSWITCH configuration------------Locations: prefix: /usr/local/freeswitchexec ...