一. 前言

经过了一个多月的努力,软件系统又添加了不少新功能。这些功能包括非常实用的数据导入导出,对触摸进行优化的画布和画笔工具,以及对一些智能分析的报告生成模块等。进一步加强了平台系统级的功能。

马上要进入研三了,这套系统和我本人一样,前途未卜。一方面,实验室要求重新以JAVA开发一套数据挖掘框架而放弃当前的.NET版本,我的思路是两边一起发展,优势互补,可惜后继无人。另一方面,马上毕业的我,未来做不做数据挖掘工作都是两说,在多方面的压力下,开发软件目前近似于奢侈的选择。但是,就算是为了自己心里的那个“爽”字,少打一会游戏,做这个事情还是值得的。

下一步,我会做一个针对实习和招聘的微博数据分析工具,整合分析所有相关信息,为我近几个月的找工作事业提供帮助。看看能不能做到WEB端。

革命尚未成功,同志仍需努力!

我的插件式桌面软件框架类库(一)XFrmWork简介

ITTC数据挖掘平台介绍(综述)——平台简介

ITTC数据挖掘平台介绍(二) 微博数据挖掘和分析

ITTC数据挖掘平台介绍(三) 微博社团和传播分析

ITTC数据挖掘平台介绍(四) 框架改进和新功能

ITTC数据挖掘平台介绍(五) 数据导入导出向导和报告生成

ITTC数据挖掘系统(六)批量任务,数据查看器和自由文档

ITTC数据挖掘平台介绍(七)强化的数据库,虚拟化,脚本编辑器

二.数据导入和导出

对于一般用户而言,数据通常都不保存在数据库,而是文件的形式,常用的txt, Excel或者XML都是可用的选择。同样,用户也需要随时将分析的结果,采集到的数据导出到文件中。因此,数据导入导出必不可少。

考虑需要用户选择的参数,在导入方面,需要知道数据的类型(微博,微博用户,还是新闻等),数据格式(JSON,XML还是EXCEL),还要知道导入哪些字段; 在导出方面,要知道导出的数据源名称,数据格式和导出的位置。因此,我们选择了向导作为导入导出的基本设置UI。

在数据管理器中,点击“数据导入导出”按钮。

骚气的海绵宝宝。

可选择导入还是导出。

因为要对数据进行反序列化操作,因此必须知道导入的数据类型。所有在系统中实现了IComputable基类接口的数据,在此都能被选择。

选择文件类型格式,目前支持了以上五种常用格式,但未能直接支持EXCEL. 所谓CompressJson,是Json数据通过ZIP压缩获取的数据。

选取导入/导出的字段,这是整个系统的精髓,首先不是所有字段都能导出,比如List列表,而且也不是所有字段都需要导出。因此用户可通过多选选择字段。

所有向导完成后,即可将数据以所需的格式导出到文件之中,方便进一步的分析。

当然,缺点在于,所有数据的表头字段必须和系统内定义的属性名称一致。例如,Name必须是Name, 这也是无可奈何的事情,难不成用户还需要设置像ORM一样的映射关系?这一点,还是需要我们从SPSS和EXCEL这些系统中学习。

三. 触摸优化

大规模可视化画布,在大型触摸屏的效果可谓可圈可点。这非常便于客户展示和交互。因此,我对触摸功能做了大幅度的增强,用户可方便的通过单指拖拽,双指放缩/旋转,以及在画布上手写注释等功能。

为了提升操作体验,还加入了个惯性效果,移动,旋转和放缩都有一定的惯性。操作更为流畅。

笔触方面,可以选择不同大小的笔触,可实现压力感应(根据硬件有关),选择不同的画笔颜色,如下图所示。

经过优化后,系统在大型触摸板上的体验效果非常好。但不可避免的是,在点数量较多(超过1000以上),动态惯性效果就有明显的卡顿。

四. 报告生成系统

绝大多数应用场合,用户直接面对的不是软件,而是生成的报告和文档。因此在这一次迭代更新上,开发了报告生成系统,利用开源的DocX组件,可以非常方便的生成Word文档,可被EXCEL 2007和2010版本打开。

使用起来也非常简单,以“微博传播分析”为例,勾选“生成Word文档”选项,即可生成文档。

生成的报告如下图所示:

当然,缺点也很明显, DocX对Chart的控制能力并不好,样式和颜色等都不能很好的设定。只能满足基本的功能,但用户还是可以在图表中点击右键自行修改,远比简单的贴图好得多。

另外,文档生成速度也很快,几十页的图文并茂的文档,包括表格和图片,也仅仅需要一两秒钟,性能优异。

五. 总结

千里之行始于足下,任何功能都是人一个一个写出来的。这些功能都是算法和数据无关的,可重用能力很强,各类数据可以无缝的使用这些新功能。

未来将加入更多有用的新功能,打造不需要写代码的简单易用的数据分析和挖掘引擎!

ITTC数据挖掘平台介绍(五) 数据导入导出向导和报告生成的更多相关文章

  1. ITTC数据挖掘平台介绍(七)强化的数据库, 虚拟化,脚本编辑器

    一. 前言 好久没有更新博客了,最近一直在忙着找工作,目前差不多尘埃落定.特别期待而且准备的都很少能成功,反而是没怎么在意的最终反而能拿到,真是神一样的人生. 言归正传,一直以来,数据挖掘系统的数据类 ...

  2. ITTC数据挖掘平台介绍(四) 框架改进和新功能

    本数据挖掘框架在这几个月的时间内,有了进一步的功能增强 一. 超大网络的画布显示虚拟化     如前几节所述,框架采用了三级层次实现,分别是数据,抽象Node和绘图的DataPoint,结构如下:   ...

  3. 从零自学Hadoop(16):Hive数据导入导出,集群数据迁移上

    阅读目录 序 导入文件到Hive 将其他表的查询结果导入表 动态分区插入 将SQL语句的值插入到表中 模拟数据文件下载 系列索引 本文版权归mephisto和博客园共有,欢迎转载,但须保留此段声明,并 ...

  4. Oracle数据导入导出imp/exp命令总结

    racle数据导入导出imp/exp就相当于oracle数据还原与备份.exp命令可以把数据从远程数据库服务器导出到本地的dmp文件,imp命令可以把dmp文件从本地导入到远处的数据库服务器中. 利用 ...

  5. Linux下mongodb安装及数据导入导出教程

    Linux下mongodb安装及数据导入导出教程 #查看linux发行版本 cat /etc/issue #查看linux内核版本号 uname -r 一.Linux下mongodb安装的一般步骤 1 ...

  6. Oracle数据导入导出imp/exp命令 10g以上expdp/impdp命令

    Oracle数据导入导出imp/exp就相当于oracle数据还原与备份.exp命令可以把数据从远程数据库服务器导出到本地的dmp文件,imp命令可以把dmp文件从本地导入到远处的数据库服务器中. 利 ...

  7. Oracle数据导入导出命令

    IMP 和EXP命令 Oracle数据导入导出imp/exp就相当于oracle数据还原与备份.exp命令可以把数据从远程数据库服务器导出到本地的dmp文件,imp命令可以把dmp文件从本地导入到远处 ...

  8. oracle数据导入/导出

    Oracle数据导入导出imp/exp 功能:Oracle数据导入导出imp/exp就相当与oracle数据还原与备份.   大多情况都可以用Oracle数据导入导出完成数据的备份和还原(不会造成数据 ...

  9. Oracle数据导入导出

    Oracle数据导入导出imp/exp 在oracle安装目录下有EXP.EXE与IMP.EXE这2个文件,他们分别被用来执行数据库的导入导出.所以Oracle数据导入导出imp/exp就相当与ora ...

随机推荐

  1. 使用TSQL查询和更新 JSON 数据

    JSON是一个非常流行的,用于数据交换的文本数据(textual data)格式,主要用于Web和移动应用程序中.JSON 使用“键/值对”(Key:Value pair)存储数据,能够表示嵌套键值对 ...

  2. MIP开发常见问题解答

    校验相关 1. MIP 页面的 <a>链接校验报错,MIP 是强制 target="_blank" 吗? 如果想直接跳转MIP页,可以用mip-link 组件:MIP ...

  3. 移动站应该尝试百度MIP的五个原因

    MIP是什么?MIP是百度在2016年提出的移动网页加速器项目. MIP能做什么?MIP能帮助站长和网站开发者快速搭建移动端页面. MIP怎么加速?MIP从前端渲染和页面网络传输两方面进行优化,杜绝页 ...

  4. Windows server 2012 添加中文语言包(英文转为中文)(离线)

    Windows server 2012 添加中文语言包(英文转为中文)(离线) 相关资料: 公司环境:亚马孙aws虚拟机 英文版Windows2012 中文SQL Server2012安装包,需要安装 ...

  5. 随手记_C#验证码

    前言 最近在网上偶然看见一个验证码,觉得很有意思,于是搜了下,是使用第三方实现的,先看效果: 总体来说效果还是可以的,官方提供的SDK也比较详细,可配置性很高.在这里在简单啰嗦几句使用方式: 使用步骤 ...

  6. 旺财速啃H5框架之Bootstrap(一)

    接下来的时间里,我将和大家一起对当前非常流行的前端框架Bootstrap进行速度的学习,以案例的形式.对刚开始想学习Bootstrap的同学而找不着边的就很有帮助了.如果你想详细的学习Bootstra ...

  7. .net 分布式架构之任务调度平台

    开源地址:http://git.oschina.net/chejiangyi/Dyd.BaseService.TaskManager .net 任务调度平台 用于.net dll,exe的任务的挂载, ...

  8. 基于ASP.NET/C#开发国外支付平台(Paypal)学习心得。

        最近一直在研究Paypal的支付平台,因为本人之前没有接触过接口这一块,新来一家公司比较不清楚流程就要求开发两个支付平台一个是支付宝(这边就不再这篇文章里面赘述了),但还是花了2-3天的时间通 ...

  9. 深入理解 Java G1 垃圾收集器--转

    原文地址:http://blog.jobbole.com/109170/?utm_source=hao.jobbole.com&utm_medium=relatedArticle 本文首先简单 ...

  10. [C#] C# 知识回顾 - 特性 Attribute

    C# 知识回顾 - 特性 Attribute [博主]反骨仔 [原文地址]http://www.cnblogs.com/liqingwen/p/5911289.html 目录 特性简介 使用特性 特性 ...