把QQ聊天记录插入数据库中
最近在做毕设,其中一个环节是分析qq聊天记录,在分析之前需要先把qq聊天记录导出,然后存入数据库中,qq聊天记录导出后是文本文档,导出方式:
1.登录qq后,点击任意一个好友,查看与他的聊天记录,点击聊天记录界面的小喇叭图标。
2.点击小喇叭图标后就可以选择自己要导出的聊天记录了,在要导出的人名或者群名上右键单击,选择导出聊天记录,导出格式为文本文档。
导出的文本文档格式性非常强,看下图:
我们大致分析一下这个格式,最上面那几行说明性的文字直接删去,主要看聊天记录部分,先是日期,然后一个空格,然后是时间,再一个空格,然后是用户名,换行之后就是具体的内容,正常的文档就是这样的格式,没有问题,可是有时候我们发送的qq消息中有换行符,这样的话给我们的导出记录增添了一些复杂性,所以要先对这个文档进行简单的处理。
先说说我的一个整体思路吧,每条记录的第一行,不同信息之间都有一个空格,所以我想把记录的正文内容也放在第一行,就是有时间的那一行,在记录正文和姓名之间加一个空格,这样的话每一行就是一条记录,在读取一行的信息之后,可以使用String自带的函数split(),参数是一个空格将String拆分成一个长度为4的数组。然后遍历数组插入数据库中。
基于这样的思路,我要对文档进行以下处理:
1.删除记录正文中的所有空格,避免在使用split函数时出现不必要的麻烦。对于时间日期那一行的空格则不必删除,这也就说明了这里不能用查找替换来做。
2.正文中可能会存在换行符,这个也要去除。
public class R2DB {
public static void main(String[] args) {
//处理原始文档,处理后的文档存入999.txt中
//处理之前先把文档前面的说明性文字去掉
processTxt();
//读取原始文档并插入数据库
readAndInsert();
}
private static void readAndInsert() {
String sql = "";
try {
File file = new File("F:\\test\\999.txt");
String str = null;
BufferedReader br = new BufferedReader(new FileReader(file));
QQChat qqChat = new QQChat();
List<QQChat> list = new ArrayList<QQChat>();
while ((str = br.readLine()) != null) {
String[] strs = str.split(" ");
qqChat.setQqDate(strs[0]);
qqChat.setQqTime(strs[1]);
qqChat.setQqUser(strs[2]);
/**
* 有的消息内容为空,拆分后数组的长度为3,对于这种消息,
* 设置它为未知消息
*/
if (strs.length==4) {
qqChat.setQqContent(strs[3]);
}else{
qqChat.setQqContent("未知消息");
}
list.add(qqChat);
qqChat = new QQChat();
}
Connection con = null;
PreparedStatement ps = null;
con = DBUtil.getConnection();
try {
for (QQChat q : list) {
sql = "insert into qq_record values(null,'"
+ q.getQqDate() + "','" + q.getQqTime() + "','"
+ q.getQqUser() + "','" + q.getQqContent() + "');";
ps = con.prepareStatement(sql);
ps.executeUpdate();
}
System.out.println("插入成功!");
} catch (SQLException e) {
//如果遇到出错的插入语句,则输出,查看问题在哪里,直接解决即可
System.out.println(sql);
e.printStackTrace();
}
} catch (IOException e) {
e.printStackTrace();
}
}
private static void processTxt() {
try {
//原始文档名为hdjg.txt
File file = new File("F:\\test\\hdjg.txt");
String str = null;
BufferedReader br = new BufferedReader(new FileReader(file));
PrintWriter out = new PrintWriter(new File("F:\\test\\999.txt"));
while ((str = br.readLine()) != null) {
//这个正则表达式用来匹配2015-02-10 16:02:50 张三
//如果是导出与一个人的聊天记录就不必用正则,但是我要导出的是群聊,所以要用正则
Pattern pattern = Pattern
.compile("\\d{4}\\-\\d{2}\\-\\d{2}\\s\\d{2}\\:\\d{2}\\:\\d{2}\\s.+");
Matcher matcher = pattern.matcher(str);
if (matcher.matches()) {
//每次输出时间姓名那一行之前都先输出一个换行
out.println();
//将有的文本中的两个空格替换成一个
out.print(str.replace(" ", " ")+" ");
} else {
/**
* 将聊天正文中的空格去掉,同时,有的正文中有单引号,这个会导致在数据插入时
* 出现问题,所以把正文中所有的单引号换成双引号
*/
out.print(str.replace(" ", "").replace("'", "\""));
}
}
out.close();
System.out.println("OK!");
} catch (IOException e) {
e.printStackTrace();
}
}
}
DBUtil.java
public class DBUtil {
public static Connection getConnection() {
String username = "root";
String password = "admin";
String url = "jdbc:mysql://localhost:3306/qqchat";
Connection con = null;
try {
con = DriverManager.getConnection(url, username, password);
} catch (SQLException e) {
e.printStackTrace();
}
return con;
}
public static void close(Connection con) {
try {
if(con!=null) con.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
public static void close(java.sql.PreparedStatement ps) {
try {
if(ps!=null) ps.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
public static void close(ResultSet rs) {
try {
if(rs!=null) rs.close();
} catch (SQLException e) {
e.printStackTrace();
}
}
}
QQChat.java
public class QQChat {
private String qqDate;
private String qqTime;
private String qqUser;
private String qqContent;
public String getQqDate() {
return qqDate;
}
public void setQqDate(String qqDate) {
this.qqDate = qqDate;
}
public String getQqTime() {
return qqTime;
}
public void setQqTime(String qqTime) {
this.qqTime = qqTime;
}
public String getQqUser() {
return qqUser;
}
public void setQqUser(String qqUser) {
this.qqUser = qqUser;
}
public String getQqContent() {
return qqContent;
}
public void setQqContent(String qqContent) {
this.qqContent = qqContent;
}
}
上面有一处用到了正则表达式,如果只导出与某一个人的聊天记录就没有必要用正则,如果导出的是好几年的群聊,正则就很有必要了。
把QQ聊天记录插入数据库中的更多相关文章
- 【hibernate spring data jpa】执行了save()方法 sql语句也执行了,但是数据并未插入数据库中
执行了save()方法 sql语句也执行了,但是数据并未插入数据库中 解决方法: 是因为执行了save()方法,也执行了sql语句,但是因为使用的是 @Transactional 注解,不是手动去提 ...
- SqlBulkCopy将DataTable中的数据批量插入数据库中
#region 使用SqlBulkCopy将DataTable中的数据批量插入数据库中 /// <summary> /// 注意:DataTable中的列需要与数据库表中的列完全一致.// ...
- 多线程查询数据,将结果存入到redis中,最后批量从redis中取数据批量插入数据库中【我】
多线程查询数据,将结果存入到redis中,最后批量从redis中取数据批量插入数据库中 package com.xxx.xx.reve.service; import java.util.ArrayL ...
- SqlBulkCopy实现大容量数据快速插入数据库中
一般情况下,我们手写sqlhelper类,在此类中定义一个数据插入到数据库的一个方法.将数据库连接密封在using()的语句中.using显示了Idispose接口.可以及时释放数据库连接资源.代码如 ...
- Java中获取刚插入数据库中的数据Id(主键,自动增长)
public int insert(String cName, String ebrand, String cGender) { String sql = "insert into Clot ...
- jjava Date格式是 May 07 17:44:06 CST 2018,怎么插入数据库中的timestamp格式中
首先 我来记录下错误 死在时间格式转换错误手里了 大致就是时间格式转化失败 java代码中的May 07 17:44:06 CST 2018 是这个格式转换为 数据库的 yyyy-MM-dd HH: ...
- mysql的load data,高速将文本文件,插入数据库中
1语法 LOAD DATA [ LOW_PRIORITY | CONCURRENT ] [ LOCAL ] INFILE 'file_name.txt' [ REPLACE | IGNORE ] IN ...
- mysql循环插入数据库中数据。
DELIMITER ;; CREATE PROCEDURE test_insert () BEGIN DECLARE i INT DEFAULT 1; WHILE i<100 DO insert ...
- pymysql中如何将动态的插入数据库中
data = { ', 'name': 'zengsf', 'age': 20 } table = 'students' #获取到一个以键且为逗号分隔的字符串,返回一个字符串 keys = ', '. ...
随机推荐
- Qt创建窗体的过程
版权声明 本文为原创作品,请尊重作者的劳动成果.转载必须保持文章完整性,并以超链接形式注明原始作者“ tingsking18”和 主站点地址,方便其他朋友提问和指正. QT源码解析(一) QT创建窗口 ...
- ProcessStartInfo.UseShellExecute 属性
获取或设置一个值,该值指示是否使用操作系统外壳程序启动进程. 命名空间:System.Diagnostics程序集:System(在 system.dll 中) 语法 C# C++ VB ...
- PLSQL调用webservice
1. 用途简介 为什么要在Oracle中访问WebService?在系统实现中,有时会有直接在数据库端利用触发器.存储过程等方式进行数据传递.分发的业务,而其中可能会涉及一些业务逻辑,为了处理 ...
- svn提交时强制注释
不少开发员提交修改的时候都不写注释,导致查看历史时很费劲,也不太符合规范.有的公司要求每次提交修改时都写上bug号或者任务描述,那么如何在工具上防止开发员们不写注释呢? 利用svn的pre-commi ...
- python 零散记录(一) input与raw_input 数学相关函数 转换字符串的方法
input()与raw_input(): 两者都是接受命令行输入,但区别在于,raw_input()接受原始数据(raw data). #使用input()来提示输入名字 input("en ...
- [Boost::Polygon]多边形相减得到新的多边形序列
#include <iostream> #include <boost/polygon/polygon.hpp> #include <cassert> namesp ...
- [CODEVS1014]装箱问题
题目描述 Description 有一个箱子容量为V(正整数,0<=V<=20000),同时有n个物品(0<n<=30),每个物品有一个体积(正整数). 要求n个物品中,任取若 ...
- [转载]tcp可靠性的好文
TCP是通过什么方式来提供可靠传输的 2012-11-23 14:18 665人阅读 评论(0) 收藏 举报 TCP是通过什么方式来提供可靠传输的 (合理截断数据包,超时重发,校验,失序重新排序,能够 ...
- 电源管理之pmu驱动分析
电源管理芯片可以为多设备供电,且这些设备电压电流有所不同.为这些设备提供的稳压器代码模型即为regulator. 说白了regulator就是稳压器,它提供电源供给.简单的可以gpio操作,高电平开电 ...
- Java学习感受
一个暑假,两本书,让我了解到了Java的神奇美妙,这个工具的年龄跟我一样大,然而日久弥新,随着电脑技术科学家,工程师的开发,Java的功能越来越完善.学习的时间不长,但我比较着学习,把Java跟C.C ...