从sql中导出需要的数据为csv格式的数据 select field1,field2,...,fieldn from TABLE into outfile '/test.csv' fields terminated by ',' optionally enclosed by "" escaped by "" lines terminated by '\r\n'; 将test.csv数据导入到mongodb中,本人使用的是mongodb-3.2 mongoimport…

import sys import json import pymongo import datetime from pymongo import MongoClient client = MongoClient('mongodb://192.168.1.31:20000,192.168.1.34:20000') db = client.RHY collection = db.ST_RIVER_R f = open("D:/bigdata/st_river_r.CSV") line =…

mysql导入数据到oracle中. 建立Oracle表: CREATE TABLE "GG_USER" ( "USERID" BYTE) NOT NULL, "ISPART" BYTE) DEFAULT NULL, "ACTUALPOSITIONID" ) DEFAULT NULL, "BEGINWORKTIME" ) DEFAULT NULL, "BIRTHDAY" ) DEFAUL…

今天接到项目中的一个功能,要实现excel的导入,导出功能.这个看起来思路比较清楚,但是做起了就遇到了不少问题. 不过核心的问题,大家也不会遇到了.每个项目前台页面,以及数据填充方式都不一样,不过大多都是以json数据填充的.在导入excel填充json数据到页面时,真的让我差点吐血了.在做这个导入导出的时候,那一个礼拜都是黑暗的. 好了,废话不多说了,我今天就给大家展示这个两个功能的核心点,excel生成json数据和json数据生成excel文件. 一:从上传文件到服务器,后台java解析,…

简单配置了sqoop之后开始使用,之前用的时候很好用,也不记得有没有启动hivemetastore,今天用的时候没有启动,结果导入数据时,如果使用了db.tablename,就会出现找不到数据库的错,一直找到不到原因, 换了sqoop还是一样,后来查了一下,在sqoop/conf下多了一个metastore.db的文件夹,我把这个文件删了,然后把hive-site.xml的文件从hive/conf中复制过来. 此时问题解决…

在使用命令导数据过程中,出现如下错误 sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.29.16:1521/testdb --username NAME --passord PASS --verbose -m 1 --table T_USERINFO 错误1:File does not exist: hdfs://opt/sqoop-1.4.4/lib/commons-io-1.4.jar FileNotFoundEx…

http://www.cnblogs.com/hfzsjz/archive/2010/12/31/1922901.html http://hi.baidu.com/ctguyg/item/ebc857e90e436ae1fb42ba01 1 <form action="" method="post" runat ="server"> 2 <div> 3 <span>请选择文件:</span><…

最近有个需求,需要把五千万条数据批量写入redis中,方法倒是有很多种!效率最高的就是通过redis-cl管道的方式写入 一:先看看命令 cat redis.txt | redis-cli -h 127.0.0.1 -a password - p 6379 --pipe 结构很简单 redis.txt 是你的文件名称 后面是你的客户端 二:redis.txt 的 文件格式 2.1 redis.txt的格式一 有两种文件格式 都是可以的 eg:  set yutes testsss *3 $3 s…

insert into OPENROWSET('Microsoft.ACE.OLEDB.12.0','Excel 12.0;Database=C:\c.xlsx','select 字段1,字段2 FROM [sheet1$]')  select 字段1,字段2 from table 今天单位一ASP.NET网站,里面有个功能是导出数据,发现一导出就报错,报错内容是:SQL Server 阻止了对组件 'Ad Hoc Distributed Queries' 的 STATEMENT'OpenRow…

更改默认端口 sudo vi /etc/mongod.conf 进入conf文件,修改port值为19999保存并退出. 重启mongodb sudo service mongod restart 进入mongo shell mongo --port 19999 本地数据库导入线上服务器的mongodb中 1 备份本地数据库 git 切换到mongodb/data,输入: ../bin/mongodump -h 127.0.0.1:27017 -d vueBlog -o ../data/vueB…