read_sql_query, read_sql_table def read_sql_query(sql, con, index_col=None, coerce_float=True, params=None, parse_dates=None, chunksize=None): sql: mysql 语句 con: 数据库连接对象 index_col: 字符串或字符串列表,可选,默认值:无 要设置为索引的列(MultiIndex) coerce_float: 默认为True 尝试将非字符串…

Numpy [数组切片] In [115]: a = np.arange(12).reshape((3,4)) In [116]: a Out[116]: array([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]]) In [117]: a[1:,1:3] Out[117]: array([[ 5, 6], [ 9, 10]]) In [118]: [布尔值索引]找出数据中大于5的元素 In [134]: a = [ random.randint(…

pandas中read_xxx的块读取功能 pandas设计时应该是早就考虑到了这些可能存在的问题,所以在read功能中设计了块读取的功能,也就是不会一次性把所有的数据都放到内存中来,而是分块读到内存中,最后再将块合并到一起,形成一个完整的DataFrame. def read_sql_table(table_name, con, schema=None, index_col=None, coerce_float=True, parse_dates=None, columns=None, chu…

一:创建链接数据库引擎 from sqlalchemy import create_engine db_info = {'user':'user', 'password':'pwd', 'host':'localhost', 'database':'xx_db' # 这里我们事先指定了数据库,后续操作只需要表即可 } engine = create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s/%(database)s?charse…

最近一项工作需要读取数据库中1500万条数据,考虑到数据量太大,不方便直接一次性读取,不然会内存爆炸.想到用pandas.read_sql_query()里有一个chunksize可以分批返回chunksize个数据,于是用pandas试了下,代码如下: import pandas as pd from sqlalchemy import create_engine import psycopg2 import json class DB_connection(object): def __in…

Scala Macros对scala函数库编程人员来说是一项不可或缺的编程工具,可以通过它来解决一些用普通编程或者类层次编程(type level programming)都无法解决的问题,这是因为Scala Macros可以直接对程序进行修改.Scala Macros的工作原理是在程序编译时按照编程人员的意旨对一段程序进行修改产生出一段新的程序.具体过程是:当编译器在对程序进行类型验证(typecheck)时如果发现Macro标记就会将这个Macro的功能实现程序(implementation…

很多时候第三方库或其他项目提供的库多数会以动态库的形式提供dll以及相应的lib导入库.头文件,不过也有的只是提供dll和头文件,或者也提供了def模块定义(用于导出函数)文件,此时若使用将不得不调用LoadLibrary以及GetProcAddress以获取一系列需要的函数,相对来说比较繁琐:多数人更喜欢使用引入库的方式. 此时需要通过提供的dll或者def文件来获取lib导入库文件,操作步骤如下: 1. 若只提供dll,则需通过dumpbin工具提取dll中导出的各个函数: dumpbin…

412. Fizz Buzz Write a program that outputs the string representation of numbers from 1 to n. But for multiples of three it should output "Fizz" instead of the number and for the multiples of five output "Buzz". For numbers which are m…

set : 无序,不重复,可以嵌套 .add (添加元素) .update(接收可迭代对象)---等于批量 添加 .diffrents()两个集合不同差 .sysmmetric difference(对称差集 .discard(移除指定元素,没有不会报错) .remove(移除某个元素,没有时报错) .pop(随机移除元素),返回移除的元素. .intersection(s1,s2,中的交集) .union(并集,去掉重的) ..intersection_update .issubset(判断是…

val strVal = scala.io.Source.fromFile("test.txt").mkString //在strVal被定义的时候获取值,如果test.txt不存在,直接报异常 lazy val strLazy = scala.io.Source.fromFile("test.txt").mkString //在strLazy第一次被使用的时候取值,如果test.txt不存在,不使用strLazy是不会报异常的,第一次访问strLazy的时候报异常…