今天一直在做opentsdb 大量导入数据的工作. 中间遇到了一些值得记录的问题, 这里随手记一下 明天好好整理 1. 多进程logger python的logging模块不支持多进程,但我们可以用syslog模块 把进程写给linux/unix的syslog服务. syslog 有local 0 - 7 8个通道. 把一个通道配置到你的日志文件 然后写入即可 2. 多进程 apply_async 这个函数有点奇怪.下面的代码df如果是string就可以.如果不是string, 那么子进程好像不…

1.在使用webpack打包项目时,可以在配置文件中配置resolve.alias来定义一些绝对路径,方便在项目中灵活使用路径,举例如下: resolve: { extensions: [‘.js‘, ‘.vue‘], alias: { ‘@‘: path.resolve(__dirname, ‘src‘), ‘@scss‘: path.resolve(__dirname, ‘src‘, ‘scss‘), '@/common': path.join(process.cwd(), 'client/…

from django.shortcuts import render,redirect from django.contrib.auth import authenticate,logout,login from django.contrib.auth.decorators import login_required from django.core.paginator import Paginator,PageNotAnInteger,EmptyPage from django.db.mod…

/** * 模块的引入规则: * 不带路径的去node_modules中去找: * 带路径的去相应的路径中去找: * 模块可以不加后缀名,node会依次尝试.mjs..js..json..node 这四个后缀 * 如果找不到文件回去package.json中加载main属性对应的脚本,如果package.json * 中不存在main属性,那么就尝试加载与这个文件同名的文件夹下的index模块 */ import 'ui/es'; import 'ui/promises'; import 'ui…

一.查找@Resource在那个jar包里 @Resource注解的类路径是:javax.annotation.Resource,是annotation-api.jar包中的类,是JDK1.6支持的注解.tomcat6以上,tomcat已经包含了这个jar包,不需要自己导入. 二.maven 由此想到应该是maven的问题,maven默认按照自己的jdk版本进行编译,打开安装目录\maven\conf\settings.xml 竟然是jdk1.4! 接下来问题就变成了修改maven默认jdk版本…

Prometheus 包含一个存储在本地磁盘的时间序列数据库,同时也支持与远程存储系统集成,比如grafana cloud 提供的免费云存储API,只需将remote_write接口信息填写在Prometheus配置文件即可. 本文不涉及远程存储接口内容,主要介绍Prometheus 时序数据的本地存储实现原理. 什么是时序数据? 在学习Prometheus TSDB存储原理之前,我们先来认识一下Prometheus TSDB.InfluxDB这类时序数据库的时序数据指的是什么? 时序数据通常以…

1,当出现无法创建bean,( Error creating bean with name 'fileUploadService': Injection of resource dependencies failed; nested exception is org.springframework.beans.factory.NoSuchBeanDefinitionException: No bean named 'fileUploadDao' is defined),需要考虑2方面问题:1)是…

函数式编程的核心就是把函数当成对象来进行编程. 有两个常用到的方法:map/reduce,filter,其中map和filter是内建方法,而reduce不是,所以需要import相关模块. map接收两个参数,第一个参数是函数(处理办法),第二个参数是一个可迭代对象,而map可以把第二个参数的变量映射到函数中一一进行处理,结果以list形式返回. In [147]: def f(x): .....: return x*x .....: In [148]: r = map(f,[1,2,3,4,…

Django提供了干净优雅的 URL 方案,URL配置文件是一个标准的 python 文件,支持动态配置.它的本质就是URL模式与调用的视图函数之间的映射表,最简单的配置文件如下: from django.conf.urls.defaults import * from sailing.manager.views import search urlaptterns = patterns('', url(r'^search$',search), ) 上面使用的是传递函数对象的方式(在 python…

回顾: hive 优点 1. 类sql语句靠近关系型数据库,可自定义函数,增加了扩展性,易于开发,减少mapreduce学习成本 2. hive转换sql语句为mapreduce程序以mapreduce为底层实现 3. hive基于hadoop的hdfs,在hdfs上存储,因为hdfs的扩展性,hive的存储扩展性相应增加 hive 安装部署 1. 解压安装包 2. 进入conf目录,拷贝(备份)相应配置文件,修改 hive-env.sh --> HADOOP_HOME=/opt/cdh-5.6…