conda命令入坑记 本人使用的软件版本: TypeError: LoadLibrary() argument 1 must be str, not None 网上太多的资料,大多都是在讲path的设置,试来试去根本无效,反而绕的晕的不行!!还好!有两篇文章将的还靠点边,在加上自己的理解,终于------- windows anaconda TypeError: LoadLibrary() argument 1 must be str, not None [Debug] - taoqick的专栏…

Hadoop入坑记 按照官方给的伪分布式配置 etc/hadoop/core-site.xml: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> 进行配置会出问题 正确的配置如下: 还有一个地方需要修改的就是/etc/hos…

一.概述 Kylo,作为一个基于 Spark 和 NiFi 的开源数据湖编排框架,解决对数据湖获取.治理.感知和技术支持等诸多问题.Kylo 将数据湖的很多功能自动化,包括数据接入.准备.分析发现.Profiling 和管理等等.Kylo 提供了符合业务分析人员思路的 GUI 界面以及 IT 运营和数据科学等模块. 通过 Kylo 的 GUI 界面,业务人员可以按照他们关心的方式来操作数据,包括: 创建数 据源.定义数据加载.数据预处理.转换,发布到目标系统.因为不需要部署任何代码,也不需要依赖…

Spring Cloud Gateway入坑记 前提 最近在做老系统的重构,重构完成后新系统中需要引入一个网关服务,作为新系统和老系统接口的适配和代理.之前,很多网关应用使用的是Spring-Cloud-Netfilx基于Zuul1.x版本实现的那套方案,但是鉴于Zuul1.x已经停止迭代,它使用的是比较传统的阻塞(B)IO + 多线程的实现方案,其实性能不太好.后来Spring团队干脆自己重新研发了一套网关组件,这个就是本次要调研的Spring-Cloud-Gateway. 简介 Spring…

概要 由于gRPC主要是谷歌开发的,由于一些已知的原因,gRPC跑demo还是不那么顺利的.单独写这一篇,主要是gRPC安装过程中的坑太多了,记录下来让大家少走弯路. 主要的坑: 如果使用PHP.Python开发gRPC的客户端,需要编译gRPC命令行工具,生成proto的代码生成插件,否则proto里定义的service无法编译出来.编译需要使用GCC4.8级以上版本,否则报不支持C++11.然后需要龟速下周grpc源码,并下载一大堆第三方依赖.这个过程非常痛苦.使用golang.java的可…

记录一遍Jenkins初级使用教程 一,安装 (操作系统 centerOS7) 1-1.本次使用的是rpm包安装方式,在Jenkins官网下载rpm安装文件 下载地址: https://pkg.jenkins.io/redhat/.选择其中一个版本进行下载: 1-2.将下载好的rmp文件上传至服务器,进入rpm所在目录 执行安装命令: rpm -ivh jenkins-2.175-1.1.noarch.rmp 待安装完毕后执行 rpm -q  jenkins 查询是否已经安装了Jenkins,…

[Stage 236:> (0 + 0) / 400]17/12/04 09:45:55 ERROR yarn.ApplicationMaster: User class threw exception: org.apache.spark.SparkException: Job aborted due to stage failure: Task serialization failed: java.lang.StackOverflowError java.io.ObjectOutputStre…

开发环境: windows10 x64 专业版 工具准备: git 2.16.2 windows命令行版 java jdk 1.8:https://www.cnblogs.com/harmful-chan/p/12193497.html maven 3.6.3:https://www.cnblogs.com/harmful-chan/p/12193579.html nvm 1.1.7:https://www.cnblogs.com/harmful-chan/p/12193611.html nod…

1 原本以为自己对redis命令还蛮熟悉的,各种数据模型各种基于redis的骚操作.但是最近在使用redis的scan的命令式却踩了一个坑,顿时发觉自己原来对redis的游标理解的很有限.所以记录下这个踩坑的过程,背景如下: 公司因为redis服务器内存吃紧,需要删除一些无用的没有设置过期时间的key.大概有500多w的key.虽然key的数目听起来挺吓人.但是自己玩redis也有年头了,这种事还不是手到擒来? 当时想了下,具体方案是通过lua脚本来过滤出500w的key.然后进行删除动作.lu…

一 学习契机 今年是走出校门的第一个年头,进入了一家还算不错的公司,领着一份还算不错的薪水,在外人眼中,似乎这样已经不错了,只要我努力好好做,前程一片光明.可事实真是这样吗?两份实习经历都指向我应该从事的方向,然而现实却让我最终背弃了当初自己的信誓旦旦.但是跟人说起的时候,我羞于承认现在的职业并不是我的主动选择,而是因为想做的职业并没有向我伸出橄榄枝. 每天坐在工位上,做着迟早会被系统取代的工作,价值感非常低.在与各种人际之间的纠葛当中,让我内耗非常严重.每天早上起来,走在上班的路上,气若游丝,…