实习了两个月爬虫,第一个月学到了不少东西,尤其是真实链接的抓取还有定时爬虫以及一些常规的反爬策略. 但是感觉第二个月的工作内容和预想的轨道渐渐脱离,所以选择了辞职,停下来重新看一下以后的路该怎么走,调整一下,具体的就不多说了,涉及到保密 换了个电脑重新装一下anaconda4.2(python3.5)这个版本对于windows来说还是比较重要的 jupyter修改默认存储路径 cmd输入  jupyter notebook --generate-config 找到该配置文件jupyter_not

由于hadoop节点的磁盘满了,导致节点死掉,今天对其进行扩容.首先,将原节点的数据拷贝到目标节点下,从而避免数据的丢失,但是在执行hadoop_daemon.sh start datanode后没有启动datanode,查看log如下: 2014-04-17 11:44:06,200 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permiss

day07 Linux配置修改 昨日回顾 1.系统目录 /etc :系统配置目录 /bin-> /usr/bin :保存常用命令的目录 /root :超级管理员目录 /home :普通管理员目录 /usr :存放应用程序目录 /boot :存放系统启动文件 /dev :存放硬件相关信息 /proc :存放系统运行的信息 /mnt :临时挂载目录 /opt :下载目录 /usr/local :安装第三方软件目录 /tmp :临时文件 /var :存放日志的目录 /run :存放应用程序运行时产生的

案例说明: 默认KingbaseES R3集群部署后,数据存储目录(data)在/home/kingbase下,部署时不能更改:本案例是在部署完成后,迁移data目录到其他指定的存储位置. 数据库版本: test=# select version(); version -------------------------------------------------------------------------------------------------------------------

最近工作需要,看了HDFS读写数据块这部分.不过可能跟网上大部分帖子不一样,本文主要写了${dfs.data.dir}的选择策略,也就是block在DataNode上的放置策略.我主要是从我们工作需要的角度来读这部分代码的. hdfs-site.xml <property> <name>dfs.data.dir</name> <value>/mnt/datadir1/data,/mnt/datadir2/data,/mnt/datadir3/data<

Linux系统中的每个文件和目录都有访问许可权限,用它来确定谁可以通过何种方式对文件和目录进行访问和操作. 文件或目录的访问权 限分为只读,只写和可执行三种.以文件为例,只读权限表示只允许读其内容,而禁止对其做任何的更改操作.可执行权限表示允许将该文件作为一个程序执行.文 件被创建时,文件所有者自动拥有对该文件的读.写和可执行权限,以便于对文件的阅读和修改.用户也可根据需要把访问权限设置为需要的任何组合. 有三种不同类型的用户可对文件或目录进行访问:文件所有者,同组用户.其他用户.所有者一般是文

catalog . 应用场景 . 通过Linux prctl修改进程名 . 通过修改进程argv[]修改进程名 . 通过bash exec命令修改一个进程的cmdline信息 1. 应用场景 . 标识父子进程名称,防止被误杀 . 构造假的进程名及参数,引导非法进入人员到蜜罐系统,取证 . 恶意程序.木马会通过"檫除"自己的进程名,使ps的时候显示的是一个无名字的进程,同时删除进程对应磁盘上的文件 Relevant Link: http://blog.chinaunix.net/uid-

linux查看修改线程默认栈空间大小 ulimit -s 1.通过命令 ulimit -s 查看linux的默认栈空间大小,默认情况下 为10240 即10M 2.通过命令 ulimit -s 设置大小值 临时改变栈空间大小:ulimit -s 102400, 即修改为100M 3.可以在/etc/rc.local 内 加入 ulimit -s 102400 则可以开机就设置栈空间大小 4.在/etc/security/limits.conf 中也可以改变栈空间大小: #<domain> &l

一.linux下修改apache端口号 yum安装后,apache配置文件: /etc/httpd/conf/httpd.conf 找到apache目录下的 httpd.conf, 使用vi 打开,找到 port=80 这一行, 把80改成在此服务器上没有用到的端口号,保存退出.

1.ubuntu chmod 无法更改 文件夹权限 系统提示“不允许的操作 答案:需要超级用户权限 sudo 2.linux 如何修改只读文件 答案:可以使用chmod命令,为改文件提供其他的权限.u表示用户.a表示全部.g表示组,r表示可读.w表示可写.x表示可执行,你可以使用“chmod a+w test.c”来添加权限,这是比较方便的直观的方法 3.ubuntu安装samba实现与windows文件共享   为了实现Windows主机与Linux服务器之间的资源共享,Linux操作系统提供

================================================= [root@tzyyserveryg ~]# date -R Fri, 28 Nov 2014 08:35:37 +0800 [root@tzyyserveryg ~]# cat /etc/sysconfig/clock # The time zone of the system is defined by the contents of /etc/localtime. # This file i

Linux下修改MAC地址 方法一: 1.关闭网卡设备ifconfig eth0 down2.修改MAC地址ifconfig eth0 hw ether MAC地址3.重启网卡ifconfig eth0 up 方法二:以上方法一修改后linux重启后MAC又恢复为原来的,为了下次启动时修改后的MAC仍有效,我们可以修改文件file:/etc/rc.d /rc.sysinit(RedFlag Linux为这个文件,其他版本的linux应该不同)的内容,在该文件末尾加以下内容:ifconfig et

bbed 可以在db open 状态来进行修改,但是建议在做任何修改操作之前先shutdown db. 这样避免checkpoint 进程重写bbed 对block 的修改. 也避免oracle 在bbed 修改完成之前读block 或者申明block 为corrupt. 一. 示例: 修改Data内容 1.1连接bbed [oracle@ora10 ~]$ bbed parfile=/u01/app/oracle/bbed/bbed.par Password: BBED: Release 2.

linux vi修改后如何保存 按ESC键去到命令模式,然后: :w?? 保存文件但不退出vi :w file 将修改另外保存到file中,不退出vi :w! 强制保存,不推出vi :wq 保存文件并退出vi :wq! 强制保存文件,并退出vi :q不保存文件,退出vi :q!不保存文件,强制退出vi :e! 放弃所有修改,从上次保存文件开始再编辑 之后,回车,ok!

# 1 copy orgin data dir of mysql to new one cp -R /var/lib/mysql /mysqldata chown mysql:mysql -R /mysqldata # 2 modify configure files, search for datadir in file /etc/mysql/my.cnf #datadir = /var/lib/mysql datadir = /mysqldata # 3 modify configure f

Linux下修改PATH的方法 1.直接在命令行里敲 PATH=$PATH:/path1:/path2:/pathN用户登出之后PATH恢复原样. 只是临时起作用. 2.修改~目录下bash_profile, cdvi .bash_profile找到PATH=$PATH:$HOME/bin这一行,直接在后面加:/path1:/path2就行.然后source .bash_profile这个只对当前用户生效 3.修改/etc/profile文件, vi /etc/profile在适当位置添加PAT

Linux下修改网卡IP和网关 建议通过终端字符方式下来修改 一.修改IP地址 vi /etc/sysconfig/network-scripts/ifcfg-eth0 DEVICE=eth0 BOOTPROTO=none BROADCAST=192.168.1.255 IPADDR=192.168.1.33 NETMASK=255.255.255.0 NETWORK=192.168.1.0 ONBOOT=yes USERCTL=no PEERDNS=no TYPE=Ethernet ~ vi

在Linux的系统下如何才能修改IP信息 以前总是用ifconfig修改,重启后总是得重做.如果修改配置文件,就不用那么麻烦了- A.修改ip地址 即时生效: # ifconfig eth0 192.168.0.20 netmask 255.255.255.0 启动生效: 修改/etc/sysconfig/network-s/ifcfg-eth0 B.修改default gateway 即时生效: # route add default gw 192.168.0.254 启动生效: 修改/etc

Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid) java.io.IOException: All directories in dfs.datanode.data.dir are invalid: "/usr/local/hadoop-2.4.0/dfs/data" at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocat

以下转自http://blog.csdn.net/cyuyan112233/article/details/6539122 Linux下修改字符集 locale -a 查询系统支持的字符集 export LANG=zh_CN.gbk设定字符集 一般来说要设置 Linux 系统的环境变量只需要在 /etc/profile (全局) 或者 ~/.bashrc (单个用户) 即可.但 是对于 LANG 变量来说,有时候你即使在所有这些初始化脚本里面 export 过了,LANG 的值还是纹丝不动 .实

修改linux的时间可以使用date指令 修改日期: 时间设定成2009年5月10日的命令如下: #date -s 05/10/2009 修改时间: 将系统时间设定成上午10点18分0秒的命令如下. #date -s 10:18:00 修改时区: 找到相应的时区文件 /usr/share/zoneinfo/Asia/Shanghai替换当前的/etc/localtime. 修改/etc/sysconfig/clock文件的内容为: ZONE=”Asia/Shanghai” UTC=false A