1.jupyter的基本使用方式

两种模式:code和markdown

(1)code模式可以直接编写py代码

(2)markdown可以直接进行样式的指定

(3)双击可以重新进行编辑

(4)快捷键总结:

插入cell:a    b
删除cell:x
切换cell的模式:m y
执行cell:shift+enter
tab:自动补全
shift+tab:打开帮助文档

(5)ipynb文件相当于是放在缓存中,没有先后顺序.缓存机制

2.第二种打开anaconda的方式:

(1)图1

(2)图2

(3)图3,下图两个路径,也是也已打开浏览器的内容的

上边的方式打开,就不需要配置环境变量了.

2.基本概念:http回顾

1.什么是爬虫?

我们用过很多:就是浏览器本身就是

概念:通过编写程序,模拟浏览器上网,让其去互联网上获取数据的过程.

2.爬虫的分类

(1)通用爬虫:获取一整张页面数据,  比如百度,360,搜狗浏览器(背后有一套抓取系统)

(2)聚焦爬虫:根据指定的需求获取页面中指定的局部数据

(3)增量式爬虫:用来监测网站数据更新的情况,爬取网站最新更新出来的数据

(4)分布式爬虫:讲解完scrapy之后,再涉及到

3.反爬本质

反爬机制:网站可以采取相关的技术手段或者策略阻止爬虫程序进行网站数据的爬取

反反爬策略:让爬虫程序通过破解反爬机制获取数据

4.协议

(1)robots协议(可以不遵守):一种反爬协议,规定哪些数据可爬,哪些不可以爬,必须双方遵循才行.

  防君子不防小人的协议

  https://www.taobao.com/robots.txt

(2)http协议(超文本传输协议):client和server进行数据交互的形式(一定要善于总结)

https协议:安全的http

人与人之间其实就是在进行数据交互.

-使用到的头信息
  请求头信息:
  --User-Agent:请求载体的身份标识(浏览器或者爬虫程序都行,爬虫通过伪装的)
  比如,我们安装的是谷歌浏览器,而我们访问的是百度,请求的载体是"谷歌浏览器"
  --Connection:keep-alive或者close
    close属性:当发送的请求成功之后,请求对应的链接会立马断开
    keep-alive;当发送的请求成功之后,请求对应的链接会断开,但是不会马上断开
  响应头信息:
  --content-type:可以是json或者text或者js,作用:说明服务端响应回客户端的数据格式或者数据类型.

5.

https:安全的http协议

证书秘钥加密?

在理解上边的加密方式之前,我们先了解"对称秘钥加密","非对称秘钥加密"

初步了解即可

三种加密方式:证书秘钥加密,对称秘钥加密,非对称密钥加密

(1)SSL加密技术:

SSL采用的加密技术叫做"共享密钥加密",也叫作"对称秘钥加密".

缺点:一旦被三方拦截,就会被破解秘钥和公钥,密文就可能被破解

(2)非对称加密

缺点:(1)效率比较低,(2)客户端不知道是不是服务端发送的公钥.

(3)证书秘钥加密:攻克了非对称秘钥加密的问题

三方机构:证书认证机构

参考博客:https://www.cnblogs.com/bobo-zhang/p/9645715.html

小爬爬1:jupyter简单使用&&爬虫相关概念的更多相关文章

  1. 小爬爬1:开篇&&简单介绍启动

    1.第一阶段的内容 2.学习的方法? 思考,总结,重复 3.长大了意味着什么?家庭的责任,真的很重 4.数据分析&&数据清洗 numpy&&pandas&&am ...

  2. 一个简单java爬虫爬取网页中邮箱并保存

    此代码为一十分简单网络爬虫,仅供娱乐之用. java代码如下: package tool; import java.io.BufferedReader; import java.io.File; im ...

  3. 用python3.x与mysql数据库构建简单的爬虫系统(转)

    这是在博客园的第一篇文章,由于本人还是一个编程菜鸟,也写不出那些高大上的牛逼文章,这篇文章就是对自己这段时间学习python的一个总结吧. 众所周知python是一门对初学编程的人相当友好的编程语言, ...

  4. 纯手工打造简单分布式爬虫(Python)

    前言 这次分享的文章是我<Python爬虫开发与项目实战>基础篇 第七章的内容,关于如何手工打造简单分布式爬虫 (如果大家对这本书感兴趣的话,可以看一下 试读样章),下面是文章的具体内容. ...

  5. 每天几分钟跟小猫学前端之node系列:用node实现最简单的爬虫

    先来段求分小视频: https://www.iesdouyin.com/share/video/6550631947750608142/?region=CN&mid=6550632036246 ...

  6. 【转】使用webmagic搭建一个简单的爬虫

    [转]使用webmagic搭建一个简单的爬虫 刚刚接触爬虫,听说webmagic很不错,于是就了解了一下. webmagic的是一个无须配置.便于二次开发的爬虫框架,它提供简单灵活的API,只需少量代 ...

  7. Selenium + PhantomJS + python 简单实现爬虫的功能

    Selenium 一.简介 selenium是一个用于Web应用自动化程序测试的工具,测试直接运行在浏览器中,就像真正的用户在操作一样 selenium2支持通过驱动真实浏览器(FirfoxDrive ...

  8. python (1)一个简单的爬虫: python 在windows下 创建文件夹并写入文件

    1.一个简单的爬虫:爬取豆瓣的热门电影的信息 写在前面:如何创建本来存在的文件夹并写入 t_path = "d:/py/inn" #本来不存在inn,先定义路径,然后如果不存在,则 ...

  9. nodejs实现最简单的爬虫

    本文将以抓取百度搜索结果中关键词的相关搜索为例子,教会大家以nodejs制作最简单的爬虫:  开始之前呢,先来个公众号求粉:      将使用的node模块及属性介绍:   request:     ...

随机推荐

  1. 关于apache kylin 安装32位linux办法

    最近公司在使用apache kylin做实时开发访问,但是自己集群是linux32 只能安装JDK32位的受限只能3G多内存,而apachekylin 默认是4G内存,需要JDK64位支持. 解决办法 ...

  2. lc287 Game of Live

    lc287 Game of Live 难点在于不能使用额外的空间. 观察到数组中每一个元素要么为1要么为0,32位int只用了一位,可以利用bit操作,将第二次state存储到int变量的倒数第二位中 ...

  3. 使用Jedis操作Redis-使用Java语言在客户端操作---对key的操作

    //添加String类型的模拟数据. jedis.set("mykey", "2"); jedis.set("mykey2", " ...

  4. 汉诺塔III HDU - 2064

    汉诺塔III HDU - 2064   约19世纪末,在欧州的商店中出售一种智力玩具,在一块铜板上有三根杆,最左边的杆上自上而下.由小到大顺序串着由64个圆盘构成的塔.目的是将最左边杆上的盘全部移到右 ...

  5. Django 的学习(2) 从adminuser到配置

    创建一个superuser python manage.py createsuperuser 然后是密码邮箱用户名 You should see a few types of editable con ...

  6. Angungular.js 的过滤器&工具方法

    字母大小写 数字 货币 截取字符串 截取数组 用JS操作 ----------------------------------------------------------------------- ...

  7. ubuntu和win10设置双显示器

    ubuntu:最右上角那个图标,点开找到系统设置,系统设置中找到“显示”中,在其中可以调节双屏显示或者只显示一个屏,图等会补... win10:现在是ubuntu系统所以操作忘记了写不出来,等下换系统 ...

  8. 【CODEVS】2833 奇怪的梦境

    2833 奇怪的梦境 时间限制: 1 s 空间限制: 128000 KB 题目等级 : 黄金 Gold 题目描述 Description Aiden陷入了一个奇怪的梦境:他被困在一个小房子中,墙上有很 ...

  9. Javascript实现信息滚动效果的方法

    <html><head><meta http-equiv="Content-Type" content="text/html; charse ...

  10. js经典校验之注册与登录校验

    平时都专注于后台功能的实现和逻辑需求的分析及数据库方面的设计,很少关注前端的设计,而项目开发过程中专门负责后台是不太可能的事,所以前端我们也需要会用,除了漂亮的首页等其他的交给美工来做,一些功能性的东 ...