python系列五（python5）

• 1、谁有Python教程啊？
• 2、python的五个特点
• 3、Python五大应用领域是什么?
• 4、Python其实很简单 第五章 基本数据类型
• 5、Python编程基础之（五）Scrapy爬虫框架

Python教程百度网盘免费资源在线学习  

链接:

提取码: zup2  

Python教程 智普教育python就业培训视频教程Swf版 小甲鱼python 老王Python培训视频教程【基础进阶项目篇 – 完整版】 老男孩python课程 快速掌握 Python Django 1.5 网页开发 [编程开发] 炼数成金Python网络程序系列教程[价值400元] python中古教育 Python灰帽教程基础与深入 Python编程实践教学视频教程26集+源码.rar python编程开发入门中文视频培训教程38讲 Lets-python系列视频教程26讲 Hacking_python系列视频.rar ★ 重要文件-必看 Lets-python-017-文件和输入输出01.avi  

python的五个特点：

1、简单易学

python是一种代表简单主义思想的语言，阅读一个良好的python程序就感觉像是在读英语段落一样，尽管这个英语段的语法要求非常严格。python最大的优点之一是具有伪代码的本质，它使我们在开发python程序时，专注的是解决问题，而不是搞明白语言本身。

2、面向对象

python既支持面向过程编程，也支持面向对象编程。在面向过程的语言中，程序是由过程或仅仅是可重用代码的函数构建起来的。在面向对象的语言中，程序是由数据和功能组合而成的对象构建起来的。

与其他主要的语言如C++和Java相比，python以一种非常强大又简单的方式实现面向对象编程。

3、可移植性

由于python的开源本质，它已经被移植在许多平台上。如果小心地避免使用依赖于系统的特性，那么所有python程序无需修改就可以在下述任何平台上运行，如：Linux、Windows、FreeBSD、Macintosh、Solaris、OS/2、Amiga、AROS、QNX、VMS、Windows

CE，甚至还有PocketPC、Symbian以及Google基于Linux开发的android平台。

4、解释性

一个用编译性语言如C或C++写的程序可以从源文件转换到一个计算机使用的语言。这个过程通过编译器和不同的标记、选项完成。当运行程序的时候，连接转载器软件把程序从硬盘复制到内存中并且运行。

而python语言写的程序不需要编译成二进制代码，可以直接从源代码运行程序。在计算机内部，python解释器把源代码转换成称为字节码的中间形式，然后再把它翻译成计算机使用的机器语言并运行。

事实上，由于不再担心如何编译程序，如何确保连接转载正确地库等，这一切使得使用python变得更为简单。

5、开源

python是FLOSS之一。简单地说，你可以自由地发布这个软件的拷贝，阅读它的源代码，对它做改动，把它的一部分用于新的自由软件中。

FLOSS是基于一个团体分享知识的概念，这是为什么python如此优秀的原因之一;它是由一群希望看到一个更加优秀的python的人创造并经常改进这的。

【导读】伴随着国家战略对“新基建”施行提上日程，大数据将会得到进一步推行和运用。那么，作为大数据开发言语之一的Python言语，在哪些领域有重要运用呢?今天就跟随小编一起来了解下吧!

一、网络爬虫

网络爬虫是Python比较常用的一个场景，国际上，google在前期大量地运用Python言语作为网络爬虫的根底，带动了整个Python言语的运用发展。

二、数据处理

Python有很齐备的生态环境。”大数据”分析中涉及到的分布式核算、数据可视化、数据库操作等，Python中都有成熟的模块能够挑选完结其功能。关于Hadoop-MapReduce和Spark，都能够直接运用Python完结核算逻辑，这不管关于数据科学家仍是关于数据工程师而言都是十分便当的。

三、web开发

Python的诞生前史比Web还要早，由于Python是一种解说型的脚本言语，开发效率高，所以十分适合用来做Web开发。

Django 是 Python 编程言语驱动的一个开源模型-视图-控制器(MVC)风格的 Web 运用程序结构。运用

Django，咱们在几分钟之内就能够创建高品质、易维护、数据库驱动的运用程序。

四、数据分析

关于数据分析师来说，不只要自己理解数据背面的含义，而且还要给更直地展现数据的含义。

Scipy是一组专门解决科学核算中各种规范问题域的包的集合。Numpy是python科学核算的根底包。Pandas处理上千万的数据是一挥而就的工作，同时随后咱们也将看到它比SQL有更强的表达能力，能够做很多复杂的操作，要写的code也更少。

五、人工智能

人工智能是现在十分火的一个方向，AI热潮让Python言语的未来充满了无限的潜力。现在释放出来的几个十分有影响力的AI结构，大多是Python的实现，为什么呢?

在人工智能大领域领域内的数据发掘、机器学习、神经网络、深度学习等方面都是主流的编程言语，得到广泛的支持和运用。人工智能的核心算法大部分仍是依赖于C/C++的，由于是核算密集型，需求十分精细的优化，还需求GPU、专用硬件之类的接口，这些都只要C/C++能做到。

关于Python五大应用领域是什么，小编就和大家分享到这里了，学习是永无止境的，学习一项技能更是受益终身，所以，只要肯努力学，什么时候开始都不晚。

编程的目的就是为了处理信息，信息则是由各种不同类型的数据表示的，对数据的进一步处理也会使信息更加丰富和有效。

5.1变量

前面已经提到过“变量”这属语，下面再进一步解释一下。

在程序运行时，必须把数据导入计算机的存储单元中，但存储单元的命名是用二进制数表示的，晦涩难懂。为了方便起见，可以给存储单元起上一个通俗易懂的名字，即 变量名 。

变量的生命周期和程序的运行周期是相同的，一个程序运行解释，所占用的存储空间也就随之释放，用变量名表示的数据所占用的这个存储单元也就空闲了。

变量名的命名规则：

由字母、数字、下划线构成，必须由字母开头。

不能包含-、*、？、#、、；、/、、@、%、$、空格等特殊字符。

最好使用有含义的英文单词或汉语拼音。

最好采用小写字母。

不能使用保留字（已被Python语言系统本身赋予特定意义的单词）。Python的保留字如下表所示。

Python保留字列表

Python是区分大小写的，虽然可以将一个英文单词通过字母大小写不同而作为不同变量的变量名，但从程序可读性的角度看，的确不可取。

Python是一种动态类型的语言，变量的类型由变量的值决定。换而言之，给变量赋何种类型的值，变量就是该值的类型。给变量赋值可以通过赋值号(=)来实现。如：

myvar=100

type(myvar)

myvar=’tom’

type(myvar)

在这个例子中，变量myvar首先赋值为100，显而易见，100是个整数，通过type()这个函数检测，变量myvar的类型为整数类型(int)；接下来变量myvar赋值为‘tom’，通过type()这个函数检测，变量myvar的类型改变为字符串类型(str)。

不仅可以给一个变量赋值为常量，也可以赋值为另一个变量。如：

a=100

b=a

b

100

在这个例子中，“b=a”的实际意义是，变量b和变量a指向同一个存储单元，既然是同一个存储单元，变量b和变量a本质上就是完全相同的，这就好比一个人除了本名之外，还有其他的名字，如笔名、昵称、乳名等等，虽然本质一样，但是可以在不同场合使用。

5.2关于Python的常量问题

在大多数语言中都有常量这个概念，但是Python却没有。其实仔细想想也好像没有设置常量的必要，只要一个变量的值不发生变化，即不给变量重新赋值，它的值当然不会变化，它便是个常量。

5.3基本数据类型

5.3.1整数型和浮点数

整数型(integer)，可以是正整数、负整数和0，可以是十进制、八进制、二进制等。

浮点数(float)，由整数部分和小数部分组成，主要用于处理包括小数的数。浮点数也可以用科学计数法表示。

5.3.2 字符串类型

字符串类型是由一系列的字母或者其他符号组成的数据序列，通常用单引号、双引号或三引号括起来。

用单引号和双引号括起来的字符串只能放在同一行，用三引号括起来的字符串可以分布在连续多行上。如：

name=’我的名字叫王小明’

old=”今年6岁”

introduce=”’我想说： 我是中国娃

爱讲普通话

要学习写标准的汉字”’

print(name)

print(old)

print(introduce)

运行结果为：我的名字叫王小明

今年6岁

我想说： 我是中国娃

爱讲普通话

要学习写标准的汉字

不管是哪一种引号形式，括起来的部分是一个整体，包括空格和换行符都属于字符串的一部分。

为了保证特殊的输出效果，Python中的字符串支持转义字符，可使用反斜杠“”对一些特殊字符进行转义。常用的转义字符如下：

续行符

换行符

空

水平制表符

” 双引号

’ 单引号

一个反斜杠

f 换页

其中，续行符（“”）用于当一个字符串在一行写不下时用续行符进行连接，但通常更多的采用小括号“()”即可。

如：

第一种方法采用续行符（“”）：

str=”A thousand wishes, a thousand plans and

a thousand resolutions are better than one action!”

print(str)

A thousand wishes, a thousand plans and a thousand resolutions are better than one action!

第二种方法采用小括号()：

str=(“A thousand wishes, a thousand plans and “

“a thousand resolutions are better than one action!”)

print(str)

A thousand wishes, a thousand plans and a thousand resolutions are better than one action!

下面举例说明换行符(“ ”)的用法：

str=” 登鹳雀楼 白日依山尽， 黄河入海流。 欲穷千里目, 更上一层楼。 “

print(str)

登鹳雀楼

白日依山尽，

黄河入海流。

欲穷千里目,

更上一层楼。

下面举例说明使用转义字符输出双引号(“)的方法：

str=”王之涣的诗《登鹳雀楼》中这样写道:” 白日依山尽，黄河入海流。欲穷千里目,更上一层楼。””

print(str)

王之涣的诗《登鹳雀楼》中这样写道:” 白日依山尽，黄河入海流。欲穷千里目,更上一层楼。”

5.3.3布尔类型

布尔类型用来表示逻辑值，所谓逻辑判断的结果，不外乎“真”或“假”两种情况。在Python中“真”用True表示，“假”用False表示。如果布尔类型的变量参与算数运算，则True被当作1，False被当作0。

如：

result=True

print(result)

True

print(result+1)

2

result=False

print(result)

False

print(result+1)

1

5.3.4类型强制转换

Python是一种弱数据类型语言，可以通过给变量重新赋值的方法改变数据类型。但有时为了强制改变数据类型，就要使用类型转换函数来改变。

譬如，为了从键盘读入成绩的数据，可以用float()函数将input()语句读入的字符串转换为浮点数，再赋值给变量score。

score=input(“请输入您的成绩：”)

请输入您的成绩：96.5 （从键盘输入96.5）

为了计算成绩比及格线高了多少分，使用下面的命令，发现出现了错误提示如下：

score-60

Traceback (most recent call last):

File ” “, line 1, in

score-60

TypeError: unsupported operand type(s) for -: ‘str’ and ‘int’

这是属于类型错误，原因是从键盘读入的成绩值（96.5）并非数值类型，不能参与算数运算。用type()函数可以进一步查询变量score的数据类型。

type(score)

使用float()函数进行强制转换后，就可以解决上述问题：

score=float(input(“请输入您的成绩：”))

请输入您的成绩：96.5

score=float(score)

type(score)

score-60

36.5

下表列举了一些常用的类型转换函数：

经过前面四章的学习，我们已经可以使用Requests库、Beautiful Soup库和Re库，编写基本的Python爬虫程序了。那么这一章就来学习一个专业的网络爬虫框架–Scrapy。没错，是框架，而不是像前面介绍的函数功能库。

Scrapy是一个快速、功能强大的网络爬虫框架。

可能大家还不太了解什么是框架，爬虫框架其实是实现爬虫功能的一个软件结构和功能组件的集合。

简而言之， Scrapy就是一个爬虫程序的半成品，可以帮助用户实现专业的网络爬虫。

使用Scrapy框架，不需要你编写大量的代码，Scrapy已经把大部分工作都做好了，允许你调用几句代码便自动生成爬虫程序，可以节省大量的时间。

当然，框架所生成的代码基本是一致的，如果遇到一些特定的爬虫任务时，就不如自己使用Requests库搭建来的方便了。

PyCharm安装

测试安装：

出现框架版本说明安装成功。

掌握Scrapy爬虫框架的结构是使用好Scrapy的重中之重！

先上图：

整个结构可以简单地概括为： “5+2”结构和3条数据流

5个主要模块（及功能）：

（1）控制所有模块之间的数据流。

（2）可以根据条件触发事件。

（1）根据请求下载网页。

（1）对所有爬取请求进行调度管理。

（1）解析DOWNLOADER返回的响应–response。

（2）产生爬取项–scraped item。

（3）产生额外的爬取请求–request。

（1）以流水线方式处理SPIDER产生的爬取项。

（2）由一组操作顺序组成，类似流水线，每个操作是一个ITEM PIPELINES类型。

（3）清理、检查和查重爬取项中的HTML数据并将数据存储到数据库中。

2个中间键：

（1）对Engine、Scheduler、Downloader之间进行用户可配置的控制。

（2）修改、丢弃、新增请求或响应。

（1）对请求和爬取项进行再处理。

（2）修改、丢弃、新增请求或爬取项。

3条数据流：

（1）：图中数字 1-2

1：Engine从Spider处获得爬取请求–request。

2：Engine将爬取请求转发给Scheduler，用于调度。

（2）：图中数字 3-4-5-6

3：Engine从Scheduler处获得下一个要爬取的请求。

4：Engine将爬取请求通过中间件发送给Downloader。

5：爬取网页后，Downloader形成响应–response，通过中间件发送给Engine。

6：Engine将收到的响应通过中间件发送给Spider处理。

（3）：图中数字 7-8-9

7：Spider处理响应后产生爬取项–scraped item。

8：Engine将爬取项发送给Item Pipelines。

9：Engine将爬取请求发送给Scheduler。

任务处理流程：从Spider的初始爬取请求开始爬取，Engine控制各模块数据流，不间断从Scheduler处获得爬取请求，直至请求为空，最后到Item Pipelines存储数据结束。

作为用户，只需配置好Scrapy框架的Spider和Item Pipelines，也就是数据流的入口与出口，便可完成一个爬虫程序的搭建。Scrapy提供了简单的爬虫命令语句，帮助用户一键配置剩余文件，那我们便来看看有哪些好用的命令吧。

Scrapy采用命令行创建和运行爬虫

PyCharm打开Terminal，启动Scrapy：

Scrapy基本命令行格式：

具体常用命令如下：

下面用一个例子来学习一下命令的使用：

1.建立一个Scrapy爬虫工程，在已启动的Scrapy中继续输入：

执行该命令，系统会在PyCharm的工程文件中自动创建一个工程，命名为pythonDemo。

2.产生一个Scrapy爬虫，以教育部网站为例：

命令生成了一个名为demo的spider，并在Spiders目录下生成文件demo.py。

命令仅用于生成demo.py文件，该文件也可以手动生成。

观察一下demo.py文件：

3.配置产生的spider爬虫，也就是demo.py文件：

4.运行爬虫，爬取网页：

如果爬取成功，会发现在pythonDemo下多了一个t20210816_551472.html的文件，我们所爬取的网页内容都已经写入该文件了。

以上就是Scrapy框架的简单使用了。

Request对象表示一个HTTP请求，由Spider生成，由Downloader执行。

Response对象表示一个HTTP响应，由Downloader生成，有Spider处理。

Item对象表示一个从HTML页面中提取的信息内容，由Spider生成，由Item Pipelines处理。Item类似于字典类型，可以按照字典类型来操作。