python爬取学习通题库（爬虫爬取题库）

本文目录一览：

• 1、python爬取学习通考试题库是真的吗？是骗人的吗?
• 2、爬取某笔公考app公基题库的操作
• 3、如何用Python爬取数据？
• 4、云题库怎么爬取答案
• 5、如何使用python爬虫如何爬取米思米案例库？请大神来帮忙1
• 6、学习通题库在哪里找

python爬取学习通考试题库是真的吗？是骗人的吗?

学习通是一个手机APP，那么就会通过http协议传输数据，只要通过手机抓包，得到网络请求地址和cookie等验证信息，就可以通过python去模拟请求。

理论上是可以得到题目的网络请求，然后使用python模拟请求获取的。不是骗人的。

爬取某笔公考app公基题库的操作

最近在准备上岸，备考中需做大量的练习，手机APP让练习无处不在，但有个缺点，就是每次只能练习10-20道题目，不能用题海战术，海量做题。能不能把网站的题库及解析都弄下来，在本地电脑上做题呢？以下是我的思路：1、分析并爬取手机软件的题库；2、调整好格式存入xls文件中；3、导入PC版可自定义的考试系统中（如教之初考试系统免费版）；4、自行设置考试模式，海量练习。

倒腾了两天，终于搞定，后续再更新文章！

涉及到几个点。

1、关于手机网络数据的分析，我是用Fiddler 4进行的分析。

2、关于excel表格的操控，之前想用xlwings模块，后因没装office，用的是wps2013政府阉割版，无法操控，后改用xlrd、xlutils、shutil、os模块自己写了一个excel操纵类对象，发现还是有问题，后卸载阉割版wps，换了wps2016最新版的，就可以操作了。后来也没换xlwings模块了，将就着用自写模块。 大坑：xlrd模块好像不支持中文路径，全部换用英文路径，最后再把文件夹及文件名转换成中文的。

3、题库分类保存。

1、Fiddler抓包手机APP的网络请求

Fiddler是一款非常流行并且实用的http抓包工具，它的原理是在本机开启了一个http的代理服务器，然后它会转发所有的http请求和响应，不仅如此，它还可以支持请求重放等一些高级功能。显然它是可以支持对手机应用进行http抓包的。

设置在同一局域网下电脑端Fiddler抓取手机APP应用网络请求的步骤：

（1）电脑端启动Fiddler，打开菜单栏中的 Tools Fiddler Options，打开“Fiddler Options”对话框。

（2）在Fiddler Options”对话框切换到“Connections”选项卡，然后勾选“Allow romote computers to connect”后面的复选框，然后点击“OK”按钮。（ 小技巧： HTTPS标签中可以设置下拉框为…from remote clients only ， 貌似 就只接收远程端的网络请求了）

（3）在电脑端的命令行输入：ipconfig，找到本机的ip地址。（我的局域网IP：192.168.1.10）

（4）在手机端，打开android设备的“设置”-“WLAN”，找到你要连接的网络，在上面长按，然后选择“修改网络”，弹出网络设置对话框，然后勾选“显示高级选项”。 （其实苹果手机也是类似的）

（5）在“代理”后面的输入框选择“手动”，在“代理服务器主机名”后面的输入框输入电脑的ip地址，在“代理服务器端口”后面的输入框输入8888，然后点击“保存”按钮。

（6）然后启动android设备中的APP应用，在fiddler中可以看到完整的请求和响应数据。

2、手机APP应用网络数据分析

手机上打开某笔公考软件后，从Fiddler左侧栏中可以看到大量的请求链接。

点击上图黄色区域的链接，可看到右侧详细数据。

在右侧详细数据栏中，我们可以看到请求的网址：POST http:// xxx bi.com/android/sydw/exercises?platform=android22version=6.4.3vendor=Tencentapp=gwydeviceId=F4J/K8kXx6+C24yqFuzAiA==av=8kav=3 HTTP/1.1

post请求的参数keypointId=621638type=3limit=15

返回的数据为Json格式，从返回数据中我们可以找出questionIds对应的题目编号，如2084744.

点击上上图（Fiddler网络请求响应）中红色框中的链接地址，我们可以看到右侧详细数据栏的数据

从上图中我们可以找到ID号为2084744的题目的题干、选项、题型、答案等有用数据。

分析基本结束，此手机APP应用的模式基本是这样：先请求15道题的ids，再根据meidaoti的ids请求题目相关数据。后续测试发现，请求questionIds时，修改参数，能一次最多请求到100道题的ids。

另外，从左侧请求链接可以找出对应的章节分类请求链接，根据分类号再查找对应的questionids，就可以把所有的题目抓取出来。

3、xls操控

将就着基于xlrd模块编写自用模块。

源码在此，可能格式错乱。需整理。

”’python

#！/usr/bin/env python3

# -*- coding: utf-8 -*-

“””

Created on 2018-05-14 12:48:07

@author: wangzheng

Sys_Env : Windows_AMD64 Python3.5.2

Wechat : hrcl2015(微信)

Filename: MyXls.py

Description : xls文件操控类MyXls

            注意：文件路径中不能有中文名，否则出错

“””

from xlrd import open_workbook

from xlutils.copy import copy

import os,shutil

class MyXls:

    def __init__(self,fpath=None,modelfpath=None,sheetindex=None,protectrow=None,overwrite=True):

        self.openxlspath=”#已打开的xls文件

        self.sheetindex=None#当前工作表索引

        self.rb=None#

        self.wb=None#workbook工作簿

        self.ws=None#worksheet工作表

        self.headrow=0#开头保护行数

        if (fpath is not None) and (modelfpath is not None):

            self.open_copy_xls(modelfpath,fpath,True)

        elif fpath is not None:self.open_xls(fpath)

        if sheetindex is not None:self.get_sheet(sheetindex)

        if protectrow is not None:self.headrow=protectrow

    def open_xls(self,fpath):

        path=fpath

        try:

            rb = open_workbook(path)

        except Exception as err:

            print(“File not exists: “+str(err))

            return False

        #通过sheet_by_index()获取的sheet没有write()方法

        #rs = rb.sheet_by_index(0)

        #rs = rb.sheet_by_name(‘sheet 1’)

        self.wb = copy(rb)

        self.openxlspath=path

        return True

    def get_sheet(self,sheet_index=0):

        sheets=sheet_index

        #通过get_sheet()获取的sheet有write()方法

        self.ws = self.wb.get_sheet(sheets)

        self.sheetindex=sheets

    def write_xls(self,row_index,column_index,data_str):

        row,col,data=row_index,column_index,data_str

        #写入数据

        self.ws.write(row,col,data)#write(行,列,内容)，索引从0开始

    def write_xls_bycolname(self,row_index,column_name,data_str):

        column_index=self.colname_to_num(column_name)

        row,col,data=row_index,column_index,data_str

        #写入数据

        self.ws.write(row,col,data)#write(行,列,内容)，索引从0开始

    def write_xls_bysheet(self,sheetindex,row_index,column_name,data_str):

        ”’在指定工作表的指定行列表格中写入数据”’

        if self.sheetindex != sheetindex :self.get_sheet(sheetindex)

        self.write_xls_bycolname(row_index,column_name,data_str)

    def save_xls(self,fpath=None):

        if fpath is None:

            self.wb.save(self.openxlspath)

            print(‘saved ‘+self.openxlspath)

        else:

            path=fpath

            self.wb.save(path)#保存xls文件

            print(‘saved ‘+path)

        return True

    def open_copy_xls(self,model_fpath,new_fpath,overwrite=True):

        ”’参照模板文件，复制并打开xls文件”’

        if os.path.exists(model_fpath) :

            new_fpath=self.auto_mkdir(new_fpath)

            if (not os.path.exists(new_fpath)) or overwrite:

                #print(‘copy[%s]to[%s]’%(model_fpath,new_fpath))

                shutil.copy(model_fpath,new_fpath)

                return self.open_xls(new_fpath)

            else:print(‘新文件已存在，请修改新文件名！’);return False

        else:print(‘模板文件不存在，不能复制到新文件！’);return False

    def num_to_colname(self,col_index,start=0):

        #列索引转列名，基数start从0开始,0–A

        if type(col_index) != int:

            return col_index

        if start==0:

            x=col_index+1

        elif start==1:

            x=col_index

        s=”

        flag=False#借位标志

        while x26:

            y=x%26#取余0-25

            if y==0:y=26;flag=True;

            d=chr(y+64)#低位

            s=d+s

            x=x//26#整除取商

            if flag:x=x-1;flag=False;#如果借位，商要先-1

        g=chr(x+64)#高位

        s=g+s

        return s

    def colname_to_num(self,colname,start=0):

        #列名转列索引 A–0，B-1,开始基数start为0

        if type(colname) is not str:

            return colname

        colname=colname.upper()#转成大写

        col = 0

        power  = 1

        #print(len(colname))#位数

        for i in range(len(colname) – 1, -1, -1):#range(start=0,stop,step=1)

            ch = colname[i] #倒序取字母

            #print(ch)#所在位上的字母

            col += (ord(ch) – ord(‘A’) +  1 ) * power

            power *= 26

        #print(col-1)

        if start==0:return col-1

        if start==1:return col

    def auto_mkdir(self,fpath):

        ”’自动补全目录，目录不存在就创建目录”’

        #fpath=’D:\\MyPython\\粉笔公考题库提取\\678\\980\\test.txt’

        fpath=fpath.replace(‘\\’,’/’)

        if not os.path.exists(fpath):

            plst=fpath.split(sep=’/’)

            path=”

            if not fpath.endswith(‘/’):plst=plst[:-1]

            for p in plst:

                path=path+p+’/’

                if not os.path.exists(path):os.mkdir(path)

            return fpath

if __name__==’__main__’:

    model_fpath=’D:\\MyPython\\model.xls’

    new_fpath=’D:\\MyPython\\abc\\123/out.xls’

#    myxls=MyXls()

#    myxls.open_copy_xls(model_fpath,new_fpath)

#    myxls.get_sheet(0)

    myxls=MyXls(new_fpath,model_fpath,2,3)

    myxls.write_xls_bycolname(6,’K’,’K列6行数据’)

#    myxls.save_xls(new_fpath)

    myxls.save_xls()

    pass

”’

4、文件保存

保存成xls文件，和txt文件，txt文件再转换成word文档打印出来。大概有7个大类，100+小类，12737道题。

5、导入题库软件

xls文件导入题库中。

6、大功告成

PS：某笔app更新后，加入了防抓取数据的功能，貌似安卓5.1以上的都不能抓取了。

据资深网友反应，使用安卓模拟器（系统版本4.4）还可以抓到明文数据，有兴趣的读者可以试一试。

如何用Python爬取数据？

方法/步骤

在做爬取数据之前，你需要下载安装两个东西，一个是urllib,另外一个是python-docx。

请点击输入图片描述

然后在python的编辑器中输入import选项，提供这两个库的服务

请点击输入图片描述

urllib主要负责抓取网页的数据，单纯的抓取网页数据其实很简单，输入如图所示的命令，后面带链接即可。

请点击输入图片描述

抓取下来了，还不算，必须要进行读取，否则无效。

请点击输入图片描述

5

接下来就是抓码了，不转码是完成不了保存的，将读取的函数read转码。再随便标记一个比如XA。

请点击输入图片描述

6

最后再输入三句，第一句的意思是新建一个空白的word文档。

第二句的意思是在文档中添加正文段落，将变量XA抓取下来的东西导进去。

第三句的意思是保存文档docx，名字在括号里面。

请点击输入图片描述

7

这个爬下来的是源代码，如果还需要筛选的话需要自己去添加各种正则表达式。

云题库怎么爬取答案

利用python进行爬取。

具体步骤如下：1、利用requests库的get方法来获取网页内容。

2、利用BeautifulSoup库来解析。

3、将解析的网页答案保存在文件即可。

如何使用python爬虫如何爬取米思米案例库？请大神来帮忙1

背景：首先对于登录页面，你作为普通人类，是怎么需要输入账号和密码，才能登录后，查看到页面的。

用selenium：那么就是让selenium去定位到对应的账号输入框和密码输入框，分别输入账号和密码，再定位到登录按钮，点击登录。即可模拟人类去登录，登录后页面刷新，看到你要的内容。

你要处理的内容，属于爬虫领域。

所以你最好先去了解背景知识：

先去搞懂爬虫基础：

前言 · 爬取你要的数据：爬虫技术

再去了解如何用Python写：

如何用Python写爬虫

最后再参考

心得和总结 · Selenium知识总结

估计会用到find_element_by_id或find_element_by_xpath等方面的函数去定义你的输入框或按钮。

学习通题库在哪里找

一般是获取不到的。

这个通常是老师或者学校会设置好，在布置的任务中会有题目出现，自己想要获取一般不太可能。