奇书小说目录爬取表格

Tags：奇书小说,爬取,表格

奇书小说目录爬取表格，由论坛大佬原创制作分享的一款小说目录爬取表格工具，罗列了奇书小说当前包含了全部小说资源，并且按照分类显示，每本小说都给出了可以在线浏览的网页链接，直接点击即可跳转到阅读界面。本次放出奇书小说目录爬取表格资源下载，同时给出了爬取源码，想要学习参考的朋友们可以看看。

奇书小说目录爬取表格说明

罗列了数万本已收藏小说资源

提供小说名，类型，链接，作者信息展示

奇书小说目录爬取源码一览

#coding=utf-8

import requests

import re

import openpyxl

ld=openpyxl.load_workbook

book=ld("d:\\qishu.xlsx")

sheet1=book["Sheet1"]

hd={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}

p=1

while p<1234:

    url="http://m.iqishu.la/full/"+str(p)+".html"

    try:

        dat=requests.get(url,headers=hd,timeout=60)

    except BaseException:

        dat=requests.get(url,headers=hd,timeout=60)

    if dat.status_code==200:

        with open("d:\\qishu.txt","a+",encoding="utf-8")as f:

            f.write(dat.text)

            f.close()

    else:

        pass

    p=p+1

    print(str(p))

s=open("d:\\qishu.htm",encoding="utf-8").read()

pat=r"<div class=\"full_content\"><p class=\"p1\">(.*?)</p><p class=\"p2\"> <a href=\"(.*?)\" class=\"blue\">(.*?)</a></p><p class=\"p3\"><a>(.*?)</a></p></div>"

r=re.findall(pattern=pat,string=s)

for i in range(len(r)):

    x=r[i]

    print(x)

    row=sheet1.max_row+1

    for b in range(len(x)):

        # print(row)

        sheet1.cell(row,b+1).value=x[b]

book.save("d:\\qishu.xlsx")