欢迎访问 生活随笔!

ag凯发k8国际

当前位置: ag凯发k8国际 > 编程语言 > python >内容正文

python

使用read-ag凯发k8国际

发布时间:2024/10/8 python 0 豆豆
ag凯发k8国际 收集整理的这篇文章主要介绍了 使用read_html爬取网页表哥,python笔记:用read_html()爬取table形式表格的网络数据... 小编觉得挺不错的,现在分享给大家,帮大家做个参考.

不少对爬虫有所了解但却不会的人应该会知道,爬虫功能非常强大,但却不是太好学!但是,pandas中的read_html()用于抓取table表格型数据时,简直是个神器。不信?我小露一手给你们看。

针对网页结构类似的表格类型数据,pd.read_html()就派上了大用场了,它可以将网页上的表格都抓取下来,并以dataframe的形式装在一个列表中返回。具体是这么个流程:

网页url→发送请求→网站→返回→dataframe

先介绍一下 read_html()的一些主要的参数

read_html

io:str or file-like

接收网址、文件、字符串。网址不接受 https,尝试去掉 s后爬去

header:int or list-like or none

指定列标题所在的行

attrs: dict or none, optional

传递一个字典,用其中的属性筛选出特定的表格

parse_dates:bool

解析日期

接下来以爬取新浪财经的基金重仓股为例演示一下,url为:http://vip.stock.finance.sina.com.cn/q/go.php/vcomstockhold/kind/jjzc/index.phtml?p=1

这部分有6页,点击不同的页数可以发现,请求url主要是 p 参数在变动,p=n代表了第 n 页,所以一个 for 循环就可以遍历所有网址啦。url的变动规律了解之后,就可以愉快的爬数据了,代码如下:

import pandas as pd

df = pd.dataframe()

for i in range(6):

url = "http://vip.stock.finance.sina.com.cn/q/go.php/vcomstockhold/kind/jjzc/index.phtml?p={page}".format(page=i 1)

df = pd.concat([df,pd.read_html(url)[0]])

print("第{page}页完成~".format(page=i 1))

df.to_csv("./tengyulong.csv", encoding = "utf-8", index=0)

df.to_csv(r"c:\users\qdm\desktop\tengyulong.csv", encoding="utf-8", index=0)

df.to_excel(excel_writer = r"c:\users\qdm\desktop\tengyulong.xlsx",sheet_name = "tengyulong")

运行结果:

爬取到本地:

爬取到csv:

爬取到excel:

结语:so easy,妈妈再也不用担心我不会爬虫了!

来源:oschina

链接:https://my.oschina.net/u/3750423/blog/4279031

总结

以上是ag凯发k8国际为你收集整理的使用read_html爬取网页表哥,python笔记:用read_html()爬取table形式表格的网络数据...的全部内容,希望文章能够帮你解决所遇到的问题。

如果觉得ag凯发k8国际网站内容还不错,欢迎将ag凯发k8国际推荐给好友。

网站地图