返回目录:excel表格制作
python如何爬取B站评论信息?
这里简单介绍一下吧,B站的评论信息是动态加载的,存储在一个json文件中,只要抓包分析,提取到这个json文件,就能爬取到我们需要的评论信息,下面我简单介绍一下实现过程,实验环境win10+python3.6+pycharm5.0,主要内容如下:
这里为了更好的说明问题,以抓取B站https://www.bilibili.com/video/av1238716的评论信息为例(其他页面评论信息也行),如下:
1.首先,按F12调出开发者工具,依次点击“网络”->“所有”,刷新页面,如下,所有的抓包信息便会显示出来:
仔细分析,我们就会发现reply这个文件比较大,而且还是json的,很可能就是评论信息,点击进去,果然,就是我们需要爬取的评论信息,如下:
2.接着,针对上面的json文件,我们就可以编写对应的代码来进行解析了,主要用到requests和json这2个包,requests主要用于根据url请求json文件,json主要用于解析json文件,提取出我们需要的信息,主要代码如下:
程序运行截图如下,已经成功爬取到评论信息:
3.最后,就是保存我们爬取的评论信息了,代码如下,很简单,主要用到xlwt这个包,专门用于写入数据到excel中:
程序运行截图如下,已经成功保存信息到excel中:
至此,我们就完成了利用python来爬取B站评论信息。总的来说,这个过程很简单,就是抓包分析获取到json,然后解析json提取出我们需要的数据就行,只要你有一定的python基础,会简单的抓包分析,熟悉一下相关示例和代码,很快就能掌握的,当然,你也可以使用scrapy框架来爬取数据,都可以,网上也有相关教程和资料,感兴趣的可以搜一下,希望以上分享的内容能对你有所帮助吧,也欢迎大家评论、留言。
有什么比较好的学excel的网站?
你好,我想信很多人都想了解,现在有很多培训机构培训但是学费还是很贵的。今天就来分享一下。
今天就把我私藏的几个免费、又好用的Excel学习网站,分享给大家!
1- Excelhome
网址:http://club.excelhome.net/
国内知名的老牌Excel网站,从1999年建站开始,至今累计474万用户,共计972万个帖子。
版块内容覆盖面非常全,从Excel基础技巧,到函数公式,透视表,图表,VBA,Power BI,各个level的话题一应俱全。
2- Excel精英培训网
网址:http://www.excelpx.com/
和Excelhome同类型的Excel学习论坛,2006年建站,累计108万用户,共计340万帖子。
论坛内也是卧虎藏龙,代表的不同的学习流派(Excel圈也是各成一派的)
如果你在Excelhome的帖子没有及时被回复,那就再来Excel精英培训网,发个帖子试试。
有意思的是,虽然没有Excelhome论坛那么大的体量,但是Excel精英网较早的转型到了微信公众号,其同名公众号「Excel精英培训」,是目前国内最大的Excel教学公众号!
3- Exce技巧网
网站:http://www.exceltip.net/
和Excelhome同类型的学习论坛,2003年建站,累计87万用户,共计41万帖子。
相比前两个论坛,Excel技巧网,更适合新人成长练手,再过一把论坛的瘾,能成长为版主的机会,可能会更大一些。
以上,介绍的是国内比较知名的Excel学习论坛。
Excel论坛有一个共性的问题:帖子内容都偏向小白、偏基础。
道理很简单,人群基数大了,整体问答水平会被稀释,知识点偏向基础。
如果你是一个Excel的老用户,有一定的基础,想要学习更深入的内容,那么下面几个Excel博客,一定非常适合你。
4- Power Query爱好者
网址:https://pqfans.com/
作者:施阳。BI工程师、Power BI、Excel爱好者。
和网站的域名一样,这个网站专注:
1- 基于Power Query的数据处理方法。
2- 深入Power Query中M语言的基本语法、函数应用、常见套路等。基础界面操作不再介绍,需对PQ有一定了解。
如果你也是一个PQ爱好者,那么这个网站非常适合你。
网站特色内容
每次在pqfans我必看的地方有两个,都在网站的菜单中。
1- M基础介绍
作者对M函数的每个类,都做了深入的研究,关键写出来的教程,有示例、有讲解,让人能看的懂。
不像M函数官方手册,只有技术人员才能看的懂。
2- M套路108式
从基础开始,教你由浅入深的认识M函数,可以堪称Excel当中的《唐诗三百首》
上面就是和你分享的,希望能给你带来帮助,如果觉得不错就点赞哈