乔山办公网我们一直在努力
您的位置:乔山办公网 > office365 > python爬取各类文档方法归类小结-office2007文件格式兼容包

python爬取各类文档方法归类小结-office2007文件格式兼容包

作者:乔山办公网日期:

返回目录:office365

HTML文档是互联网上的主要文档类型,但还存在如TXT、WORD、Excel、PDF、csv等多种类型的文档。网络爬虫不仅需要能够抓取HTML中的敏感信息,也需要有抓取其他类型文档的能力。下面简要记录一些个人已知的基于python3的抓取方法,以备查阅。 抓取TXT文档 在python3下,常用方法是使用urllib.request.urlopen方法直接获取。之后利用正则表达式等方式进行敏感词检索。

python爬取各类文档方法归类小结

上面的方法是已知目标网页为txt文本时的抓取。事实上,在自动抓取网页时,必须考虑目标网页是否为纯文本,用何种编码等问题。 如果只是编码问题,可以简单使用print(textPage.read(),’utf-8’)等python字符处理方法来解决,如果抓取的是某个HTML,最好先分析,例如:

python爬取各类文档方法归类小结

2.抓取CSV文档 CSV文件是一种常见的数据存档文件,与TXT文档基本类似,但在内容组织上有一定格式,文件的首行为标题列,之后的文件中的每一行表示一个数据记录。这就像一个二维数据表或excel表格一样。 python3中包含一个csv解析库,可用于读写csv文件,但其读取目标一般要求是在本地,要读取远程网络上的csv文件需要用urllib.request.urlopen先获取。例如:

python爬取各类文档方法归类小结

csv文档的标题行(首行)需要特殊处理,csv.DictReader可以很好的解决这个问题。DictReader将读取的行转换为python字典对象,而不是列表。标题行的各列名即为字典的键名。

python爬取各类文档方法归类小结

3.抓取PDF文档 pdf文档的远程抓取与操作,可借助比较流行的pdfminer3k库来完成。

python爬取各类文档方法归类小结

4.抓取WORD 老版word使用了二进制格式,后缀名为.doc,word2007后出现了与OPEN OFFICE类似的类XML格式文档,后缀名为.docx。python对word文档的支持不够,似乎没有完美解决方案。为读取docx内容,可以使用以下方法:

(1)利用urlopen抓取远程word docx文件;

(2)将其转换为内存字节流;

(3)解压缩(docx是压缩后文件);

(4)将解压后文件作为xml读取

(5)寻找xml中的标签(正文内容)并处理

python爬取各类文档方法归类小结

相关阅读

  • 如何将PPT转换成WORD文档-ppt转换成word

  • 乔山办公网word文档
  • ppt转换成word,PPT格式现在应用的非常广泛,记得上大学那会儿,老师们都是用PPT给我们讲课。那一页接一页的跳转着,整得咱都来不急记笔记了。幸好老师课后将PPT共享了一下,这才能够
关键词不能为空
极力推荐

ppt怎么做_excel表格制作_office365_word文档_365办公网