快捷搜索:

NodeJS爬虫初试

2019-10-08 作者:2019精准正版资料   |   浏览(136)

缘由

接触前端`已一年多,但还是半桶水啊,可能半桶水都算不上,自己都担心自己。噗呲爬虫这个东西,我记得在很久之前我就听说过他,但一直没去了解过他,甚至概念都不太清晰,只知道他是一只网络的虫子,爬取网站的信息。那么,由于自己技能树的不成熟,目前只在前端入门阶段,╮╭。大概了解了一下爬虫可以用什么语言来写,其实是废话,大神的话什么语言都可以写吧。在结束考试之后,就开始了nodejs`学习之旅,对于node没有任何了解,只知道他是一门服务器端的语言。说了那么多废话,一位强大的神秘人物给了小弟我一个小小的任务,爬虫他博客上的文章,并把数据存储到本地,可以说是一个练手任务吧(但对于渣渣的我来说还是有难度的啊)

目标

<li>爬取x-cold的博客: 的全站文章</li>

<li>结构化爬取的文章,持久化到本地(数据库、文件均可,暂时不考虑存储优化)</li>

<li>实现一个简单的HTTP服务器对抓取的结果进行展示(文章列表+文章详情)</li>

环境要求

  • Nodejs v4.3.0 及以上

实践

小白一只,开始在网络中寻求自己疑惑的答案,开始了代码之旅

这里采用了几个node模块

  • http模块 = > 发起http请求
  • https模块 = > 发起https请求
  • fs模块 = > 将数据存储到本地
  • cheerio模块 = > Dom操作 (使用方法相当于jQuery)

  • 代码检验使用eslint

  • 编写代码使用ECMAScript5

分析网站

打开

// 下一篇文章的链接var nextLink = 'http://blog.lxstart.net' + $('nav#article-nav #article-nav-older').attr// 控制爬取文章的篇数if (id <= 500) { fetchPage}

说说遇到的问题,本来简单尝试成功后,就要将获得的数据保存到本地,一开始是想分析下网站的结构,逐步获取。但后来想想发现不行,还是直接整个取下来吧。在保存的时候,一开始是保存为.txt文件的,但是之前没发现在cheerio加载的时候忘记加上了一个东西(var $ = cheerio.load(html, { decodeEntities: false })),导致拿到的html代码里面的中文是Unicode编码的。

后来加上去之后发现用txt文件保存贼难看,嗯,那就改为html文件试试,…勉强还能接受吧(暂时想不到其他方法)

接下来是存储数据的问题,嗯,html内容存储没啥问题,主要是图片存储的问题。之前没发现此站点存储图片里面有https,被坑了一波,一直报错,后来才发现,所以增加了一个https模块。存储图片也是采用http发情请求,然后用fs模块保存到本地。这里有一个点,设置编码格式为'binary',即res.setEncoding

结果展示

  • http服务器对请求结果的简单展示

图片 1

  • 网页内容的存储

图片 2

  • 图片的存储

图片 3

总结

经过此次实践,对爬虫的概念有了一些初步的了解,也对node有了一些认识,主要还是对网站结构的分析,然后就是对node的运用,小小想法。总的来说,这次任务还是比较简单的,没有什么大困难,其他什么的异步编程啊,各种模块都没用上,算是对node的一个开端吧,希望自己接下来能够坚持啊

代码

github地址:

本文由正版香港马报免费资料发布于2019精准正版资料,转载请注明出处:NodeJS爬虫初试

关键词: