首页 > 软件开发 > 编程语言 >

爬虫全教程：仔细 node.js 爬虫全过程！（二）

来源：互联网 2023-03-17 00:26:37 版权归原作者所有，如有侵权，请联系我们

网络爬虫，以前都语言 Python 做爬虫比较多，现在是时候学习使用 nodejs 爬虫了~

由于篇幅过长，本教程分为多节~

爬虫全教程：仔细 node.js 爬虫全过程！（二）

工具/原料

电脑
nodejs

本章学习

1

1. 初始化项目，项目框架搭建

2. express 后端福气框架搭建

2. 各个包安装

爬虫全教程：仔细 node.js 爬虫全过程！（二）

1该信息未经许可获取自百度经验

一、项目搭建

① 初始化项目
```bash
# 初始化
$ mkdir dir-name> # 本地目录创建一个空文件夹
$ cd dir-name>
$ npm init # 使用 npm 初始化一个 package.json 文件
$ yarn init # 使用 yarn 初始化一个 package.json 文件
# (yarn 也可以初始化的)
```
初始化项目之后，得到这样一个项目结构
package.json
readme.md
.babelrc
yarn.lock
② 添加其他文件夹
添加一个 src 文件夹，用于存放源码，以及其他文件。
* src 文件夹根目录下创建一个 index.js 文件，作为入口文件
* 其他的文件夹为自定义，根据自己的需求，喜好定义
（如果是团队项目，根据团队要求）
* 这里我的定义
img 用于存放图片
views 用于存放前端页面
utils 用于存放工具集 js文件

二、express 搭建

1

web 应用框架（web 后端，本地服务器）：

express 很普遍，【koa 挺好、egg 企业级的在用】

express 启动一个简单的 Http 服务分析目标页面 DOM 结构，

启动一个服务框架，这个框架封装了 node 的 http 服务。

const express = require('express');

import Login from './utils/login.js'

const app = express(); //实例化了一个 express 对象 app

// 登录

app.get('/login', async (req, res, next) => {

// 请求 req 与响应 res

//res.send('hello'); 往浏览器页面发送数据

//res.setHeader('Content-Type', 'text/html'); 设置请求头

//res.redirect('/login'); 路由跳转

Login.login(res, req.query.username, req.query.password)

});

类似的还有其他的 http 方法，post，使用app.post 这样来做。具体可以去学习 express 框架

爬虫全教程：仔细 node.js 爬虫全过程！（二）

爬虫全教程：仔细 node.js 爬虫全过程！（二）

三、包安装

1

① `数据库` 选择:

MySQL、MongoDB 都可以，

这里选择 `MongoDB 相对简单`，也可以使用 `mongoose`

② `插件和中间件`:

将应用于数据库连接起来

③ `superagent`:

找到所要抓取的信息的相关 DOM 元素使用 `superagent 请求目标页面`

④ cheerio`：

使用 cheerio 获取页面元素，获取目标数据, `解析 html 文件，获取目标元素，文本`

以下如果有需求的话：

⑤` puppeteer 模块

`puppeteer`：动态页面，可以使用 `puppeteer 模拟浏览器访问`,

⑥ `canvas`：

node-canvas 动画，可以用于 `动画方面，例如登录滑块验证`

⑦ `resemblejs`：

获得两个图片的 diff 结果

爬虫全教程：仔细 node.js 爬虫全过程！（二）

注意事项

包安装：可以在后面编写代码的时候有需要再来安装也可以的，
这里只是放置了我们可能需要用的包，nodejs 有很多很多的包，根据自己需求去搜索来使用

以上方法由办公区教程网编辑摘抄自百度经验可供大家参考！

标签：编程语言

上一篇：Excel表中VBA的InputBox函数如何使用下一篇：java基础15.4.3 使用FileReader读取文件内容

办公区 Copyright © 2016-2023 www.bgqu.net. Some Rights Reserved. 备案号:湘ICP备2020019561号