Node.js爬取头条视频并批量保存的详细方法与技巧分享

节点批次爬网标题视频并保存它们

更新：2018年9月20日08:37：03提交：

在本文中，我们介绍了将视频爬到头条新闻并分批保存的方法。有需要的朋友可以测试以下内容。

介绍

批次爬行视频或图片的一般例程是使用爬行者获取文件链接的集合，然后通过其他方法一个一个一个一个一个一个逐一保存文件。但是，的视频无法捕获需要爬行的HTML文件中的视频链接（服务器端渲染输出）。视频链接是动态计算的，并根据视频的已知键或哈希值呈现在客户端端的页面时。这也是该网站的反爬行措施。

当我们浏览这些页面时，我们可以通过审核元素查看计算出的文件地址。但是，在分批下载时，显然不建议您一一获得视频链接。很高兴它提供了一个模拟的访问功能，从而使我们能够通过浏览器爬网。

项目开始

命令

npm i
npm start

：安装过程有点慢，耐心等待。

配置文件

// 配置相关
module.exports = {
 originPath: 'https://www.ixigua.com', // 页面请求地址
 savePath: 'D:/videoZZ' // 存放路径
}

技术要点

官方API

提供一个高级API来控制或。

主要功能：

使用网页生成PDF和图片

抓取SPA应用程序并生成预渲染的内容（即“ SSR”服务器端渲染）

可以从网站爬网内容

自动化表单提交，UI测试，键盘输入等。

API使用：

。（）启动浏览器实例

。（）创建一个新页面

page.goto（）输入指定的网页

页。（）屏幕截图

页面。（）页面等待，这可以是时间，元素或函数

页。$ eval（）获取指定的元素，等效于。

页。$$ eval（）获得某种类型的元素，等效于。

页。$（'＃id。'）在文档中获取一个元素，并且操作类似于

代码示例

const puppeteer = require('puppeteer');
 
(async () => {
 const browser = await puppeteer.launch();
 const page = await browser.newPage();
 await page.goto('https://example.com');
 await page.screenshot({path: 'example.png'});
 
 await browser.close();
})();

视频文件下载方法

下载视频主要方法

const downloadVideo = async video => {
 // 判断视频文件是否已经下载
 if (!fs.existsSync(`${config.savePath}/${video.title}.mp4`)) {
 await getVideoData(video.src, 'binary').then(fileData => {
  console.log('下载视频中：', video.title)
  savefileToPath(video.title, fileData).then(res =>
  console.log(`${res}: ${video.title}`)
  )
 })
 } else {
 console.log(`视频文件已存在：${video.title}`)
 }
}

获取视频数据

getVideoData (url, encoding) {
 return new Promise((resolve, reject) => {
 let req = http.get(url, function (res) {
  let result = ''
  encoding && res.setEncoding(encoding)
  res.on('data', function (d) {
  result += d
  })
  res.on('end', function () {
  resolve(result)
  })
  res.on('error', function (e) {
  reject(e)
  })
 })
 req.end()
 })
}

在本地保存视频数据

savefileToPath (fileName, fileData) {
 let fileFullName = `${config.savePath}/${fileName}.mp4`
 return new Promise((resolve, reject) => {
 fs.writeFile(fileFullName, fileData, 'binary', function (err) {
  if (err) {
  console.log('savefileToPath error:', err)
  }
  resolve('已下载')
 })
 })
}

目标网站：西瓜视频

项目功能：下载帐户下的最新20个视频[ ]

项目地址：地址