目录
Web Scraper简介
webscraper 是一款谷歌插件，可以方便的抓取网页上的内容：文字、链接、图片、表格等，而无需写一行代码。
webscraper有如下优点：
- 免费
- 不受操作系统限制，只要安装Chrome浏览器即可运行
- 操作简单，易上手。（很多没有技术背景的同学，都可以快速学会）
- 功能强大：不仅可以抓静态网页，对于js动态加载的数据，也很容易抓取
根据已经测试的经历，下列类型网站均可抓取：
- 58同城、大众点评、美团、链家等
- 微信公众号、简书、知乎、博客等
- 淘宝、阿里巴巴、网易严选等
Web Scraper下载
Web Scraper安装
1.下载安装文件。下载插件，并在浏览器提示的文字中选择 “保留” 打开所在文件夹
2.打开「扩展程序」页面。复制 chrome://extensions 并粘贴到地址栏，进入扩展中心
3.拖拽安装。打开扩展安装页面右上角的 【开发者模式】 并刷新，拖拽安装 文件到扩展安装页面，点击 “添加扩展程序” 完成安装
Web Scraper 的使用
1、什么情况下会用到 web scraper？
web scraper 适合批量抓取数据，如果只是少量数据，就不需要用 web scraper 了。
举例：
- 统计公众号所有标题、时间
- 获取知乎某个问题的所有回答阅读、点赞
- 抓取某个大 v 所有微博、统计转发数、点赞数等
2、如何确定自己要抓的东西，能用 web scraper 完成？
如果你要抓一个东西
- 你必须提供一个 网址（也可以叫链接、或者 URL）。
- 你需要在浏览器的地址栏里访问这个页面，看一下，你要抓取的信息，能不能用眼睛看到。
如果能看到，那就能抓，如果看不到，那就抓不了。
3、web scraper 的优点（重复强调一遍~~）。
web scraper 优点：
- 免费
- 不受操作系统限制，只要安装 Chrome 浏览器即可运行
- 操作简单，易上手。（很多没有技术背景的同学，都可以快速学会）
- 功能强大：不仅可以抓静态网页，对于 js 动态加载的数据，也很容易抓取
根据已经测试的经历，下列类型网站均可抓取：
- 58 同城、大众点评、美团、链家等
- 微信公众号、简书、知乎、博客等
- 淘宝、阿里巴巴、网易严选等
- 等等
只要能在浏览器查看到的数据，99% 均可抓取。
你可能会问，那剩下的 5%是什么呢？——
等你遇到再说吧，如果遇不到，那对你来说，就是 100%了。
5、web scraper 不能做什么？
- 不能实时监控
- 不能搜索
- 没有定时功能
- 没有数据分析功能
- 不是黑客，不能拿到别人的手机号、身份证号码
Web Scraper官网：https://www.webscraper.io/
