Playwright是一种进程外自动化驱动程序,不受页面内JavaScript执行范围的限制,并且可以自动执行具有多个页面的方案。

该死的极Y。

Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏览器中，就像真正的用户在操作一样。

温故而知新，可以为师矣。

这里记录了深入学习Scrapy中间件,更加深入了解scrapy的机制。

Scrapy进阶学习笔记之from_crawler方法,更加深入了解scrapy

XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。 XPath基于XML的树状结构，提供在数据结构树中找寻节点的能力。起初XPath的提出的初衷是将其作为一个通用的、介于XPointer与XSL间的语法模型。但是XPath很快的被开发者采用来当作小型查询语言。

Scrapy-redis是为了更方便地实现Scrapy分布式爬取,增量式爬取,而提供了一些以redis为基础的组件。

Scrapy 是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便

正则表达式描述了一种字符串匹配的模式，可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等

asyncio 往往是构建 IO 密集型和高层级 结构化 网络代码的最佳选择。