众所周知python当中有个功能非常强大,那就是爬虫,这个时候也有很多人想知道python中如何运行Scrapy爬虫,那么小编通过这篇文章教会大家如何运行Scrapy爬虫。
方法一:Scrapy爬虫的运行需要到命令行下运行,在我们的pychram软件中左下角有个Terminal选项,点开就可以在Pycharm页面中进入命令行。
默认是在项目目录下的,要运行项目,需要进入下一层目录,使用cd TestDemo 进入下一层目录,然后用scrapy crawl 爬虫名,即可运行Scrapy爬虫。
方法二:在TestDemoSpider目录和scrapy.cfg同级目录下面,我们新建一个entrypoint.py文件
这个时候我们只要把红色框体内的内容改成相应的爬虫的名字,我们开发者就可以在不同的爬虫项目中使用了,直接运行该文件就能使得Scrapy爬虫运行即可。这个方法非常简单,小编个人十分推荐大家尝试一下这个运行Scrapy爬虫的方法。
以上就是小编给大家整理的俩个在python中实现Scrapy爬虫的技巧了,大家学会的话赶紧去实战中操作操作吧,如果觉得小编给大家分享的方法管用的话可以多多关注优草派官方网站。