大数据时代到来，信息更新非常快速，各行各业如果不与时俱进，都将面临优胜劣汰，知识是不断更新的，只有拥有一技之长，才能立于不败之地。网络爬虫，即Web Spider，是一个很形象的名字。目前爬虫开发语言的主要是python，本课程结合几个小的爬虫案例，帮助学员更好的学习爬虫。 最新发布的全球数据库管理系统排名，Redis、Elasticsearch稳步上升，从近四年的增长趋势来看，MongoDB，PostgreSQL、Elasticsearch、Spkunk增速最快，本项目就是就是以Elasticsearch为搜索主题，进行一系列Scrapy数据获取、MongoDB数据存储、Django搭建网站等... 1.课程研发环境 开发工具：Pycharm 浏览器：Firefox、Chrome 运行环境：python.exe、ElasticSearch 2.内容简介 scrapy分布式爬虫打造搜索引擎 Data数据能完成的事情（都可以使用爬虫获取数据）： 1）数据分析服务 2）互联网金融 3）数据建模 4）信息聚类 5）自然语言处理 6）医疗病例分析 然后通过Elasticsearch和Django搭建搜索引擎网站 通过本课程的学习可以让你学会获取想要的数据，以及深入认识网络知识和编程知识 1.课程介绍 2.windows下搭建开发环境 2.1pycharm的安装和简单实用 2.2mysql和navicat的安装和使用 2.3window的安装python3 2.4虚拟环境的安装和配置 3.Python爬虫基础知识 3.1python3基础urllib的使用 3.2python3基础cookie的使用 3.3python3基础正则表达式的使用 3.4python3基础xpath的使用 4.Scrapy爬虫 4.1scrapy基础介绍 4.2scrapy爬虫之Selector 4.3Scrapy爬虫之Spider 4.4Scrapy爬虫之item 4.5Scrapy爬虫之ImagePipeline 4.6Scrapy爬虫之JsonPipeline 4.7Scrapy爬虫之MyqlPipeline 5.CrawlSpider爬虫 5.1CrawlSpider爬虫基础 5.2CrawlSpider爬取详情页面 5.3CrawlSpider之MongoDB讲解 5.4CrawlSpider将数据保存MongoDB 6.Scrapy拓展 6.1selenium动态网页与请求 6.2selenium模拟登陆微博 6.3selenium集成scrapy 7.scrapy-redis分布式爬虫 7.1分布式爬虫介绍 7.2Redis简单实用 7.3Scrapy-Redis分布式爬虫 8.ElasticSearch搜索引擎的使用 8.1ElasticSearch简单介绍 8.2ElasticSearch安装 8.3ElasticSearch插件安装 8.4ElasticSearch概念了解 8.5ElasticSearch常规命令 8.6ElasticSearch批量操作 8.7ElasticSearch映射 8.8ElasticSearch查询方式 8.9ElasticSearch模糊查询 8.10ElasticSearch组合查询之Bool 8.11Scrapy爬取数据写入ES中 9.django搭建搜索页面 9.1ElasticSearch完成搜索建议 9.2Django的安装和配置 9.3Django架构使用之templates 9.4Django架构使用之Model 9.5Django搭建搜索网站 1.开发爬虫所需要用到的技术以及网站分析技巧 2.理解scrapy的原理和所有组建的使用以及分布式爬虫scrapy-redis的使用和原理 3.理解分布式开源搜索引擎elasticsearch的使用以及搜索引擎的原理 4.体验django如何快速搭建网站