软件下载及安装
《1周学会写爬虫》是Python程序员管理团队自主研发的一套爬虫开发的学习课程. 只要您有Python入门的水平(0基础, 1小时, 即可Python入门, 可参见我们的免费视频教程), 无需其他基础, 即可通过本教程的学习, 学会使用Scrapy爬取在线内容, 并将爬取的结果存储在mongodb中,并用flask进行展示.
Python爬虫爱好者.
想找爬虫相关工作的同学.
培训之中贯穿着一个项目, 学生学到知识的同时, 也亲历了项目的各个阶段, 增强了实战经验, 知识的掌握也更加稳固和透彻.
课程中不仅讲解了如何能实现, 还讲解了为什么要这样实现, 剖析了整个项目思考的过程, 切实达到了"授人以渔"的效果.
每节课学员先观看教学视频, 课程页面上老师会布置一个课后作业, 看完视频后, 学员编写作业. 遇到问题及疑问, 跟授课老师QQ联系, 老师会给予解答.
第二节课时, 老师会要求学员创建一个git项目. 学员遇到难以解决的问题, 老师会clone出代码, 帮忙调试
所有的课后作业连在一起, 学员将能够将糗事百科上面的笑话爬取下来, 存储在数据库中, 并展示在一个网页上.
时长不限, 可根据自己的时间安排学习.
整个课程的价格为400元，今日9折，360元. 学习过18天教你写网站课程的学员再打9折324元.
| 课程名称 | 第一个视频 | 第二个视频 | 第三个视频 | 补充材料 |
| 环境的安装 | 课前说明 | scrapy环境的安装 (17'12'') | GET_POST与开发者工具 (13'42'') | 有关环境安装的4篇文章 |
| 创建项目, git原理及使用 | git基础 (29'02'') | 将代码同步到github (40'34'') | pycharm的git使用 (3'13'') | Pycharm使用的常见问题 |
| 前端基础(html, css, javascript) | HTML入门 (27'07'') | CSS入门 (15'05'') | JS基础快讲 (17'37'') | |
| BeautifulSoup入门 | BeautifulSoup入门 (27'42'') | 课后作业讲解（请自己做完作业后观看） (8'45'') | 作业要求 | |
| scrapy基础和起步 | scrapy基础和起步 (27'22'') | pycharm下配置scrapy项目 (15'46'') | 自己编写中间件实现随机UserAgent (24'18'') | 如何查看scrapy使用的Python是哪一个 |
| xpath基础 | xpath基础 (22'48'') | JSON基础 (11'42'') | 页面调试技巧 (12'05'') | xpath函数集合 xpath获取文字特殊说明 |
| mongodb起步 | mongodb起步 (41'35'') | windows安装mongodb (05'41'') | pymongo如何校验链接成功 | |
| 存储到Mongodb | 存储到Mongodb (1小时04分35秒) | 理解classmethod | ||
| 深入到网站中去 | 深入到网站中去 (33'27'') | 链接提取工具和爬虫工具 (45'44'') | ||
| flask展示爬取的数据 | 内置变量__name__ (5'38'') | flask展示爬取的数据 (21'54'') | ||
| 模拟登录：抓取知乎/微博数据 | 模拟登录：抓取知乎数据（上） (22'25'') | 模拟登录：抓取知乎数据（下） (18'58'') | 抓取微博数据 (34'00'') | 手动设置cookie绕过微博登录（12'26''） |
| 模拟浏览器行为 | Phantom截图功能介绍 (29'44'') | 使用selenium操纵浏览器 (29'28'') | 服务器运行selenium |
| 状态 | 标题 | 作者 | 最后更新时间 |
|---|---|---|---|
| 精华 | 学员可以在这里发表文章提问，有人工答疑的课程是否有人工答疑请参见课程介绍也可以直接QQ向老师提问． | 诗书塞外 | 2016-07-25 |
| 普通 | 学员常见的问答也会被记录在这里，其他学员可以通过查看这里的文章从别人的错误中吸取经验． | 诗书塞外 | 2016-07-25 |
