摘要: 原创文章,转载请注明出处! 操作环境:python3 在上一文中python爬虫scrapy框架——人工识别登录知乎倒立文字验证码和数字英文验证码(1)我们已经介绍了用Requests库来登录知乎,本文如果看不懂可以先看之前的文章便于理解 本文将介绍如何用scrapy来登录知乎。 不多说,直接上代码阅读全文
posted @ 2017-09-14 11:25 WangC.W 阅读(533) 评论(0) 编辑
摘要: 原创文章,转载请注明出处! 目前知乎使用了点击图中倒立文字的验证码: 用户需要点击图中倒立的文字才能登录。 这个给爬虫带来了一定难度,但并非无法解决,经过一天的耐心查询,终于可以人工识别验证码并达到登录成功状态,下文将和大家一一道来。 我们学习爬虫首先就要知道浏览器给服务器传输有什么字段(我用的是S阅读全文
posted @ 2017-09-12 10:59 WangC.W 阅读(670) 评论(4) 编辑
摘要: scrapy框架结构图: 组成部分介绍: Scrapy Engine: 负责组件之间数据的流转,当某个动作发生时触发事件 Scheduler: 接收requests,并把他们入队,以便后续的调度 Downloader: 负责抓取网页,并传送给引擎,之后抓取结果将传给spider Spiders: 用阅读全文
posted @ 2017-09-11 10:10 WangC.W 阅读(63) 评论(0) 编辑
摘要: 已Mac系统为例,文件:/usr/local/mysql/support-files/my-default.cnf 是mysql的默认配置文件,你可以直接修改这个文件但是不推荐,你可以在/etc/my.cnf里写入自己想配置的文件,当然首先你要创建这个文件。 在my-default.cnf已经写得很阅读全文
posted @ 2017-09-05 21:56 WangC.W 阅读(6) 评论(0) 编辑
摘要: 操作环境: 系统:Mac 10.12 编辑器:vim 一、无脑配置: 1. 打开中端输入: 2. 打开并编辑 .bash_profile 文件: 按键盘“i”,进入编辑模式 复制如下代码: 按ESC——》按“w”再按“q”——》重启终端——》完成! 二、高级操作: 转义字符: 上面的例子中使用了反斜阅读全文
posted @ 2017-06-08 19:44 WangC.W 阅读(355) 评论(0) 编辑
摘要: 一、前言 1. scrapy依赖包: 二、创建工程 1. 创建scrapy工程: 2. 开始(创建)新的爬虫: 三、用pycharm调试scrapy 1. 在 ArticleSpider 目录下创建 main.py 文件 2. 用到Python提供的一个内置函数,调用这个函数可以执行scrapy脚本阅读全文
posted @ 2017-05-30 21:19 WangC.W 阅读(28) 评论(0) 编辑
摘要: 操作系统:Mac10.11.5 python2.7.13 python3.6.1 安装python2: 安装python3: 此时,命令行输入python3则打开python3,输入python则打开python2。 利用pip安装 ipython 用pip安装ipython则是安装到python2阅读全文
posted @ 2017-05-30 19:27 WangC.W 阅读(307) 评论(0) 编辑
摘要: 操作环境: 操作系统:Mac10.11.5 阿里云服务器:Ubuntu16.04 远程连接:SSH 注:首先我们已假设你已经自己生成了SSH秘钥,并已经配置到阿里云、绑定了自己的云服务器。 但是后来发现原本好使的SSH再次登陆服务器时却提示:Permission denied (publickey)阅读全文
posted @ 2017-05-27 19:08 WangC.W 阅读(644) 评论(0) 编辑
摘要: git常用命令整理 查看当前分支:git branch 切换分支:git checkout ****(分支名) 创建分支:git branch ****(分支名) 删除分支:git branch -D ****(分支名) 添加:git add * 查看已添加我文件:git status -s 提交:阅读全文
posted @ 2017-05-22 11:55 WangC.W 阅读(10) 评论(0) 编辑
摘要: #压缩tar -czvf ***.tar.gztar -cjvf ***.tar.bz2#解压缩tar -xzvf ***.tar.gztar -xjvf ***.tar.bz2 +++++++++++++++++++++++++++++++++++++++++++++ 简介 参数: -c :建立一阅读全文
posted @ 2017-05-18 19:48 WangC.W 阅读(12) 评论(0) 编辑