我看小说的时候我在看什么

最近无聊的时候逛知乎收到几个伙伴的私信,是我之前在专栏写的一个小说网站的代码不能用了。由于我之前说过不在更新那个项目了,所以我也没想去改,我知道大部分原因是爬虫抓取的小说网站更新了,爬虫代码用不了了。然后我看了一下之前的代码,我靠,怎么跟屎一样。这样的代码真的对不起认真阅读的伙伴,于是我将github上的代码全部删了,就重新实现了一下。 实现 实现的大部分方式都写在知乎上,如果大家感兴趣不妨看一下:zhihu 实现后的效果如下: 首页: 搜索结果页: 章节页: 文章页: ...

Python爬虫(13):Scrapy实战抓取网易云音乐

前两篇文章我们了解了 Scrapy 的理论知识,那么我们不能做纸上谈兵的赵括。实践才是检验真理的唯一标准。本篇文章我们来抓取网易云音乐的所有音乐及音乐的热评。 分析站点 我们打开浏览器,访问网易云音乐的网页端。如果我们想要抓取到所有的音乐,就得有一个切入口,能够获得到所有的音乐数据。 那么通过观察页面的导航,我们只能通过获取全部的歌手。但是由于歌手详情页并没有全部音乐这个链接,我们只能获取全部的专辑。在通过全部的专辑获得全部的音乐。 爬虫流程 以歌手页为索引页,抓取所有的歌手; ...

Python爬虫(12):Scrapy组件的用法

大家好,点开文章大家应该可以听到一曲大气恢弘的音乐,仿佛置身于江湖中,而自己是一名行侠仗义的侠客。见多了江湖的纷扰,你早已经累了,功名利禄对你来说不如一壶好酒。你骑马田间,而这时已是傍晚时分,起风了,你看这远方的夕阳,心生感慨。如果当初能够多一点勇气,那么这数十年来就不会是孤身一人了。你叹了口气,猛地抽了自己一巴掌,乱想什么呢,赶紧学习了。 ...

Python爬虫(11):Scrapy框架的安装和基本使用

大家好,本篇文章我们来看一下强大的Python爬虫框架Scrapy。Scrapy是一个使用简单,功能强大的异步爬虫框架,我们先来看看他的安装。 Scrapy的安装 Scrapy的安装是很麻烦的,对于一些想使用Scrapy的人来说,它的安装常常就让很多人死在半路。在此我将我的安装过程和网络上整理的安装方法,分享给大家,希望大家能够安装顺利。 Windows安装 开始之前,我们要确定自己安装了Python,本篇文章我们以Python3.5为例。Scrapy有很多依赖的包,我们来一一安装。 ...

Python爬虫(10):Selenium+PhantomJS基本操作

大家好,这篇文章我们来看一下Selenium库结合PhantomJs,Chrome等一些浏览器的操作。那么我们在之前的文章中,有提到过Selenium库和PhantomJ,说他们结合使用是万能的利器。那么,他们真的那么厉害吗,我们一起来看看Selenium库的用法吧。 什么是Selenium Selenium是一个自动化测试工具,支持包括Chrome,Firefox,Safari,PhantomJs等一些浏览器。如果用于爬虫中,我们主要用来解决一些JavaScript渲染的问题。 ...

Python爬虫(9):Cookie介绍和模拟登录

大家好,这篇文章我们来看一下Cookie是什么,和他的一些用法。 什么是Cookie? 在计算机术语中是指一种能够让网站服务器把少量数据储存到客户端的硬盘或内存,或是从客户端的硬盘读取数据的一种技术。 先看看Cookie长什么样子,我们以知乎为例。打开Chrome的开发者工具(F12),点开Network,点击一个请求url,就可以看到请求头(Request ...

Python爬虫(8):分析Ajax请求爬取果壳网

本篇文章我们来研究一下怎么分析网页的Ajax请求。 我们在平时爬取网页的时候,可能都遇到过有些网页直接请求得到的 HTML 代码里面,并没有我们需要的数据,也就是我们在浏览器中看到的内容。 这就是因为这些信息是通过Ajax加载的,并且通过js渲染生成的。这个时候我们就需要分析这个网页的请求了。 什么是Ajax AJAX即“Asynchronous Javascript And XML”(异步JavaScript和XML),是指一种创建交互式网页应用的网页开发技术。 AJAX = 异步 ...

一切都会好的

博客好久没更新了,但是最近真的有很多话想说,但是又不知如何表达才显得自然。虽然有时候会想反正也没有几个人看,但是话到键盘上,又不知该说什么。这种只可让人意会,而不可言传的感觉真是憋人。 我的大三在十天前结束,转眼就要大四。三年来一事无成,现在想想都觉得后背发凉。这个后背发凉是真实的感受,毕竟气温30多度,感觉到凉是我对自己迷雾般的未来的担忧。 今天早晨163muc给我推荐了一首歌,听着觉得音乐很是伤感,但是没人歌唱,想着是纯音乐就点进去看看什么名字。但是空空的歌词面板却有一句歌词。 ...

忙忙碌碌

临近学期末,各项考试也陆陆续续开始了。忙完这门课的作业,接着忙那门课的复习。可是忙不单行,科目二考试就定在6月19日,两边都很是考试,只忙一边,另一边肯定会生变故。如果两边一起忙,那是必然不可能的。 因为驾校离学校有40分钟的公交路程(最快最方便),如果骑ofo单车大约35分钟,如果步行的话,时间待实践。 ...

返老还童

昨天晚上在知乎上看到 你听过最有力量的台词有哪些? 看了第一条回答,就很喜欢这句台词,于是找了这部电影,静静的看了一下午。影片名《本杰明.巴顿奇事》,又叫《返老还童》。 ...