技术

怎么像瓦力酱和隔壁王叔叔那样在豆瓣抢沙发?

怎么像瓦力酱和隔壁王叔叔那样在豆瓣抢沙发?
经常上豆瓣的文青不知道有没有看到“瓦力酱”老是抢沙发呢?以前我也觉得很神奇,好像说秒回的,不知道它手这么快,经过慢慢的了解了才知道,瓦力酱原来是一机器人,都不搭理人的,类似的还有“王叔叔”之类的,姑且叫它们“抢沙发程序吧”,这个疑问一直没有答案,但心中早已种下了“要做一个抢沙发机...

赵有财 2年前 (2015-09-27) 3146℃ 2评论 527喜欢

技术

Python入门学习:使用http.cookiejar生产Cookie模拟用户登陆

Python入门学习:使用http.cookiejar生产Cookie模拟用户登陆
有的网站,特别像社交网站,需要登陆才能抓取到网站的数据,那么光模拟浏览器请求网站内容是还不够了,还需要能够模拟用户登陆网站,然后保留登陆状态,获取网站相关的内容。 想要成功模拟真实用户登陆,重点要找到登录时候提交表单都包含了哪些真实的数据。然后使用Python生成这些数据,携带在...

赵有财 2年前 (2015-07-19) 10959℃ 0评论 40喜欢

技术

Python入门学习:应用random函数随机生成HTTP请求headers信息

Python入门学习:应用random函数随机生成HTTP请求headers信息
为什么抓取会收到限制 要采集百度数据,查询关键词排名等,因为短时间内发出太多的请求,会受到百度局域网异常访问屏蔽策略的限制。 出现以下错误信息: 要突破这样的限制,必须伪装成为真正的用户(真正用户大量搜索也会出现)访问,就能降低这样情况发生的概率。 举个栗子: 我们不做任何处理...

赵有财 2年前 (2015-07-05) 9026℃ 2评论 36喜欢

技术

Python入门学习:模拟浏览器查询百度获取结果

Python入门学习:模拟浏览器查询百度获取结果
本来学习Python就是想和SEO相关的,所以就在学习的时候把一下常见的需求引进来,这样动力大,学起来就快一些,深刻一些了。SEO最常用的的恐怕就是查询关键词的排名了,手动查询又慢,有个好工具那肯定是梦寐以求的,那就开始了。 首先需要引人两个模块: import urllib...

赵有财 2年前 (2015-06-23) 3187℃ 0评论 19喜欢

推荐

http referer的作用与referer信息伪造

http referer的作用与referer信息伪造
百度搜索做了referer限制,让referer又火了一把,不少SEO网友一时间对Referer的讨论也热了起来。 那么Referer是什么呢? Http协议头中的Referer主要用来让服务器判断来源页面, 即用户是从哪个页面来的,通常被网站用来统计用户来源,是从搜索页面来的,...

赵有财 2年前 (2015-06-16) 2390℃ 0评论 75喜欢