scrapy怎么设置返回码不是200换代理


scrapy需要设置返回码不是200换代理

知道在中间件设置,代码如下

class DownloadMiddleware():
    def process_response(self, request, response, spider):
        if response.status != 200:
            print 'error',request.meta['proxy']
            print response.url
            request.meta['proxy'] = scrapy_proxy()
            # file = open('badproxy','a')
            # file.write(request.meta['proxy']+'\n')
            # file.close()22
            # reason = response_status_message(response.status)
            # self._faillog(request, u'HTTPERROR', reason, spider)
            new_request = request.copy()
            return new_request
        else:
            return response
            

我的想法是当返回码不是200的时候,request.meta['proxy']修改。
返回request,但是这样并没有效果。

求各位说说解决思路


参考一下连接里面的中间件

https://gist.github.com/therg...



相关阅读:
为什么有的公司要求DBA禁止使用between?
Laravel 如何获取路由名称?
前后端分离中碰到跨域问题大家是怎么解决的?
阮一峰老师《ECMAScript 6入门》第一节中的疑问
定时器中this为什么会指向window
backbone排序问题,视图实时排序
vuex中的state值,在工具类模块中怎么获取?
怎样用yii2.0配合mongodb做后台的权限控制系统???
类方法里实现网络请求类单例的方法有些情况返回不了数据
mysql如何合并两张结构相同的数据表?
easyui1.5 datagrid中分页显示不正常,求教各位
API Gateway 或者 OpenAPI设计思想?
vue.js实现组件间的上移下移
新人小白问题之 什么时候需要用到form标签?什么时候不必用,用不用有什么区别?
Git出错 Fatal:multiple Stage Entriesfor Merged File
前端怎么实现关闭页面或浏览器后,重新打开页面或重启浏览器,可以继续原来的操作,比如重新打开后不需要重新调用后台的服务
flask 中的 template_rendered 函数
react map函数中点击事件失效
怎么检查一个checkbox是否存在?
为什么onmouseenter函数里面的i值为13?



快速导航
PHP MySQL HTML CSS JavaScript MSSQL AJAX .NET JSP Linux Mac ASP 服务器 SQL jQuery C# C++ java Android IOS oracle MongoDB SQLite wamp 交通频道 作文范文 放飞心情作文700字 what\'s the love ?let m作文1000字 珍惜时间作文800字 这一刻,那一刻…… 全市2015年第二批扶贫产业项目通知 美!绿色家园作文700字 琼瑶爱情故事经典语录 开开心心堆雪人 父亲2 动漫城 永恒的朋友500字 “理解时尚追求真美”主题班会设计 经典简短的拜年短信 初中初二作文800字:太空之旅 110接处警先进事迹材料 夏天的感动作文700字 暑假有趣的事——学游泳 老师,我们永远爱戴您作文500字 开学典礼暨教师节庆祝表彰大会讲话稿 谢谢你,我的好朋友650字 奇妙的想象力 读《江姐的故事》有感作文600字 银行分理处年终总结范文 春天的山庄 学生党员承诺书内容 周末大乐趣作文200字 我的中国梦---有梦就该飞翔 真的会有那个人等我吗 参加消防演练100字 大学老师我想对你说800字 《月亮的味道》读后感 镇宣传思想工作总结 初中初一作文750字:心中的长今 建设局蹲点调研创新创业建议书 学习焦裕禄争当好干部 家--是什么 骂父亲的话 家长写给幼儿园的感谢信_感谢信 愿生命温柔待你 十年后的家乡作文250字 雨中的微笑作文500字 我最大的收获 妇联某年工作总结及某年工作思路 我独爱菊 南京之殇_挽回尊严 小学五年级作文450字:良心啊,你到底在哪儿? 升学宴流程主持词 我的舞台(双阳小学,六年四班) 结婚纪念祝福语 《识字学词学句(二)2》教学设计之一

Copyright © 2016 phpStudy |