scrapy 404 - V2EX

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2494 天前的主题，其中的信息可能已经有所发展或是发生改变。

2019-01-05 14:04:50 [csrc][scrapy.core.engine] DEBUG: Crawled (404) <GET http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340238.htm> (referer: http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index_16.html)
2019-01-05 14:04:51 [csrc][scrapy.spidermiddlewares.httperror] INFO: Ignoring response <404 http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340238.htm>: HTTP status code is not handled or not allowed

抓取网址的时候报 404，很多都没有问题，就是个别的出现 404 这是为啥？

网址：
http://www.csrc.gov.cn/pub/newsite/xxpl/yxpl/index.html

csrc

2019-01-05

网址

14:04:51

6 条回复 • 2019-01-05 19:56:17 +08:00

InternetExplorer

2019-01-05 14:19:13 +08:00 via Android

别爬了，要被抓起来吃牢饭的

PulpFunction

2019-01-05 15:03:00 +08:00

在线 debug …

whoami9894

2019-01-05 15:09:33 +08:00 via Android

论坛在线发贴 debug

liuxu

2019-01-05 15:14:04 +08:00

测试了一下没有啊。。。
2019-01-05 15:13:20 [scrapy.core.engine] DEBUG: Crawled (200) <GET http://www.csrc.gov.cn/pub/zjhpublic/G00306202/201806/t20180622_340238.htm> (referer: None)

j0hnj

2019-01-05 18:29:37 +08:00

真·在线 debug

lsido

2019-01-05 19:56:17 +08:00 via iPhone

你也是厉害，花钱请个人不比你问的强？？