索引

_

__bool__() （scrapy.Selector 方法） __init__()

__init__() （scrapy.core.scheduler.Scheduler 方法） __len__() （scrapy.core.scheduler.Scheduler 方法）

A

accepts() （scrapy.extensions.feedexport.ItemFilter 方法） adapt_response() （scrapy.spiders.XMLFeedSpider 方法） add_css() （scrapy.loader.ItemLoader 方法） add_jmes() （scrapy.loader.ItemLoader 方法） add_to_list() （scrapy.settings.BaseSettings 方法） add_value() （scrapy.loader.ItemLoader 方法） add_xpath() （scrapy.loader.ItemLoader 方法） ADDONS setting adjust_request_args() （scrapy.contracts.Contract 方法） allow_offsite reqmeta allowed() （scrapy.robotstxt.RobotParser 方法） allowed_domains（scrapy.Spider 属性） AsyncCrawlerProcess（scrapy.crawler 中的类） AsyncCrawlerRunner（scrapy.crawler 中的类） ASYNCIO_EVENT_LOOP setting attributes（scrapy.http.JsonRequest 属性） attributes（scrapy.http.Response 属性） attributes（scrapy.http.TextResponse 属性） attributes（scrapy.Request 属性） attrib（scrapy.Selector 属性） attrib（scrapy.selector.SelectorList 属性） AUTOTHROTTLE_DEBUG setting

autothrottle_dont_adjust_delay reqmeta AUTOTHROTTLE_ENABLED setting AUTOTHROTTLE_MAX_DELAY setting AUTOTHROTTLE_START_DELAY setting AUTOTHROTTLE_TARGET_CONCURRENCY setting AWS_ACCESS_KEY_ID setting AWS_ENDPOINT_URL setting AWS_REGION_NAME setting AWS_SECRET_ACCESS_KEY setting AWS_SESSION_TOKEN setting AWS_USE_SSL setting AWS_VERIFY setting

B

BaseDownloadHandler（scrapy.core.downloader.handlers.base 中的类） BaseDupeFilter（scrapy.dupefilters 中的类） BaseItemExporter（scrapy.exporters 中的类） BaseScheduler（scrapy.core.scheduler 中的类） BaseSettings（scrapy.settings 中的类） BaseSpiderMiddleware（scrapy.spidermiddlewares.base 中的类） bench command bindaddress reqmeta

body（scrapy.http.Response 属性） body（scrapy.Request 属性） BOT_NAME setting build_from_crawler()（在 scrapy.utils.misc 模块中） bytes_received signal bytes_received()（在 scrapy.signals 模块中） Bz2Plugin（scrapy.extensions.postprocessing 中的类）

C

CacheStorage（scrapy.extensions.httpcache 中的类） CallbackKeywordArgumentsContract（scrapy.contracts.default 中的类） callback（scrapy.Request 属性） cb_kwargs（scrapy.http.Response 属性） cb_kwargs（scrapy.Request 属性） certificate（scrapy.http.Response 属性） check command clear_stats() （scrapy.statscollectors.StatsCollector 方法） close() close() （SampleDownloadHandler 方法） close() （scrapy.core.downloader.handlers.base.BaseDownloadHandler 方法） close() （scrapy.core.scheduler.BaseScheduler 方法） close() （scrapy.core.scheduler.Scheduler 方法） close_spider() close_spider() （scrapy.extensions.httpcache.CacheStorage 方法） close_spider() （scrapy.statscollectors.StatsCollector 方法） closed() （scrapy.Spider 方法） CloseSpider CLOSESPIDER_ERRORCOUNT setting CLOSESPIDER_ITEMCOUNT setting CLOSESPIDER_PAGECOUNT setting CLOSESPIDER_PAGECOUNT_NO_ITEM setting CLOSESPIDER_TIMEOUT setting CLOSESPIDER_TIMEOUT_NO_ITEM setting CloseSpider（scrapy.extensions.closespider 中的类） command bench check crawl edit fetch genspider list parse runspider settings shell startproject version view COMMANDS_MODULE setting COMPRESSION_ENABLED setting

CONCURRENT_ITEMS setting CONCURRENT_REQUESTS setting CONCURRENT_REQUESTS_PER_DOMAIN setting configure_logging()（在 scrapy.utils.log 模块中） connect() （scrapy.signalmanager.SignalManager 方法） context（scrapy.loader.ItemLoader 属性） ContractFail（scrapy.exceptions 中的类） Contract（scrapy.contracts 中的类） cookiejar reqmeta COOKIES_DEBUG setting COOKIES_ENABLED setting CookiesMiddleware（scrapy.downloadermiddlewares.cookies 中的类） copy() （scrapy.http.Response 方法） copy() （scrapy.Item 方法） copy() （scrapy.Request 方法） copy() （scrapy.settings.BaseSettings 方法） copy_to_dict() （scrapy.settings.BaseSettings 方法） CoreStats（scrapy.extensions.corestats 中的类） crawl command crawl() （scrapy.crawler.AsyncCrawlerProcess 方法） crawl() （scrapy.crawler.AsyncCrawlerRunner 方法） crawl() （scrapy.crawler.Crawler 方法） crawl() （scrapy.crawler.CrawlerProcess 方法） crawl() （scrapy.crawler.CrawlerRunner 方法） crawl_async() （scrapy.crawler.Crawler 方法） crawled() （scrapy.logformatter.LogFormatter 方法） CrawlerProcess（scrapy.crawler 中的类） CrawlerRunner（scrapy.crawler 中的类） crawlers（scrapy.crawler.AsyncCrawlerProcess 属性） crawlers（scrapy.crawler.CrawlerProcess 属性） Crawler（scrapy.crawler 中的类） crawler（scrapy.Spider 属性） CrawlSpider（scrapy.spiders 中的类） create_crawler() （scrapy.crawler.AsyncCrawlerProcess 方法） create_crawler() （scrapy.crawler.CrawlerProcess 方法） css() （scrapy.http.TextResponse 方法） css() （scrapy.Selector 方法） css() （scrapy.selector.SelectorList 方法） CSVFeedSpider（scrapy.spiders 中的类） CsvItemExporter（scrapy.exporters 中的类） csviter()（在 scrapy.utils.iterators 模块中） curl_to_request_kwargs()（在 scrapy.utils.curl 模块中） custom_settings（scrapy.Spider 属性）

D

DataURIDownloadHandler（scrapy.core.downloader.handlers.datauri 中的类） DbmCacheStorage（scrapy.extensions.httpcache 中的类） Debugger（scrapy.extensions.periodic_log 中的类） deepcopy() （scrapy.Item 方法） DEFAULT_DROPITEM_LOG_LEVEL setting default_input_processor（scrapy.loader.ItemLoader 属性） DEFAULT_ITEM_CLASS setting default_item_class（scrapy.loader.ItemLoader 属性） default_output_processor（scrapy.loader.ItemLoader 属性） DEFAULT_REQUEST_HEADERS setting default_selector_class（scrapy.loader.ItemLoader 属性） DefaultHeadersMiddleware（scrapy.downloadermiddlewares.defaultheaders 中的类） DefaultReferrerPolicy（scrapy.spidermiddlewares.referer 中的类） deferred_f_from_coro_f()（在 scrapy.utils.defer 模块中） deferred_from_coro()（在 scrapy.utils.defer 模块中） deferred_to_future()（在 scrapy.utils.defer 模块中） delimiter（scrapy.spiders.CSVFeedSpider 属性） DEPTH_LIMIT setting DEPTH_PRIORITY setting DEPTH_STATS_VERBOSE setting DepthMiddleware（scrapy.spidermiddlewares.depth 中的类） disconnect() （scrapy.signalmanager.SignalManager 方法） disconnect_all() （scrapy.signalmanager.SignalManager 方法） DNS_RESOLVER setting DNS_TIMEOUT setting DNSCACHE_ENABLED setting DNSCACHE_SIZE setting dont_cache reqmeta dont_filter（scrapy.Request 属性） dont_merge_cookies reqmeta dont_obey_robotstxt reqmeta dont_redirect reqmeta dont_retry reqmeta DontCloseSpider DOWNLOAD_DELAY setting download_error() （scrapy.logformatter.LogFormatter 方法） DOWNLOAD_FAIL_ON_DATALOSS setting

download_fail_on_dataloss reqmeta DOWNLOAD_HANDLERS setting DOWNLOAD_HANDLERS_BASE setting download_latency reqmeta DOWNLOAD_MAXSIZE setting download_maxsize reqmeta download_request() （SampleDownloadHandler 方法） download_request() （scrapy.core.downloader.handlers.base.BaseDownloadHandler 方法） DOWNLOAD_SLOTS setting DOWNLOAD_TIMEOUT setting download_timeout reqmeta DOWNLOAD_WARNSIZE setting download_warnsize reqmeta DOWNLOADER setting DOWNLOADER_CLIENT_TLS_CIPHERS setting DOWNLOADER_CLIENT_TLS_METHOD setting DOWNLOADER_CLIENT_TLS_VERBOSE_LOGGING setting DOWNLOADER_CLIENTCONTEXTFACTORY setting DOWNLOADER_MIDDLEWARES setting DOWNLOADER_MIDDLEWARES_BASE setting DOWNLOADER_STATS setting DownloaderMiddleware（scrapy.downloadermiddlewares 中的类） DownloaderStats（scrapy.downloadermiddlewares.stats 中的类） DownloadTimeoutMiddleware（scrapy.downloadermiddlewares.downloadtimeout 中的类） DropItem dropped() （scrapy.logformatter.LogFormatter 方法） DummyPolicy（scrapy.extensions.httpcache 中的类） DummySpiderLoader（scrapy.spiderloader 中的类） DummyStatsCollector（scrapy.statscollectors 中的类） DUPEFILTER_CLASS setting DUPEFILTER_DEBUG setting

E

edit command EDITOR setting encoding（scrapy.exporters.BaseItemExporter 属性） encoding（scrapy.http.TextResponse 属性） engine_started signal engine_started()（在 scrapy.signals 模块中） engine_stopped signal engine_stopped()（在 scrapy.signals 模块中） engine（scrapy.crawler.Crawler 属性）

enqueue_request() （scrapy.core.scheduler.BaseScheduler 方法） enqueue_request() （scrapy.core.scheduler.Scheduler 方法） ensure_awaitable()（在 scrapy.utils.defer 模块中） errback（scrapy.Request 属性） ExecutionEngine（scrapy.core.engine 中的类） export_empty_fields（scrapy.exporters.BaseItemExporter 属性） export_item() （scrapy.exporters.BaseItemExporter 方法） EXTENSIONS setting EXTENSIONS_BASE setting extensions（scrapy.crawler.Crawler 属性） extract_links() （scrapy.linkextractors.lxmlhtml.LxmlLinkExtractor 方法）

F

FEED_EXPORT_BATCH_ITEM_COUNT setting FEED_EXPORT_ENCODING setting FEED_EXPORT_FIELDS setting FEED_EXPORT_INDENT setting feed_exporter_closed signal feed_exporter_closed()（在 scrapy.signals 模块中） FEED_EXPORTERS setting FEED_EXPORTERS_BASE setting feed_slot_closed signal feed_slot_closed()（在 scrapy.signals 模块中） FEED_STORAGE_FTP_ACTIVE setting FEED_STORAGE_GCS_ACL setting FEED_STORAGE_S3_ACL setting FEED_STORAGES setting FEED_STORAGES_BASE setting FEED_STORE_EMPTY setting FEED_TEMPDIR setting FEED_URI_PARAMS setting FEEDS setting fetch command fields_to_export（scrapy.exporters.BaseItemExporter 属性） fields（scrapy.Item 属性） Field（scrapy 中的类） file_path() （scrapy.pipelines.files.FilesPipeline 方法） file_path() （scrapy.pipelines.images.ImagesPipeline 方法） FileDownloadHandler（scrapy.core.downloader.handlers.file 中的类） FILES_EXPIRES setting

FILES_RESULT_FIELD setting FILES_STORE setting FILES_STORE_GCS_ACL setting FILES_STORE_S3_ACL setting FILES_URLS_FIELD setting FilesPipeline（scrapy.pipelines.files 中的类） FilesystemCacheStorage（scrapy.extensions.httpcache 中的类） find_by_request() （scrapy.spiderloader.SpiderLoader 方法） fingerprint() fingerprint()（在 scrapy.utils.request 模块中） finish_exporting() （scrapy.exporters.BaseItemExporter 方法） flags（scrapy.http.Response 属性） follow() （scrapy.http.Response 方法） follow() （scrapy.http.TextResponse 方法） follow_all() （scrapy.http.Response 方法） follow_all() （scrapy.http.TextResponse 方法） FORCE_CRAWLER_PROCESS setting freeze() （scrapy.settings.BaseSettings 方法） from_crawler() from_crawler() （scrapy.Spider 方法） from_crawler()（scrapy.core.downloader.handlers.base.BaseDownloadHandler 类方法） from_crawler()（scrapy.core.scheduler.BaseScheduler 类方法） from_crawler()（scrapy.core.scheduler.Scheduler 类方法） from_crawler()（scrapy.robotstxt.RobotParser 类方法） from_curl()（scrapy.Request 类方法） from_response()（scrapy.FormRequest 类方法） from_settings() （scrapy.spiderloader.SpiderLoader 方法） frozencopy() （scrapy.settings.BaseSettings 方法） FTP_PASSIVE_MODE setting FTP_PASSWORD setting ftp_password reqmeta FTP_USER setting ftp_user reqmeta FTPDownloadHandler（scrapy.core.downloader.handlers.ftp 中的类）

G

GCS_PROJECT_ID setting genspider command get() （scrapy.Selector 方法） get() （scrapy.selector.SelectorList 方法） get() （scrapy.settings.BaseSettings 方法） get_addon() （scrapy.crawler.Crawler 方法） get_collected_values() （scrapy.loader.ItemLoader 方法） get_css() （scrapy.loader.ItemLoader 方法） get_downloader_middleware() （scrapy.crawler.Crawler 方法） get_extension() （scrapy.crawler.Crawler 方法） get_item_pipeline() （scrapy.crawler.Crawler 方法） get_jmes() （scrapy.loader.ItemLoader 方法） get_media_requests() （scrapy.pipelines.files.FilesPipeline 方法） get_media_requests() （scrapy.pipelines.images.ImagesPipeline 方法） get_oldest()（在 scrapy.utils.trackref 模块中） get_output_value() （scrapy.loader.ItemLoader 方法） get_processed_item() （scrapy.spidermiddlewares.base.BaseSpiderMiddleware 方法）

get_processed_request() （scrapy.spidermiddlewares.base.BaseSpiderMiddleware 方法） get_retry_request()（在 scrapy.downloadermiddlewares.retry 模块中） get_settings_priority()（在 scrapy.settings 模块中） get_spider_middleware() （scrapy.crawler.Crawler 方法） get_stats() （scrapy.statscollectors.StatsCollector 方法） get_value() （scrapy.loader.ItemLoader 方法） get_value() （scrapy.statscollectors.StatsCollector 方法） get_xpath() （scrapy.loader.ItemLoader 方法） getall() （scrapy.Selector 方法） getall() （scrapy.selector.SelectorList 方法） getbool() （scrapy.settings.BaseSettings 方法） getdict() （scrapy.settings.BaseSettings 方法） getdictorlist() （scrapy.settings.BaseSettings 方法） getfloat() （scrapy.settings.BaseSettings 方法） getint() （scrapy.settings.BaseSettings 方法） getlist() （scrapy.settings.BaseSettings 方法） getpriority() （scrapy.settings.BaseSettings 方法） getwithbase() （scrapy.settings.BaseSettings 方法） global_object_name()（在 scrapy.utils.python 模块中） GzipPlugin（scrapy.extensions.postprocessing 中的类）

H

H2DownloadHandler（scrapy.core.downloader.handlers.http2 中的类） handle_httpstatus_all reqmeta handle_httpstatus_list reqmeta has_pending_requests() （scrapy.core.scheduler.BaseScheduler 方法） has_pending_requests() （scrapy.core.scheduler.Scheduler 方法） headers_received signal headers_received()（在 scrapy.signals 模块中） headers（scrapy.http.Response 属性） headers（scrapy.Request 属性） headers（scrapy.spiders.CSVFeedSpider 属性） HtmlResponse（scrapy.http 中的类） HTTP11DownloadHandler（scrapy.core.downloader.handlers.http11 中的类） HttpAuthMiddleware（scrapy.downloadermiddlewares.httpauth 中的类） HTTPCACHE_ALWAYS_STORE setting HTTPCACHE_DBM_MODULE setting HTTPCACHE_DIR setting HTTPCACHE_ENABLED setting HTTPCACHE_EXPIRATION_SECS setting

HTTPCACHE_GZIP setting HTTPCACHE_IGNORE_HTTP_CODES setting HTTPCACHE_IGNORE_MISSING setting HTTPCACHE_IGNORE_RESPONSE_CACHE_CONTROLS setting HTTPCACHE_IGNORE_SCHEMES setting HTTPCACHE_POLICY setting HTTPCACHE_STORAGE setting HttpCacheMiddleware（scrapy.downloadermiddlewares.httpcache 中的类） HttpCompressionMiddleware（scrapy.downloadermiddlewares.httpcompression 中的类） HTTPERROR_ALLOW_ALL setting HTTPERROR_ALLOWED_CODES setting HttpErrorMiddleware（scrapy.spidermiddlewares.httperror 中的类） HTTPPROXY_AUTH_ENCODING setting HTTPPROXY_ENABLED setting HttpProxyMiddleware（scrapy.downloadermiddlewares.httpproxy 中的类）

I

IgnoreRequest IMAGES_EXPIRES setting IMAGES_MIN_HEIGHT setting IMAGES_MIN_WIDTH setting IMAGES_RESULT_FIELD setting IMAGES_STORE setting IMAGES_STORE_GCS_ACL setting IMAGES_STORE_S3_ACL setting IMAGES_THUMBS setting IMAGES_URLS_FIELD setting ImagesPipeline（scrapy.pipelines.images 中的类） inc_value() （scrapy.statscollectors.StatsCollector 方法） indent（scrapy.exporters.BaseItemExporter 属性） install_reactor()（在 scrapy.utils.reactor 模块中） ip_address（scrapy.http.Response 属性） is_asyncio_available()（在 scrapy.utils.asyncio 模块中） is_asyncio_reactor_installed()（在 scrapy.utils.reactor 模块中）

is_start_request reqmeta item_completed() （scrapy.pipelines.files.FilesPipeline 方法） item_completed() （scrapy.pipelines.images.ImagesPipeline 方法） item_dropped signal item_dropped()（在 scrapy.signals 模块中） item_error signal item_error() （scrapy.logformatter.LogFormatter 方法） item_error()（在 scrapy.signals 模块中） ITEM_PIPELINES setting ITEM_PIPELINES_BASE setting item_scraped signal item_scraped()（在 scrapy.signals 模块中） ItemFilter（scrapy.extensions.feedexport 中的类） ItemLoader（scrapy.loader 中的类） ItemMeta（scrapy.item 中的类） Item（scrapy 中的类） item（scrapy.loader.ItemLoader 属性） iter_all()（在 scrapy.utils.trackref 模块中） iterator（scrapy.spiders.XMLFeedSpider 属性） itertag（scrapy.spiders.XMLFeedSpider 属性）

J

jmespath() （scrapy.http.TextResponse 方法） jmespath() （scrapy.Selector 方法） jmespath() （scrapy.selector.SelectorList 方法） JOBDIR setting join() （scrapy.crawler.AsyncCrawlerProcess 方法） join() （scrapy.crawler.AsyncCrawlerRunner 方法）

join() （scrapy.crawler.CrawlerProcess 方法） join() （scrapy.crawler.CrawlerRunner 方法） json() （scrapy.http.TextResponse 方法） JsonItemExporter（scrapy.exporters 中的类） JsonLinesItemExporter（scrapy.exporters 中的类） JsonRequest（scrapy.http 中的类） JsonResponse（scrapy.http 中的类）

L

lazy（SampleDownloadHandler 属性） lazy（scrapy.core.downloader.handlers.base.BaseDownloadHandler 属性） Link（scrapy.link 中的类） list command list() （scrapy.spiderloader.SpiderLoader 方法） load() （scrapy.spiderloader.SpiderLoader 方法） load_item() （scrapy.loader.ItemLoader 方法） log() （scrapy.Spider 方法） LOG_DATEFORMAT setting LOG_ENABLED setting LOG_ENCODING setting LOG_FILE setting LOG_FILE_APPEND setting

LOG_FORMAT setting LOG_FORMATTER setting LOG_LEVEL setting LOG_SHORT_NAMES setting LOG_STDOUT setting LOG_VERSIONS setting LogCount（scrapy.extensions.logcount 中的类） LogFormatter（scrapy.logformatter 中的类） logger（scrapy.Spider 属性） LOGSTATS_INTERVAL setting LogStats（scrapy.extensions.logstats 中的类） LxmlLinkExtractor（scrapy.linkextractors.lxmlhtml 中的类） LZMAPlugin（scrapy.extensions.postprocessing 中的类）

M

MAIL_FROM setting MAIL_HOST setting MAIL_PASS setting MAIL_PORT setting MAIL_SSL setting MAIL_TLS setting MAIL_USER setting MailSender（scrapy.mail 中的类） MarshalItemExporter（scrapy.exporters 中的类） max_retry_times reqmeta max_value() （scrapy.statscollectors.StatsCollector 方法） maxpriority() （scrapy.settings.BaseSettings 方法） maybe_deferred_to_future()（在 scrapy.utils.defer 模块中） MEDIA_ALLOW_REDIRECTS setting MEMDEBUG_ENABLED setting MEMDEBUG_NOTIFY setting MemoryDebugger（scrapy.extensions.memdebug 中的类） MemoryStatsCollector（scrapy.statscollectors 中的类） MemoryUsage（scrapy.extensions.memusage 中的类） MEMUSAGE_CHECK_INTERVAL_SECONDS setting MEMUSAGE_ENABLED setting MEMUSAGE_LIMIT_MB setting MEMUSAGE_NOTIFY_MAIL setting MEMUSAGE_WARNING_MB setting MetadataContract（scrapy.contracts.default 中的类） METAREFRESH_ENABLED setting METAREFRESH_IGNORE_TAGS setting METAREFRESH_MAXDELAY setting MetaRefreshMiddleware（scrapy.downloadermiddlewares.redirect 中的类） meta（scrapy.http.Response 属性） meta（scrapy.Request 属性） method（scrapy.Request 属性） min_value() （scrapy.statscollectors.StatsCollector 方法） module scrapy.contracts scrapy.contracts.default scrapy.core.scheduler scrapy.crawler scrapy.downloadermiddlewares scrapy.downloadermiddlewares.cookies scrapy.downloadermiddlewares.defaultheaders scrapy.downloadermiddlewares.downloadtimeout scrapy.downloadermiddlewares.httpauth scrapy.downloadermiddlewares.httpcache scrapy.downloadermiddlewares.httpcompression scrapy.downloadermiddlewares.httpproxy scrapy.downloadermiddlewares.offsite scrapy.downloadermiddlewares.redirect scrapy.downloadermiddlewares.retry scrapy.downloadermiddlewares.robotstxt scrapy.downloadermiddlewares.stats scrapy.downloadermiddlewares.useragent scrapy.exceptions scrapy.exporters scrapy.extensions.closespider scrapy.extensions.corestats scrapy.extensions.debug scrapy.extensions.httpcache scrapy.extensions.logcount scrapy.extensions.logstats scrapy.extensions.memdebug scrapy.extensions.memusage scrapy.extensions.periodic_log scrapy.extensions.spiderstate scrapy.extensions.statsmailer scrapy.extensions.telnet scrapy.http scrapy.item scrapy.link scrapy.linkextractors scrapy.linkextractors.lxmlhtml scrapy.loader scrapy.mail scrapy.pipelines.files scrapy.pipelines.images scrapy.robotstxt scrapy.selector scrapy.settings scrapy.signalmanager scrapy.signals scrapy.spiderloader scrapy.spidermiddlewares scrapy.spidermiddlewares.base scrapy.spidermiddlewares.depth scrapy.spidermiddlewares.httperror scrapy.spidermiddlewares.referer scrapy.spidermiddlewares.start scrapy.spidermiddlewares.urllength scrapy.statscollectors scrapy.utils.log scrapy.utils.trackref

N

namespaces（scrapy.spiders.XMLFeedSpider 属性） name（scrapy.Spider 属性） needs_backout() （scrapy.core.engine.ExecutionEngine 方法） nested_css() （scrapy.loader.ItemLoader 方法） nested_xpath() （scrapy.loader.ItemLoader 方法） NEWSPIDER_MODULE setting

next_request() （scrapy.core.scheduler.BaseScheduler 方法） next_request() （scrapy.core.scheduler.Scheduler 方法） NO_CALLBACK()（在 scrapy.http.request 模块中） NoReferrerPolicy（scrapy.spidermiddlewares.referer 中的类） NoReferrerWhenDowngradePolicy（scrapy.spidermiddlewares.referer 中的类） NotConfigured NotSupported

O

object_ref（scrapy.utils.trackref 中的类） OffsiteMiddleware（scrapy.downloadermiddlewares.offsite 中的类） open() （scrapy.core.scheduler.BaseScheduler 方法） open() （scrapy.core.scheduler.Scheduler 方法） open_in_browser()（在 scrapy.utils.response 模块中）

open_spider() open_spider() （scrapy.extensions.httpcache.CacheStorage 方法） open_spider() （scrapy.statscollectors.StatsCollector 方法） OriginPolicy（scrapy.spidermiddlewares.referer 中的类） OriginWhenCrossOriginPolicy（scrapy.spidermiddlewares.referer 中的类）

P

parse command parse() （scrapy.Spider 方法） parse_node() （scrapy.spiders.XMLFeedSpider 方法） parse_row() （scrapy.spiders.CSVFeedSpider 方法） parse_start_url() （scrapy.spiders.CrawlSpider 方法） PERIODIC_LOG_DELTA setting PERIODIC_LOG_STATS setting PERIODIC_LOG_TIMING_ENABLED setting PeriodicLog（scrapy.extensions.periodic_log 中的类） PickleItemExporter（scrapy.exporters 中的类） pop() （scrapy.settings.BaseSettings 方法） post_process() （scrapy.contracts.Contract 方法） PprintItemExporter（scrapy.exporters 中的类）

pre_process() （scrapy.contracts.Contract 方法） print_live_refs()（在 scrapy.utils.trackref 模块中） priority（scrapy.Request 属性） process_exception() （scrapy.downloadermiddlewares.DownloaderMiddleware 方法） process_item() process_request() （scrapy.downloadermiddlewares.DownloaderMiddleware 方法） process_response() （scrapy.downloadermiddlewares.DownloaderMiddleware 方法） process_results() （scrapy.spiders.XMLFeedSpider 方法） process_spider_exception() （scrapy.spidermiddlewares.SpiderMiddleware 方法） process_spider_input() （scrapy.spidermiddlewares.SpiderMiddleware 方法） process_spider_output() （scrapy.spidermiddlewares.SpiderMiddleware 方法） process_spider_output_async() （scrapy.spidermiddlewares.SpiderMiddleware 方法） process_start() （scrapy.spidermiddlewares.SpiderMiddleware 方法） protocol（scrapy.http.Response 属性） proxy reqmeta Python 增强建议；PEP 8 PythonItemExporter（scrapy.exporters 中的类）

Q

quotechar（scrapy.spiders.CSVFeedSpider 属性）

R

RANDOMIZE_DOWNLOAD_DELAY setting re() （scrapy.Selector 方法） re() （scrapy.selector.SelectorList 方法） re_first() （scrapy.Selector 方法） re_first() （scrapy.selector.SelectorList 方法） REACTOR_THREADPOOL_MAXSIZE setting REDIRECT_ENABLED setting REDIRECT_MAX_TIMES setting REDIRECT_PRIORITY_ADJUST setting redirect_reasons reqmeta redirect_urls reqmeta RedirectMiddleware（scrapy.downloadermiddlewares.redirect 中的类） REFERER_ENABLED setting RefererMiddleware（scrapy.spidermiddlewares.referer 中的类） REFERRER_POLICY setting referrer_policy reqmeta ReferrerPolicy（scrapy.spidermiddlewares.referer 中的类） register_namespace() （scrapy.Selector 方法） remove_from_list() （scrapy.settings.BaseSettings 方法） remove_namespaces() （scrapy.Selector 方法） replace() （scrapy.http.Response 方法） replace() （scrapy.Request 方法） replace_css() （scrapy.loader.ItemLoader 方法） replace_in_component_priority_dict() （scrapy.settings.BaseSettings 方法） replace_jmes() （scrapy.loader.ItemLoader 方法） replace_value() （scrapy.loader.ItemLoader 方法） replace_xpath() （scrapy.loader.ItemLoader 方法） reqmeta allow_offsite autothrottle_dont_adjust_delay bindaddress cookiejar dont_cache dont_merge_cookies dont_obey_robotstxt dont_redirect dont_retry download_fail_on_dataloss download_latency download_maxsize download_timeout download_warnsize ftp_password ftp_user handle_httpstatus_all handle_httpstatus_list is_start_request max_retry_times proxy redirect_reasons redirect_urls referrer_policy

request_dropped signal request_dropped()（在 scrapy.signals 模块中） REQUEST_FINGERPRINTER_CLASS setting request_fingerprinter（scrapy.crawler.Crawler 属性） request_from_dict()（在 scrapy.utils.request 模块中） request_left_downloader signal request_left_downloader()（在 scrapy.signals 模块中） request_reached_downloader signal request_reached_downloader()（在 scrapy.signals 模块中） request_scheduled signal request_scheduled()（在 scrapy.signals 模块中） RequestFingerprinter（scrapy.utils.request 中的类） Request（scrapy 中的类） request（scrapy.http.Response 属性） response_downloaded signal response_downloaded()（在 scrapy.signals 模块中） response_received signal response_received()（在 scrapy.signals 模块中） Response（scrapy.http 中的类） retrieve_response() （scrapy.extensions.httpcache.CacheStorage 方法） RETRY_ENABLED setting RETRY_EXCEPTIONS setting RETRY_HTTP_CODES setting RETRY_PRIORITY_ADJUST setting RETRY_TIMES setting RetryMiddleware（scrapy.downloadermiddlewares.retry 中的类） ReturnsContract（scrapy.contracts.default 中的类） RFC2616Policy（scrapy.extensions.httpcache 中的类） RFPDupeFilter（scrapy.dupefilters 中的类） RobotParser（scrapy.robotstxt 中的类） ROBOTSTXT_OBEY setting ROBOTSTXT_PARSER setting ROBOTSTXT_USER_AGENT setting RobotsTxtMiddleware（scrapy.downloadermiddlewares.robotstxt 中的类） rules（scrapy.spiders.CrawlSpider 属性） Rule（scrapy.spiders 中的类） runspider command

S

S3DownloadHandler（scrapy.core.downloader.handlers.s3 中的类） SameOriginPolicy（scrapy.spidermiddlewares.referer 中的类） SampleDownloadHandler（内置类） SCHEDULER setting SCHEDULER_DEBUG setting SCHEDULER_DISK_QUEUE setting scheduler_empty signal scheduler_empty()（在 scrapy.signals 模块中） SCHEDULER_MEMORY_QUEUE setting SCHEDULER_PRIORITY_QUEUE setting SCHEDULER_START_DISK_QUEUE setting SCHEDULER_START_MEMORY_QUEUE setting Scheduler（scrapy.core.scheduler 中的类） scraped() （scrapy.logformatter.LogFormatter 方法） SCRAPER_SLOT_MAX_ACTIVE_SIZE setting ScrapesContract（scrapy.contracts.default 中的类） scrapy.contracts module scrapy.contracts.default module scrapy.core.scheduler module scrapy.crawler module scrapy.downloadermiddlewares module scrapy.downloadermiddlewares.cookies module scrapy.downloadermiddlewares.defaultheaders module scrapy.downloadermiddlewares.downloadtimeout module scrapy.downloadermiddlewares.httpauth module scrapy.downloadermiddlewares.httpcache module scrapy.downloadermiddlewares.httpcompression module scrapy.downloadermiddlewares.httpproxy module scrapy.downloadermiddlewares.offsite module scrapy.downloadermiddlewares.redirect module scrapy.downloadermiddlewares.retry module scrapy.downloadermiddlewares.robotstxt module scrapy.downloadermiddlewares.stats module scrapy.downloadermiddlewares.useragent module scrapy.exceptions module scrapy.exporters module scrapy.extensions.closespider module scrapy.extensions.corestats module scrapy.extensions.debug module scrapy.extensions.httpcache module scrapy.extensions.logcount module scrapy.extensions.logstats module scrapy.extensions.memdebug module scrapy.extensions.memusage module scrapy.extensions.periodic_log module scrapy.extensions.spiderstate module scrapy.extensions.statsmailer module scrapy.extensions.telnet module scrapy.FormRequest（内置类） scrapy.http module scrapy.item module scrapy.link module scrapy.linkextractors module scrapy.linkextractors.lxmlhtml module scrapy.loader module scrapy.mail module scrapy.pipelines.files module scrapy.pipelines.images module scrapy.robotstxt module scrapy.selector module scrapy.settings module scrapy.signalmanager module scrapy.signals module scrapy.spiderloader module scrapy.spidermiddlewares module scrapy.spidermiddlewares.base module scrapy.spidermiddlewares.depth module scrapy.spidermiddlewares.httperror module scrapy.spidermiddlewares.referer module scrapy.spidermiddlewares.start module scrapy.spidermiddlewares.urllength module scrapy.spiders.Spider（内置类） scrapy.statscollectors module scrapy.utils.log module scrapy.utils.trackref module SelectorList（scrapy.selector 中的类） Selector（scrapy 中的类） selector（scrapy.http.TextResponse 属性） selector（scrapy.loader.ItemLoader 属性） send() （scrapy.mail.MailSender 方法） send_catch_log() （scrapy.signalmanager.SignalManager 方法） send_catch_log_async() （scrapy.signalmanager.SignalManager 方法） send_catch_log_deferred() （scrapy.signalmanager.SignalManager 方法） serialize_field() （scrapy.exporters.BaseItemExporter 方法） set() （scrapy.settings.BaseSettings 方法） set_in_component_priority_dict() （scrapy.settings.BaseSettings 方法） set_stats() （scrapy.statscollectors.StatsCollector 方法） set_value() （scrapy.statscollectors.StatsCollector 方法） setdefault() （scrapy.settings.BaseSettings 方法） setdefault_in_component_priority_dict() （scrapy.settings.BaseSettings 方法） setmodule() （scrapy.settings.BaseSettings 方法） setting ADDONS ASYNCIO_EVENT_LOOP AUTOTHROTTLE_DEBUG AUTOTHROTTLE_ENABLED AUTOTHROTTLE_MAX_DELAY AUTOTHROTTLE_START_DELAY AUTOTHROTTLE_TARGET_CONCURRENCY AWS_ACCESS_KEY_ID AWS_ENDPOINT_URL AWS_REGION_NAME AWS_SECRET_ACCESS_KEY AWS_SESSION_TOKEN AWS_USE_SSL AWS_VERIFY BOT_NAME CLOSESPIDER_ERRORCOUNT CLOSESPIDER_ITEMCOUNT CLOSESPIDER_PAGECOUNT CLOSESPIDER_PAGECOUNT_NO_ITEM CLOSESPIDER_TIMEOUT CLOSESPIDER_TIMEOUT_NO_ITEM COMMANDS_MODULE COMPRESSION_ENABLED CONCURRENT_ITEMS CONCURRENT_REQUESTS CONCURRENT_REQUESTS_PER_DOMAIN COOKIES_DEBUG COOKIES_ENABLED DEFAULT_DROPITEM_LOG_LEVEL DEFAULT_ITEM_CLASS DEFAULT_REQUEST_HEADERS DEPTH_LIMIT DEPTH_PRIORITY DEPTH_STATS_VERBOSE DNS_RESOLVER DNS_TIMEOUT DNSCACHE_ENABLED DNSCACHE_SIZE DOWNLOAD_DELAY DOWNLOAD_FAIL_ON_DATALOSS DOWNLOAD_HANDLERS DOWNLOAD_HANDLERS_BASE DOWNLOAD_MAXSIZE DOWNLOAD_SLOTS DOWNLOAD_TIMEOUT DOWNLOAD_WARNSIZE DOWNLOADER DOWNLOADER_CLIENT_TLS_CIPHERS DOWNLOADER_CLIENT_TLS_METHOD DOWNLOADER_CLIENT_TLS_VERBOSE_LOGGING DOWNLOADER_CLIENTCONTEXTFACTORY DOWNLOADER_MIDDLEWARES DOWNLOADER_MIDDLEWARES_BASE DOWNLOADER_STATS DUPEFILTER_CLASS DUPEFILTER_DEBUG EDITOR EXTENSIONS EXTENSIONS_BASE FEED_EXPORT_BATCH_ITEM_COUNT FEED_EXPORT_ENCODING FEED_EXPORT_FIELDS FEED_EXPORT_INDENT FEED_EXPORTERS FEED_EXPORTERS_BASE FEED_STORAGE_FTP_ACTIVE FEED_STORAGE_GCS_ACL FEED_STORAGE_S3_ACL FEED_STORAGES FEED_STORAGES_BASE FEED_STORE_EMPTY FEED_TEMPDIR FEED_URI_PARAMS FEEDS FILES_EXPIRES FILES_RESULT_FIELD FILES_STORE FILES_STORE_GCS_ACL FILES_STORE_S3_ACL FILES_URLS_FIELD FORCE_CRAWLER_PROCESS FTP_PASSIVE_MODE FTP_PASSWORD FTP_USER GCS_PROJECT_ID HTTPCACHE_ALWAYS_STORE HTTPCACHE_DBM_MODULE HTTPCACHE_DIR HTTPCACHE_ENABLED HTTPCACHE_EXPIRATION_SECS HTTPCACHE_GZIP HTTPCACHE_IGNORE_HTTP_CODES HTTPCACHE_IGNORE_MISSING HTTPCACHE_IGNORE_RESPONSE_CACHE_CONTROLS HTTPCACHE_IGNORE_SCHEMES HTTPCACHE_POLICY HTTPCACHE_STORAGE HTTPERROR_ALLOW_ALL HTTPERROR_ALLOWED_CODES HTTPPROXY_AUTH_ENCODING HTTPPROXY_ENABLED IMAGES_EXPIRES IMAGES_MIN_HEIGHT IMAGES_MIN_WIDTH IMAGES_RESULT_FIELD IMAGES_STORE IMAGES_STORE_GCS_ACL IMAGES_STORE_S3_ACL IMAGES_THUMBS IMAGES_URLS_FIELD ITEM_PIPELINES ITEM_PIPELINES_BASE JOBDIR LOG_DATEFORMAT LOG_ENABLED LOG_ENCODING LOG_FILE LOG_FILE_APPEND LOG_FORMAT LOG_FORMATTER LOG_LEVEL LOG_SHORT_NAMES LOG_STDOUT LOG_VERSIONS LOGSTATS_INTERVAL MAIL_FROM MAIL_HOST MAIL_PASS MAIL_PORT MAIL_SSL MAIL_TLS MAIL_USER MEDIA_ALLOW_REDIRECTS MEMDEBUG_ENABLED MEMDEBUG_NOTIFY MEMUSAGE_CHECK_INTERVAL_SECONDS MEMUSAGE_ENABLED MEMUSAGE_LIMIT_MB MEMUSAGE_NOTIFY_MAIL MEMUSAGE_WARNING_MB METAREFRESH_ENABLED METAREFRESH_IGNORE_TAGS METAREFRESH_MAXDELAY NEWSPIDER_MODULE PERIODIC_LOG_DELTA PERIODIC_LOG_STATS PERIODIC_LOG_TIMING_ENABLED RANDOMIZE_DOWNLOAD_DELAY REACTOR_THREADPOOL_MAXSIZE REDIRECT_ENABLED REDIRECT_MAX_TIMES REDIRECT_PRIORITY_ADJUST REFERER_ENABLED REFERRER_POLICY REQUEST_FINGERPRINTER_CLASS RETRY_ENABLED RETRY_EXCEPTIONS RETRY_HTTP_CODES RETRY_PRIORITY_ADJUST RETRY_TIMES ROBOTSTXT_OBEY ROBOTSTXT_PARSER ROBOTSTXT_USER_AGENT SCHEDULER SCHEDULER_DEBUG SCHEDULER_DISK_QUEUE SCHEDULER_MEMORY_QUEUE SCHEDULER_PRIORITY_QUEUE SCHEDULER_START_DISK_QUEUE SCHEDULER_START_MEMORY_QUEUE SCRAPER_SLOT_MAX_ACTIVE_SIZE SPIDER_CONTRACTS SPIDER_CONTRACTS_BASE SPIDER_LOADER_CLASS SPIDER_LOADER_WARN_ONLY SPIDER_MIDDLEWARES SPIDER_MIDDLEWARES_BASE SPIDER_MODULES STATS_CLASS STATS_DUMP STATSMAILER_RCPTS TELNETCONSOLE_ENABLED TELNETCONSOLE_HOST TELNETCONSOLE_PASSWORD TELNETCONSOLE_PORT TELNETCONSOLE_USERNAME TEMPLATES_DIR TWISTED_REACTOR URLLENGTH_LIMIT USER_AGENT WARN_ON_GENERATOR_RETURN_VALUE

settings command SETTINGS_PRIORITIES()（在 scrapy.settings 模块中） settings（scrapy.crawler.Crawler 属性） Settings（scrapy.settings 中的类） settings（scrapy.Spider 属性） shell command signal bytes_received engine_started engine_stopped feed_exporter_closed feed_slot_closed headers_received item_dropped item_error item_scraped request_dropped request_left_downloader request_reached_downloader request_scheduled response_downloaded response_received scheduler_empty spider_closed spider_error spider_idle spider_opened update_telnet_vars SignalManager（scrapy.signalmanager 中的类） signals（scrapy.crawler.Crawler 属性） sitemap_alternate_links（scrapy.spiders.SitemapSpider 属性） sitemap_filter() （scrapy.spiders.SitemapSpider 方法） sitemap_follow（scrapy.spiders.SitemapSpider 属性） sitemap_rules（scrapy.spiders.SitemapSpider 属性） sitemap_urls（scrapy.spiders.SitemapSpider 属性） SitemapSpider（scrapy.spiders 中的类） spider_closed signal spider_closed()（在 scrapy.signals 模块中） SPIDER_CONTRACTS setting SPIDER_CONTRACTS_BASE setting spider_error signal spider_error() （scrapy.logformatter.LogFormatter 方法） spider_error()（在 scrapy.signals 模块中） spider_idle signal spider_idle()（在 scrapy.signals 模块中） SPIDER_LOADER_CLASS setting SPIDER_LOADER_WARN_ONLY setting SPIDER_MIDDLEWARES setting SPIDER_MIDDLEWARES_BASE setting SPIDER_MODULES setting spider_opened signal spider_opened()（在 scrapy.signals 模块中） spider_stats（scrapy.statscollectors.MemoryStatsCollector 属性） SpiderLoader（scrapy.spiderloader 中的类） SpiderMiddleware（scrapy.spidermiddlewares 中的类） SpiderState（scrapy.extensions.spiderstate 中的类） Spider（scrapy 中的类） spider（scrapy.crawler.Crawler 属性） StackTraceDump（scrapy.extensions.periodic_log 中的类） start() （scrapy.crawler.AsyncCrawlerProcess 方法） start() （scrapy.crawler.CrawlerProcess 方法） start() （scrapy.Spider 方法） start_exporting() （scrapy.exporters.BaseItemExporter 方法） start_urls（scrapy.Spider 属性） startproject command StartSpiderMiddleware（scrapy.spidermiddlewares.start 中的类） state（scrapy.Spider 属性） STATS_CLASS setting STATS_DUMP setting StatsCollector（scrapy.statscollectors 中的类） STATSMAILER_RCPTS setting StatsMailer（scrapy.extensions.statsmailer 中的类） stats（scrapy.crawler.Crawler 属性） status（scrapy.http.Response 属性） stop() （scrapy.crawler.AsyncCrawlerProcess 方法） stop() （scrapy.crawler.AsyncCrawlerRunner 方法） stop() （scrapy.crawler.Crawler 方法） stop() （scrapy.crawler.CrawlerProcess 方法） stop() （scrapy.crawler.CrawlerRunner 方法） stop_async() （scrapy.crawler.Crawler 方法） StopDownload store_response() （scrapy.extensions.httpcache.CacheStorage 方法） StrictOriginPolicy（scrapy.spidermiddlewares.referer 中的类） StrictOriginWhenCrossOriginPolicy（scrapy.spidermiddlewares.referer 中的类）

T

TELNETCONSOLE_ENABLED setting TELNETCONSOLE_HOST setting TELNETCONSOLE_PASSWORD setting TELNETCONSOLE_PORT setting TELNETCONSOLE_USERNAME setting

TelnetConsole（scrapy.extensions.telnet 中的类） TEMPLATES_DIR setting TextResponse（scrapy.http 中的类） text（scrapy.http.TextResponse 属性） thumb_path() （scrapy.pipelines.images.ImagesPipeline 方法） to_dict() （scrapy.Request 方法） TWISTED_REACTOR setting

U

UnsafeUrlPolicy（scrapy.spidermiddlewares.referer 中的类） update() （scrapy.settings.BaseSettings 方法） update_pre_crawler_settings() update_settings() update_settings()（scrapy.Spider 类方法） update_telnet_vars signal update_telnet_vars()（在 scrapy.extensions.telnet 模块中） uri_params()（在 scrapy.extensions.feedexport 模块中） UrlContract（scrapy.contracts.default 中的类）

urljoin() （scrapy.http.Response 方法） urljoin() （scrapy.http.TextResponse 方法） URLLENGTH_LIMIT setting UrlLengthMiddleware（scrapy.spidermiddlewares.urllength 中的类） url（scrapy.http.Response 属性） url（scrapy.Request 属性） USER_AGENT setting UserAgentMiddleware（scrapy.downloadermiddlewares.useragent 中的类）

V

version command

view command

W

wait_for() （scrapy.signalmanager.SignalManager 方法） WARN_ON_GENERATOR_RETURN_VALUE setting

write()

X

XMLFeedSpider（scrapy.spiders 中的类） XmlItemExporter（scrapy.exporters 中的类） xmliter_lxml()（在 scrapy.utils.iterators 模块中）

XmlResponse（scrapy.http 中的类） xpath() （scrapy.http.TextResponse 方法） xpath() （scrapy.Selector 方法） xpath() （scrapy.selector.SelectorList 方法）