这是可以使用我们的多个免费在线工作站之一在 OnWorks 免费托管服务提供商中运行的命令 scrapy,例如 Ubuntu Online、Fedora Online、Windows 在线模拟器或 MAC OS 在线模拟器
程序:
您的姓名
scrapy - Scrapy 命令行工具
概要
scrapy [命令[配置] ...
商品描述
Scrapy 是通过 scrapy 命令行工具。 该脚本提供了几个
命令,用于不同的目的。 每个命令都支持它自己的特定语法。 在
换句话说,每个命令都支持一组不同的参数和选项。
配置
取 [OPTION] 网址
使用 Scrapy 下载器获取 URL
--标题
打印响应 HTTP 标头而不是正文
运行蜘蛛 [OPTION] 蜘蛛文件
运行蜘蛛
--输出=文件
将抓取的项目以 XML 格式存储到 FILE
设置 [OPTION]
查询 Scrapy 设置
--get=设置
打印原始设置值
--getbool=设置
打印设置值,解释为布尔值
--getint=设置
打印设置值,解释为整数
--getfloat=设置
打印设置值,解释为浮点数
--getlist=设置
打印设置值,解释为浮点数
- 在里面 打印初始设置值(加载扩展和蜘蛛之前)
壳 网址 | 文件
启动交互式抓取控制台
启动项目 项目名
使用初始项目模板创建新项目
- 帮助, -h
打印命令帮助和选项
--logfile=文件
日志文件。 如果省略 stderr 将被使用
--loglevel=级别, -L LEVEL
日志级别(默认:无)
--nolog
完全禁用日志记录
--spider=蜘蛛
当参数是 url 时总是使用这个蜘蛛
--profile=文件
将 python cProfile 统计数据写入 FILE
--lsprof=文件
将 lsprof 分析统计数据写入 FILE
--pidfile=文件
将进程 ID 写入 FILE
--set=NAME=VALUE, -s NAME = VALUE
设置/覆盖设置(可重复)
使用 onworks.net 服务在线使用scrapy