avatar
文章
506
标签
14
分类
113
首页
归档
标签
分类
石头记scrapy房价spider 返回首页
搜索
首页
归档
标签
分类

scrapy房价spider

发表于2017-08-13|更新于2026-05-05|spider
|浏览量:

scrapy spider参考

本地调试运行

  1. 修改模块名为fangjiaCD
  2. 修改fangjia.py中的address xpath

调试命令

`
scrapy fetch http://cd.fang.lianjia.com/loupan/p_jhdsdjyaaelm/

scrapy list

scrapy parse http://cd.fang.lianjia.com/loupan/p_djhjwaabog/ -c parse_fangjia –spider=fangjia

scrapy crawl fangjia -o rent.csv -t csv

`

文章作者: 老实
文章链接: https://shidonghua.9631369.xyz/2017/08/13/201708/2017-08-13-scrapy/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 石头记!
cover of previous post
上一篇
httpsession
一般用来实现Session的方法有两种 URL重写Web Server在返回Response的时候,检查页面中所有的URL,包括所有的连接,和HTML Form的Action属性,在这些URL后面加上“;jsessionid=XXX”。下一次,用户访问这个页面中的URL。jsessi...
cover of next post
下一篇
consistent hash 实现
摘自:https://github.com/it-interview/easy-job/blob/master/java/%E4%B8%80%E8%87%B4%E6%80%A7Hash%E7%AE%97%E6%B3%95.md 一致性Hash算法 1.为什么要使用一致性Hash 解决余数Has...
avatar
老实
分享技术思考与实践记录
文章
506
标签
14
分类
113
GitHub
公告
欢迎来到老实的博客!
目录
  1. 1. 本地调试运行
  2. 2. 调试命令
最新文章
AI时代:语言即世界,代码即方案
AI时代:语言即世界,代码即方案2026-04-22
支付宝基金断舍离
支付宝基金断舍离2026-04-21
排队给智谱和百炼Coding Plan送钱去了
排队给智谱和百炼Coding Plan送钱去了2026-04-14
排队给智谱Coding Plan送钱了
排队给智谱Coding Plan送钱了2026-04-14
苹果用户门禁卡之殇
苹果用户门禁卡之殇2026-04-11
从Prompt到Harness:AI工程化的三重进化
从Prompt到Harness:AI工程化的三重进化2026-04-07
苹果设备内置大模型不可用
苹果设备内置大模型不可用2026-04-04
苹果应用:通讯录助手
苹果应用:通讯录助手2026-03-29
国产Coding Plan试用
国产Coding Plan试用2026-03-27
苹果手机应用 - 图片批量清理
苹果手机应用 - 图片批量清理2026-03-21
© 2025 - 2026 By 老实框架 Hexo 8.1.1|主题 Butterfly 5.5.5-b1
搜索
数据加载中