佚名通过本文主要向大家介绍了scrapy htmlresponse,scrapy爬取豆瓣,scrapy爬取新闻,scrapy 爬取图片,scrapy爬取评论等相关知识,希望对您有所帮助,也希望大家支持linkedu.com www.linkedu.com
问题：scrapy无法正常爬取这段html的内容？
描述:
解决方案1:
描述:
如图，爬取途中的时间部分，网址在此：http://sh.huodongxing.com/event/6313289154400?utm_source=%E5%8F%91%E7%8E%B0%E6%B4%BB%E5%8A%A8%E5%88%97%E8%A1%A8%E9%A1%B5&utm_medium=&utm_campaign=eventspage
我用的是scrapy的selector（基于lxml），
用的xpath语句是：//div[1]/div/div[1]/text())[7]
在火狐的xpath checker上测试都可以定位到时间部分，但在爬取时都是\R\N等空字符，后来看到网友的办法：
sel = Selector(response, response.body_as_unicode().replace('\r','').replace('\n',''), 'html')尝试了下，依然有问题（只是把\r\n换成了空格），想请问到底是在哪里出了问题呢
解决方案1:
用 chrome dev 看到的是最终的页面效果。
你试试查看源代码，在里面找找。因为这段 html 可能是 javascript 处理后的。
如果确认源码里面有，可以：右键 --> Copy --> Copy XPath
//*[@id="container-lg"]/div[1]/div/div[1]