雨林的Blog - tumblr
type: channel
link: https://tok9.com/tag/tumblr/
items: 汤不热爬虫 tumblr-crawler

汤不热爬虫 tumblr-crawler
type: item
date: 2018-12-06T13:56:00+08:00
description: 1先配置好你的Python环境,然后pip install requests xmltodict或者git clone https://github.com/dixudx/tumblr-crawler.git cd tumblr-crawler pip install -r requirements.txt大功告成,直接跳到下一节配置和运行.运行pip install xmltodict six "requests>=2.10.0" "PySocks>=1.5.6"下载tumblr-crawler并解压缩配置和运行有两种方式来指定你要下载的站点,一是编辑sites.txt,二是指定命令行参数.第一种方法:编辑sites.txt文件找到一个文字编辑器,然后打开文件sites.txt,把你想要下载的Tumblr站点编辑进去,以逗号/空格/tab/表格鍵/回车符分隔,可以多行,不需要.tumblr.com的后缀.例如,如果你要下载 vogue.tumblr.com and gucci.tumblr.com,这个文件看起来是这样的:vogue,gucci vogue2, gucci2然后保存文件,双击运行tumblr-photo-video-ripper.py或者在终端(terminal)里面 运行python tumblr-photo-video-ripper.py第二种方法:使用命令行参数(仅针对会使用操作系统终端的用户)如果你对Windows或者Unix系统的命令行很熟悉,你可以通过指定运行时的命令行参数来指定要下载的站点:python tumblr-photo-video-ripper.py site1,site2站点的名字以逗号分隔,不要有空格,不需要.tumblr.com的后缀.站点图片/视频的下载与保存程序运行后,会默认在当前路径下面生成一个跟tumblr博客名字相同的文件夹, 照片和视频都会放在这个文件夹下面.运行这个脚本,不会重复下载已经下载过的图片和视频,所以不用担心重复下载的问题.同时,多次运行可以 帮你找回丢失的或者删除的图片和视频.使用代理 (可选)如果不能够顺利访问和下载tumblr的内容,你应该配置一下代理.文件格式参考./proxies_sample1.json和./proxies_sample2.json. 然后把你的代理信息用json的格式写入./proxies.json. 你可以访问http://jsonlint.com/以确保你的格式是正确的.如果文件./proxies.json没有任何内容,下载过程中不会使用代理.如果你是全局模式使用Shadowsocks做代理, 此时你的./proxies.json文件可以写入如下内容,{ "http": "socks5://127.0.0.1:1080", "https": "socks5://127.0.0.1:1080" }然后重新运行下载命令.转自：https://github.com/dixudx/tumblr-crawler