将网站发布到七牛云


更新说明: 我已经发布为python包,使用pip安装即可,文档参考:wwj718/publish


年前写了一个脚本,将create-react-app build出来的网站整体发布到七牛云上

如此一来前端完全托管在云上,与后端的通信仅通过RESTful api完成,后端压力大大降低

在技术层面,这个脚本本质上是将本地目录上传到七牛云上,同时在url中保留目录结构信息,通用性比较好,如果你想把本地项目发布出去,它可能帮的上忙,所以分享到博客上

安装依赖(python2.7):

pip install qiniu==7.1.1 path.py

脚本

你可以直接下载 wget https://gist.githubusercontent.com/wwj718/7d287692086a8d3e320eed9e94c1e631/raw/7556743cd2ef765d3b3dcc5262e185dfae726a0a/upload2qiniu.py

#!/usr/bin/env python
# encoding: utf-8
import sys,os
from qiniu import Auth, put_file, etag, urlsafe_base64_encode,BucketManager,CdnManager
import qiniu.config
from path import path # 文档参考# https://pythontips.com/2014/01/23/python-101-writing-a-cleanup-script/


#需要填写你的 Access Key 和 Secret Key
#export QINIU_ACCESS_KEY=xxx 
access_key = os.environ["QINIU_ACCESS_KEY"]
#export QINIU_SECRET_KEY=xxx 
secret_key = os.environ["QINIU_SECRET_KEY"]

#要上传的空间
#export QINIU_BUCKET=xxx 
bucket_name = os.environ["QINIU_BUCKET"]

bucket_domain = os.environ["QINIU_BUCKET_DOMAIN"]
# 构建鉴权对象
q = Auth(access_key, secret_key)

cdn_manager = CdnManager(q)

#初始化BucketManager
bucket = BucketManager(q)
file2refresh=[]

def is_diff(key,localfile):
    '''
    比较本地文件与云端文件是否一致
    '''
    ret, info = bucket.stat(bucket_name, key)
    #print(ret,info)
    hash = ret
    if hash:
        diff = ret['hash'] != etag(localfile) # diff==False,说明文件相同,这个有点绕
        return diff
    else:
        diff = True
        # 不存在hash,说明还没上传过
        return True # 为True,说明文件对比结果为不一致

def refresh(urls):
    #https://github.com/qiniu/python-sdk/blob/master/examples/cdn_manager.py 列出所有上传文件,在七牛中刷新
    refresh_url_result = cdn_manager.refresh_urls(urls)
    #print_result(refresh_url_result)


# 上传整个目录到七牛,保存目录结构(在url中实现,本质上是通过命名)
def upload(key,localfile):
    '''
    key 文件在七牛上的名字,和它的url有关 ,参考:http://qiniu-developer.u.qiniudn.com/docs/v6/api/overview/faq.html
    localfile 本地文件路径
    '''
    # 比对本地文件和云端文件,如果不同则上传
    if is_diff(key,localfile):
        token = q.upload_token(bucket_name, key, 3600)
        ret, info = put_file(token, key, localfile)
        #print(ret,info) # 打印出更新文件以便于在七牛中刷新 : https://portal.qiniu.com/refresh
        url  = 'http://{}/{}'.format(bucket_domain, key) 
        print("refresh url:",url)
        file2refresh.append(url) #全局



#要上传的本地文件夹
root_dir = sys.argv[1] 

d = path(root_dir)
for i in d.walk():
    if i.isfile():
        #只上传文件
        #from IPython import embed;embed()
        key = str(i.abspath()).replace(str(d.abspath())+"/","") #实际是相对路径
        localfile = str(i)
        upload(key,localfile) # 返回需要刷新的文件然后一次性刷新
if file2refresh:
    refresh(file2refresh)

使用

首先你需要配置相关参数

export QINIU_ACCESS_KEY=xxx 
export QINIU_SECRET_KEY=xxx 
export QINIU_BUCKET=xxx #bucket name
export QINIU_BUCKET_DOMAIN=xxx

之后将目录网站整体上传(实际是上传整个文件夹):python upload2qiniu.py SITE_DIR

说明

对其中的两个函数做个说明:

is_diff:用于比对本地文件与云端对应文件,如果有修改则上传,否则不重复上传,这个函数目的是优化性能

refresh:这个函数用于刷新文件,这是七牛的缓存机制导致的,参考https://portal.qiniu.com/refresh,如果对七牛上同名(key)文件作更新,需要刷新缓存才能生效




Fork me on GitHub