阿里云OSS对象存储内容增量备份到本地

#!/usr/bin/python3
#-*-coding:utf-8-*-
#key :OSS文件名称
#bucket :存储空间名称
import oss2

auth = oss2.Auth(‘阿里id‘, ‘密码‘)
bucket = oss2.Bucket(auth, ‘http://oss-cn-shenzhen.aliyuncs.com‘, ‘bucket名称‘)

#操作完文件自动关闭
with open(‘file.txt‘,‘r+‘) as f:
#读取一整行文件包括回车换行
old = f.readline()
# 设置Delimiter参数为正斜线(/)。
for obj in oss2.ObjectIterator(bucket, delimiter = ‘/‘):
# 如果如果oss名称不等于文件名则下载OSS文件到本地文件。如果指定的本地文件存在会覆盖,不存在则新建。
if obj.key not in old:
bucket.get_object_to_file(obj.key, obj.key)
# 向文件中写入oss文件内容
f.write(obj.key)

原文地址:https://blog.51cto.com/13555423/2374579

时间: 2024-11-09 08:07:34

阿里云OSS对象存储内容增量备份到本地的相关文章

iOS使用阿里云OSS对象存储 (SDK 2.1.1)

最近项目中用到了阿里云OSS对象存储,用来存储APP中图片.音频等一些数据.但坑爹的阿里云居然在11月20日将SDK版本更新到了2.1.1,然而网上给出的教程都是1.*版本的(针对iOS),两个版本所调用的方法差别较大(自我感觉),当然原理都一样.所以看了两天SDK,自己封装了几个常用的方法. 一.OSS简单介绍 OSS是提供非结构化数据存取的服务,非结构化数据一般包括图片.文档.音频.视频等一些文件.OSS提供了接口,开发者可以通过这些接口对数据进行上传或下载等操作. 开通OSS服务后,创建一

阿里云 OSS文件存储挂到云服务器ESC文件系统中

ossfs能让您在Linux系统中,将对象存储OSS的存储空间(Bucket)挂载到本地文件系统中,您能够像操作本地文件一样操作OSS的对象(Object),实现数据的共享. 使用限制 ossfs使用有以下限制: 不支持挂载归档型Bucket. 编辑已上传文件会导致文件被重新上传. 元数据操作,例如list directory,因为需要远程访问OSS服务器,所以性能较差. 重命名文件/文件夹可能会出错.若操作失败,可能会导致数据不一致. 不适合高并发读/写的场景. 多个客户端挂载同一个OSS B

图片上传阿里云(对象存储OSS)

一.资源 详细功能及使用方法,请参看“SDK手册 > Java-SDK”,链接地址是:https://help.aliyun.com/document_detail/oss/sdk/java-sdk/preface.html?spm=5176.docoss/sdk/java-sdk/ 调用OSS Java SDK的方法时,当错误发生时,OSS Java SDK的方法会抛出异常,异常中包括错误码.错误信息,详细请参看“SDK手册 > Java-SDK > 异常处理”,链接地址是:https

使用阿里云OSS上传文件

本文介绍如何利用Java API操作阿里云OSS对象存储. 1.控制台操作 首先介绍一下阿里云OSS对象存储的一些基本概念. 1.1 进入对象存储界面 登录阿里云账号,进入对象存储界面,如图所示. 进入后如图所示. 1.2 OSS基本概念 这里不过多介绍如何在阿里云上传下载文件,这些操作基本上点一点都能找到. 1.2.1 Bucket Bucket实质就是阿里云OSS对象存储的一个存储空间,按照计算机理解的话可以理解为一个磁盘(不知道这样比喻是否恰当). 创建桶的过程很简单,如图所示,填写对应内

阿里云 OSS 如何设置防盗链, 上个月图床流量耗费50G+,请求次数10W+,什么鬼?

欢迎关注个人微信公众号: 小哈学Java, 文末分享阿里 P8 高级架构师吐血总结的 <Java 核心知识整理&面试.pdf>资源链接!! 个人网站: https://www.exception.site/essay/how-to-set-aliyun-oss-http-referer 目录 一.背景 二.背后有啥猫腻 三.什么是盗链? 四.为什么会被盗链? 五.OSS 设置防盗链 六.验证一下效果 七.另外一些应对手段 一.背景 小哈前天陆续接到三个电话,但都因为忙于工作.下雨天等各

在OneThink(ThinkPHP3.2.3)中整合阿里云OSS的PHP-SDK2.0.4,实现Web端直传,服务端签名直传并设置上传回调的实现流程

在OneThink(ThinkPHP3.2.3)中整合阿里云OSS的PHP-SDK2.0.4,实现本地文件上传流程 by shuijingwan · 2016/01/13 1.SDK安装 github地址:https://github.com/aliyun/aliyun-oss-php-sdk 2.复制aliyun-oss-php-sdk-master\src\OSS至passport.hmwis.com\ThinkPHP\Library\Vendor\OSS,如图1.2 复制aliyun-os

PHP实现阿里云OSS文件上传(支持批量)

上传文件至阿里云OSS,整体逻辑是,文件先临时上传到本地,然后在上传到OSS,最后删除本地的临时文件(也可以不删,具体看自己的业务需求),具体实现流程如下: 1.下载阿里云OSS对象上传SDK(PHP版) 通过Github下载 2.解压后,可自行修改目录名称,以下为本人项目实例(aliyun_oss改过之后的名称) 项目目录结构如下: 3.Index.php 为文件上传静态表单页 4.do_upload.php 为文件处理控制页,封装的代码如下:上传文件相关的辅助函数可以自行封装,本文是为了便于

利用腾讯云COS云对象存储定时远程备份网站

版权声明:本文由张戈 原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/942851001487125915 来源:腾云阁 https://www.qcloud.com/community 一.优点分析 内网传输:和阿里云OSS一样,腾讯云COS同样支持内网和外网文件传输,对于腾讯云服务器,使用内网传输绝对是最快.最稳定的备份方案! 免费方案:看了下腾讯云COS的定价说明,发现对于备份网站来说简直是绝佳搭档,甚至可以说是钻

jeesz分布式架构集成阿里云oss存储

1. 服务接口定义 /** * 文件上传  1:头像 2:显示图片 3:个人封面  :4:基础图片 * @param request * @param response * @param uid 用户id * @param userType 文件上传  1:头像 2:显示图片 3:个人封面  :4:基础图片 0:视频 * @param files 上传的文件对象 * @return * @throws Exception */ @RequestMapping(value = "/upload/b