Tag: boto3

使用谷歌云存储将数据从gcs传输到s3

我正在制作一个小应用程序，将数据从BigQuery导出到google-cloud-storage，然后将其复制到aws s3中，但无法找到如何在python中执行此操作。 我已经写了kotlin的代码（因为这对我来说是最简单的，我的问题范围之外的原因，我们希望它运行在python），在google sdk允许我从Blob对象得到一个InputSteam ，然后我可以注入到amazon s3 sdk's AmazonS3.putObject(String bucketName, String key, InputStream input, ObjectMetadata metadata) 。 与python sdk似乎我只有选择下载文件到一个文件和一个字符串。 我想（就像我在kotlin中那样）将Blob对象返回的一些对象传递给AmazonS3.putObject()方法，而不必先将内容保存为文件。 我不是一个Python专家，所以我可能已经错过了一个明显的方式做到这一点。