pythonでstorage transfer serviceを使ってみた。

公開日： 2020/09/23 : AWS, Cloud Storage, Google Cloud Platform, python, S3 AWS, cloud storage, gcs, google cloud platform, python, s3, storage transfer service, サービスアカウント, 転送

準備

pythonのインストールとかする。

このあたり。
http://kei0310.info/?p=592

サンプルコードを使う

とりあえず、サンプルコードを使ってみる。

このあたりを丸ごとコピって使う。
https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/storage/transfer_service/aws_request.py

転送元のデータの準備

AWS S3にバケットと転送するデータがあることを確認。

$ aws s3 ls s3://[s3-bucket-name]/
2020-09-15 17:01:23          0 test.txt

1 2	$ aws s3 ls s3://[s3-bucket-name]/ 2020-09-15 17:01:23 0 test.txt

GCSに転送先のバケットを用意する

gcsに転送先のバケットがあることを確認。

$ gsutil ls gs://
gs://[gcs-bucket-name]/

1 2	$ gsutil ls gs:// gs://[gcs-bucket-name]/

ジョブ作成用のサービスアカウントを用意する

IAMからサービスアカウントを新規作成する。
有効なサービスアカウントであれば、権限はつけなくても大丈夫そう。（違うかも）

python用デフォルトサービスアカウントに設定

jsonフォーマットでkeyファイルをダウンロードしてサーバー上にファイルとして配置。
以下のコマンドでpythonが使うサービスアカウントとして定義する。
（必要があれば、.bash_profileとかにも登録してね）

$ export GOOGLE_APPLICATION_CREDENTIALS=/path/to/credential.json

1	$ export GOOGLE_APPLICATION_CREDENTIALS=/path/to/credential.json

転送用のサービスアカウントを用意する

通常のサービスアカウントと別で、API専用のサービスアカウントの設定を行う。

このあたりを参考にした。
https://medium.com/@karnavatpradip12345/storage-transfer-from-aws-s3-to-gcs-using-api-solution-to-insufficient-permission-error-on-the-ad76c4b89dc0

このページを開く。
https://cloud.google.com/storage-transfer/docs/reference/rest/v1/googleServiceAccounts/get

ページの右側に入力欄があるので、プロジェクトIDを入力して「EXECUTE」を押す。

成功すると、「200」欄に以下が入力されるので、メールアドレス部分をコピーする。

{
  "accountEmail": "project-xxxxxxxxxx@storage-transfer-service.iam.gserviceaccount.com"
}

{

"accountEmail": "project-xxxxxxxxxx@storage-transfer-service.iam.gserviceaccount.com"

}

コピーしたメールアドレスを、Cloud Storageコンソールのバケットを選択した後の「権限」タブから「+追加」を選択して、「Storage レガシーバケット書き込み」を付与する。

転送ジョブの実行

転送ジョブを以下のコマンドで実行する

$ python aws_request.py [description] [project-id] [yyyy/mm/dd] [HH:MM:SS] [s3_bucket_name] [aws_access_key] [aws_secret_key] [gcs_bucket_name]

1	$ python aws_request.py [description] [project-id] [yyyy/mm/dd] [HH:MM:SS] [s3_bucket_name] [aws_access_key] [aws_secret_key] [gcs_bucket_name]

実行結果例

Returned transferJob: {
    "name": "transferJobs/14429711211095668488",
    "description": "transfer-test",
    "projectId": "xxxxxxxx",
    "transferSpec": {
        "awsS3DataSource": {
            "bucketName": "s3_bucket_name"
        },
        "gcsDataSink": {
            "bucketName": "gcs_bucket_name"
        }
    },
    "schedule": {
        "scheduleStartDate": {
            "year": 2020,
            "month": 9,
            "day": 22
        },
        "scheduleEndDate": {
            "year": 2020,
            "month": 9,
            "day": 22
        }
    },
    "status": "ENABLED",
    "creationTime": "2020-09-22T17:18:03.834435704Z",
    "lastModificationTime": "2020-09-22T17:18:03.834435704Z"
}