как читать файлы s3 из apache beam python?

Я использую Apache Beam python SDK для чтения данных файла s3.

код, который я использую

ip = (pipe
| beam.io.ReadFromText("s3://bucket_name/file_path")
| beam.Map(lambda x: x.split(","))
| beam.Map(print)
)


но выдает ошибку

S3ClientError('Unable to locate credentials', None)}")}


Кто-нибудь знает, как передать учетные данные клиенту s3 через файл apache beam python

Решение проблемы

Вам необходимо убедиться, что учетные данные доступны на ваших рабочих машинах. Если вы используете поток данных, вы можете установить их в пользовательский контейнер.