В основном мы осуществляем массовую передачу входящих данных потока кликов через службу Kinesis Firehose. Наша система представляет собой многопользовательскую платформу SaaS. Данные входящего потока кликов сохраняются S3 через Firehose. По умолчанию все файлы хранятся в каталогах, названных в соответствии с заданным форматом даты. Я хотел бы указать путь к каталогу для файлов данных в Firehose Planel \ через API, чтобы разделить данные клиента.
Например, структура каталогов, которую я хотел бы иметь в S3 для клиентов A, B и C:
/ А /2017/10/12/
/ Б /2017/10/12/
/ С /2017/10/12/
Как мне это сделать?
Решение проблемы
Вы можете разделить свои каталоги, настроив префикс S3. В консоли это делается во время установки, когда вы задаете имя корзины S3.
Используя CPI, вы устанавливаете префикс, --s3-destination-configurationкак показано здесь:
http://docs.aws.amazon.com/cli/latest/reference/firehose/create-delivery-stream.html
Обратите внимание, однако, что вы можете установить только один префикс для каждого потока доставки Firehose, поэтому, если вы передаете все данные о посещениях через один поток доставки Firehose, вы не сможете отправлять записи на разные префиксы.
Комментариев нет:
Отправить комментарий