Хобрук: Ваш путь к мастерству в программировании

файл python gzip в памяти и загрузить на s3

Я использую питон 2.7...

Я пытаюсь поймать два файла журнала, получить данные за определенные даты, используя sed. Нужно сжать файлы и загрузить их на s3 без создания временных файлов в системе,

sed_command = "sed -n '/{}/,/{}/p'".format(last_date, last_date)

Поток :

  1. кот два файла .

Пример: cat файл1 файл2

  1. Запустите манипуляции с sed в памяти.
  2. сжать результат в памяти с помощью zip или gzip.
  3. Загрузите сжатый файл в память на s3.

Я успешно сделал это, создав временные файлы в системе и удалив их после завершения загрузки на s3. Я не смог найти работающее решение, чтобы заставить это работать на лету без создания каких-либо временных файлов.

python boto gzip sed stringio
08.01.2017

  • Если вы используете экземпляр EC2, поскольку вы уже находитесь в оболочке, как насчет записи вывода в файл в файловой системе tmpfs, например /run. Тогда это будет примерно так же в памяти, как и в питоне. 08.01.2017

Ответы:


1

Вот суть:

conn = boto.s3.connection.S3Connection(aws_key, secret_key)
bucket = conn.get_bucket(bucket_name, validate=True)
buffer = cStringIO.StringIO()
writer = gzip.GzipFile(None, 'wb', 6, buffer)
writer.write(sys.stdin.read())
writer.close()
buffer.seek(0)
boto.s3.key.Key(bucket, key_path).set_contents_from_file(buffer)
buffer.close()
08.01.2017

2

Немного запоздалый ответ, но я недавно опубликовал пакет, который делает именно это, его можно установить через pypi:

    pip install aws-logging-handlers

И вы можете найти документацию по использованию на git.

28.05.2018
Новые материалы
Dall-E 2: недавние исследования показывают недостатки в искусстве, созданном искусственным интеллектом
DALL-E 2 — это всеобщее внимание в индустрии искусственного интеллекта. Люди в списке ожидания пытаются заполучить продукт. Что это означает для развития креативной индустрии? О применении ИИ в..
«Очень простой» эволюционный подход к обучению с подкреплением
В прошлом семестре я посетил лекцию по обучению с подкреплением (RL) в моем университете. Честно говоря, я присоединился к нему официально, но я редко ходил на лекции, потому что в целом я нахожу..
Освоение информационного поиска: создание интеллектуальных поисковых систем (глава 1)
Глава 1. Поиск по ключевым словам: основы информационного поиска Справочная глава: «Оценка моделей поиска информации: подробное руководство по показателям производительности » Глава 1: «Поиск..
Фишинг — Упаковано и зашифровано
Будучи старшим ИТ-специалистом в небольшой фирме, я могу делать много разных вещей. Одна из этих вещей: специалист по кибербезопасности. Мне нравится это делать, потому что в настоящее время я..
ВЫ РЕГРЕСС ЭТО?
Чтобы понять, когда использовать регрессионный анализ, мы должны сначала понять, что именно он делает. Вот простой ответ, который появляется, когда вы используете Google: Регрессионный..
Не зря же это называют интеллектом
Стек — C#, Oracle Опыт — 4 года Работа — Разведывательный корпус Мне пора служить Может быть, я немного приукрашиваю себя, но там, где я живу, есть обязательная военная служба на 3..
LeetCode Проблема 41. Первый пропущенный положительный результат
LeetCode Проблема 41. Первый пропущенный положительный результат Учитывая несортированный массив целых чисел, найдите наименьшее пропущенное положительное целое число. Пример 1: Input:..