У меня есть список файлов в HDFS, который нужно отфильтровать за последний период n hr с помощью сценариев bash.
$ find . -name "*" -type f \
-newermt "2019-09-22 23:59:59" \
! -newermt "2019-09-23 23:59:59" \
-exec ls -lt --time-style=long-iso {} +
попробовал, но все еще застрял с фильтрацией по дате, не могу продолжить
Ожидается отфильтровывать файлы в HDFS для любого n часового периода дня.
Это адаптация этого ответа:
примечание: мне не удалось проверить это, но вы можете проверить это шаг за шагом, просмотрев вывод:
Обычно я бы сказал Никогда не анализировать вывод ls, но с Hadoop у вас нет выбора здесь же нет эквивалента find. (Начиная с 2.7.0 находка есть, но она очень ограничена согласно документация)
Шаг 1: рекурсивный ls
$ hadoop fs -ls -R /path/to/folder/
Шаг 2. используйте awk выбирать только файлы. Каталоги распознаются по своим разрешениям, начинающимся с d, поэтому мы должны их исключить.
$ hadoop fs -ls -R /path/to/folder/ | awk '!/^d/'
убедитесь, что вы не получите здесь забавные пустые строки или просто имя каталога ...
Шаг 3. используйте awk для обработки временного интервала и выбора каталогов. Я предполагаю, что у вас есть стандартный awk, поэтому я не буду использовать расширения GNU. Hadoop выведет формат времени как yyyy-MM-dd HH:mm. Этот формат можно сортировать, и он находится в полях 6 и 7. В приведенном ниже примере отфильтровываются все файлы между «2019-09-21 22:00» и «2019-09-21 23:00»:
$ hadoop fs -ls -R /path/to/folder/ \
| awk -v tStart="2019-09-21 22:00" -v tEnd="2019-09-21 23:00" \
'(!/^d/) && (($6" "$7) >= tStart) && (($6" "$7") <= tEnd)'
