Хобрук: Ваш путь к мастерству в программировании

Папка резервных копий в пространстве ключей Opscenter становится действительно огромной

У нас есть кластер Cassandra из 10 узлов. Настроили ремонт в Opscenter. Мы обнаруживаем, что для каждой таблицы в пространстве ключей Opscenter создается папка резервных копий. Он продолжает расти огромным. Есть ли решение для этого, или мы вручную удаляем данные в каждой папке резервных копий?


  • Вы говорите о каталоге снимков? 09.04.2015

Ответы:


1

Во-первых, резервные копии отличаются от моментальных снимков — вы можете взглянуть на резервную копию документацию для OpsCenter, чтобы узнать больше.

Инкрементальные резервные копии:

Из документов datastax -

Когда инкрементное резервное копирование включено (по умолчанию отключено), Cassandra жестко связывает каждый очищенный SSTable с каталогом резервных копий в каталоге данных пространства ключей. Это позволяет хранить резервные копии вне офиса без передачи целых моментальных снимков. Кроме того, инкрементное резервное копирование в сочетании с моментальными снимками обеспечивает надежный и актуальный механизм резервного копирования. ... Как и в случае со снимками, Cassandra не очищает файлы инкрементных резервных копий автоматически. DataStax рекомендует настроить процесс очистки жестких ссылок инкрементных резервных копий каждый раз, когда создается новый снимок.

Вы должны были включить инкрементное резервное копирование, установив для incremental_backups значение true в cassandra yaml.

Если вас интересует стратегия резервного копирования, я рекомендую использовать Служба резервного копирования OpsCenter. Таким образом, вы можете детально контролировать, для какого пространства ключей вы хотите создавать резервные копии, и отправлять файлы на S3.

Снимки

Снимки — это жесткие ссылки на старые (больше не используемые) SSTables. Снимки защищают вас от самих себя. Например, если вы случайно усекли неправильное пространство ключей, у вас все равно будет снимок этой таблицы, который вы сможете вернуть. В некоторых случаях, когда у вас слишком много снимков, вы можете сделать несколько вещей:

Не запускайте восстановление синхронизации

Это связано с восстановлением, поскольку синхронное восстановление создает моментальный снимок при каждом запуске. Чтобы этого избежать, вместо этого следует запускать параллельные исправления (флажок -par или задав количество исправлений в примечании к файлу конфигурации opscenter ниже).

Очистите свои снимки

Если у вас слишком много снимков и вам нужно освободить место (возможно, после того, как вы создали их резервную копию на S3, glacier или что-то еще), используйте чистящие снимки nodetool для их удаления. Это освободит место. Вы также можете войти и удалить их вручную из вашей файловой системы, но nodetool clearsnapshots устраняет риск того, что rm -rf укажет что-то не то.

Примечание. Вы также можете выполнять ремонт слишком быстро, если у вас нет тонны данных (проверьте мой ответ на этот другой SO-вопрос для объяснения и рычагов конфигурации службы ремонта).

09.04.2015
  • спасибо за объяснение факт. Но проблема, которую я вижу, связана с пространствами клавиш Opscenter и System. Фактические бизнес-данные составляют менее 400 МБ на каждом узле. Ниже приведен снимок команды ls для Opscenter keypapce l4.0K /mnt/cassandra/lib/data/OpsCenter/rollups300/snapshots 2.7G /mnt/cassandra/lib/data/OpsCenter/rollups300/backups 2.8G /mnt/cassandra/ библиотека/данные/OpsCenter/rollups300 10.04.2015
  • Конечно, моментальные снимки работают одинаково во всех пространствах ключей. Вы упомянули папку резервного копирования, вы имели в виду каталог снимков? Opscenter будет хранить данные временных рядов для всех узлов вашего кластера. Есть способы хранить меньше данных, если они становятся слишком большими. Системное пространство ключей всегда должно быть небольшим. 10.04.2015
  • 4.5G /mnt/cassandra/lib/data/system/compactions_in_progress/backups 4.5G /mnt/cassandra/lib/data/system/compactions_in_progress Выше приведена некоторая информация из System keyspace Phact. Вы видите, что папка резервных копий действительно огромна. То же самое происходит даже для пространства ключей Opscenter. Я инициировал ремонт в Opscenter. Настраивал 9 дней в Opscenter 10.04.2015
  • Я знаю, что после создания моментального снимка каждый вновь созданный sstable также будет загружаться в папку инкрементных резервных копий. Папку инкрементных резервных копий необходимо очищать вручную. Мы делали это с таблицами, связанными с бизнес-данными. Но я не знаю, как была создана папка резервных копий в каталогах пространств ключей System и Opscenter. 10.04.2015
  • любые предложения по этому факту? 10.04.2015
  • Да, проблема в том, что вы включили инкрементное резервное копирование. Это проблема резервного копирования, а не проблема восстановления. 10.04.2015
  • Спасибо за ответ Факт. папка backus в /mnt/cassandra/lib/data/system/compations-in-progress почти 4,5 ГБ. Могу ли я удалить там только папку резервных копий? 10.04.2015
  • Новые материалы

    Освоение информационного поиска: создание интеллектуальных поисковых систем (глава 1)
    Глава 1. Поиск по ключевым словам: основы информационного поиска Справочная глава: «Оценка моделей поиска информации: подробное руководство по показателям производительности » Глава 1: «Поиск..

    Фишинг — Упаковано и зашифровано
    Будучи старшим ИТ-специалистом в небольшой фирме, я могу делать много разных вещей. Одна из этих вещей: специалист по кибербезопасности. Мне нравится это делать, потому что в настоящее время я..

    ВЫ РЕГРЕСС ЭТО?
    Чтобы понять, когда использовать регрессионный анализ, мы должны сначала понять, что именно он делает. Вот простой ответ, который появляется, когда вы используете Google: Регрессионный..

    Не зря же это называют интеллектом
    Стек — C#, Oracle Опыт — 4 года Работа — Разведывательный корпус Мне пора служить Может быть, я немного приукрашиваю себя, но там, где я живу, есть обязательная военная служба на 3..

    LeetCode Проблема 41. Первый пропущенный положительный результат
    LeetCode Проблема 41. Первый пропущенный положительный результат Учитывая несортированный массив целых чисел, найдите наименьшее пропущенное положительное целое число. Пример 1: Input:..

    Расистский и сексистский робот, обученный в Интернете
    Его ИИ основан на предвзятых данных, которые создают предрассудки. Он словно переходит из одного эпизода в другой из серии Черное зеркало , а вместо этого представляет собой хронику..

    Управление состоянием в микрофронтендах
    Стратегии бесперебойного сотрудничества Микро-фронтенды — это быстро растущая тенденция в сфере фронтенда, гарантирующая, что удовольствие не ограничивается исключительно бэкэнд-системами..