Хобрук: Ваш путь к мастерству в программировании

Удаление таблицы Hive и обработка запросов

согласно моему пониманию концепций Hive, если мы загрузим набор данных в таблицу улья, файл данных переместится из исходного пути в хранилище улья в HDFS, а для HDFS было установлено три реплики для данных.

эти вопросы могут показаться глупыми, но, поскольку я новичок, я хочу развеять свои сомнения.

мои вопросы:

1) если я удалю таблицу улья, удалит ли она файл данных только из хранилища улья или вместе с двумя другими репликами из HDFS?

2) если мы обрабатываем запрос к таблице улья, будет ли этот запрос выполняться как распределенная обработка? допустим, один файл данных имеет размер 1 ГБ (стажеры 8 блоков x 128 МБ), и, поскольку у нас есть три фактора репликации, для этого файла будет доступно всего 24 блока, будет ли наш запрос улья распределяться между всеми блоками данных, или он будет обрабатываться только на складских блоках-ульях?

Заранее спасибо..

hive
31.05.2018

Ответы:


1

Если вы выполняете «загрузить данные в путь» из пути HDFS, данные будут перемещены из источника в целевой путь HDFS. Если вы выполните «загрузить данные в локальном пути», данные не будут перемещаться с локального пути на путь HDFS, а вместо этого будут скопированы

На ваш вопрос Если вы удалите файл в HDFS, все реплики будут удалены.

Если у вас есть файл размером 1 ГБ (8 блоков) с 3 коэффициентом репликации, когда вы запускаете запрос в интерфейсе командной строки улья, он преобразует ваш запрос в MR. Он обрабатывает только 8 блоков, в случае отказа узла данных запущенного задания он обращается ко второй реплике на другом узле и обрабатывает данные (спекулятивное выполнение)

31.05.2018
Новые материалы
Создание кнопочного меню с использованием HTML, CSS и JavaScript
Вы будете создавать кнопочное меню, которое имеет состояние наведения, а также позволяет вам выбирать кнопку при нажатии на нее. Финальный проект можно увидеть в этом Codepen . Шаг 1..
Внедрите OAuth в свои веб-приложения для повышения безопасности
OAuth — это широко распространенный стандарт авторизации, который позволяет приложениям получать доступ к ресурсам от имени пользователя, не раскрывая его пароль. Это позволяет пользователям..
Классы в JavaScript
class является образцом java Script Object. Конструкция «class» позволяет определять классы на основе прототипов с чистым, красивым синтаксисом. // define class Human class Human {..
Как свинг-трейдеры могут использовать ИИ для больших выигрышей
По мере того как все больше и больше профессиональных трейдеров и активных розничных трейдеров узнают о возможностях, которые предоставляет искусственный интеллект и машинное обучение для улучшения..
Как построить любой стол
Я разработчик программного обеспечения. Я люблю делать вещи и всегда любил. Для меня программирование всегда было способом создавать вещи, используя только компьютер и мое воображение...
Обзор: Машинное обучение: классификация
Только что закончил третий курс курса 4 часть специализации по машинному обучению . Как и второй курс, он был посвящен низкоуровневой работе алгоритмов машинного обучения. Что касается..
Разработка расширений Qlik Sense с qExt
Использование современных инструментов веб-разработки для разработки крутых расширений Вы когда-нибудь хотели кнопку для установки переменной в приложении Qlik Sense? Когда-нибудь просили..