Мои исходные файлы находятся на ftp-сервере в формате csv. Я хочу импортировать эти файлы в HDFS для дальнейшей обработки. Я не знаю, как получить эти файлы csv. Может ли кто-нибудь помочь мне в этом?
Как импортировать файлы csv с ftp-сервера в hadoop (HDFS/HIVE/HBASE)?
30.04.2014
- Я думаю, это должно вам помочь: [копировать файлы с ftp на hdfs][1]. [1]: stackoverflow.com/questions/ 22627771/ 30.04.2014
Ответы:
1
Вы можете сделать это двухэтапным процессом и загрузить файлы в hdfs.
Шаг 1: Загрузите файлы с ftp-сервера и сохраните их в локальном . Это должно помочь: Перенос файлов с FTP-сервера на локальный сервер unix< /а>
Шаг 2: Когда у вас есть файлы на локальном компьютере, вы можете использовать hadoop fs -put для передачи файлов в hdfs.
Пример. если имя файла temp.csv, вы можете сделать:
hadoop fs -put temp.csv $hadoop_path
26.09.2014
Новые материалы
Создание кнопочного меню с использованием HTML, CSS и JavaScript
Вы будете создавать кнопочное меню, которое имеет состояние наведения, а также позволяет вам выбирать кнопку при нажатии на нее. Финальный проект можно увидеть в этом Codepen .
Шаг 1..
Внедрите OAuth в свои веб-приложения для повышения безопасности
OAuth — это широко распространенный стандарт авторизации, который позволяет приложениям получать доступ к ресурсам от имени пользователя, не раскрывая его пароль. Это позволяет пользователям..
Классы в JavaScript
class является образцом java Script Object. Конструкция «class» позволяет определять классы на основе прототипов с чистым, красивым синтаксисом. // define class Human
class Human {..
Как свинг-трейдеры могут использовать ИИ для больших выигрышей
По мере того как все больше и больше профессиональных трейдеров и активных розничных трейдеров узнают о возможностях, которые предоставляет искусственный интеллект и машинное обучение для улучшения..
Как построить любой стол
Я разработчик программного обеспечения. Я люблю делать вещи и всегда любил. Для меня программирование всегда было способом создавать вещи, используя только компьютер и мое воображение...
Обзор: Машинное обучение: классификация
Только что закончил третий курс курса 4 часть специализации по машинному обучению . Как и второй курс, он был посвящен низкоуровневой работе алгоритмов машинного обучения. Что касается..
Разработка расширений Qlik Sense с qExt
Использование современных инструментов веб-разработки для разработки крутых расширений
Вы когда-нибудь хотели кнопку для установки переменной в приложении Qlik Sense? Когда-нибудь просили..