Публикации по теме 'data-engineering'
Как преобразовать словарь в фрейм данных Pandas
Преобразование словарей Python в DataFrames с использованием Pandas
pandas — одна из самых популярных библиотек в экосистеме Python, которая используется для анализа и обработки данных быстрым и эффективным способом, предоставляя интуитивно понятный и мощный API, который позволяет разработчикам взаимодействовать с данными.
Одной из самых распространенных задач при работе с Python и pandas является преобразование словаря в DataFrame. Это может быть чрезвычайно полезно, когда вы..
Важность предварительной обработки данных в машинном обучении
Поскольку модели машинного обучения продолжают набирать популярность, важность предварительной обработки данных невозможно переоценить. Предварительная обработка данных — это процесс очистки и преобразования необработанных данных, чтобы сделать их пригодными для анализа. Он включает в себя различные методы, такие как очистка данных, нормализация данных, выбор функций и масштабирование функций.
Качество данных, используемых для обучения модели, существенно влияет на ее точность и..
То, что я хотел бы знать до того, как мы начали наш первый проект по машинному обучению
Все новое приносит с собой много неизвестного, которое мы обнаруживаем со временем. Проведя какое-то время с любой новой технологией, у нас есть список вещей, которые мы хотели бы отправить обратно нашему старому «я». Это один из тех списков, которые я хотел бы отправить обратно нашей команде, прежде чем мы приступим к созданию нашего первого конвейера машинного обучения. Имея это, можно было бы сэкономить много нашего времени и надеяться, что, поделившись этим, вы сэкономите.
Как я..
3. Запуск Airflow с помощью Docker
Мои личные заметки из книги «Конвейеры данных с Apache Airflow» Баса Харенслака и Джулиана де Руйтера — глава 2, часть 3
Эта серия постов предназначена для того, чтобы обобщить мои выводы из книги Баса Харенслака и Джулиана де Руйтера. Если вам нравится содержание, вы можете приобрести книгу на Manning .
Функции PostgreSQL: руководство для начинающих — часть первая
Срочно нужно изучить функции PostgreSQL? Вот с чего начать.
Что такое функция PostgreSQL?
Функции PostgreSQL позволяют упаковывать операторы SQL вместе, а затем вызывать эти операторы, вызывая функцию.
Используйте Python для параллельной загрузки нескольких файлов (или URL-адресов)
Получите больше данных за меньшее время
Мы живем в мире больших данных. Часто большие данные организуются как большая коллекция небольших наборов данных (т. е. один большой набор данных, состоящий из нескольких файлов). Получение этих данных часто затрудняет загрузку (или нагрузку на приобретение). К счастью, с помощью небольшого количества кода можно автоматизировать и ускорить загрузку и получение файлов.
Автоматизация загрузки файлов может сэкономить много времени. Существует..
Какие навыки нужны Data Engineer?
Часть 1 — Знание технологий баз данных
Какие навыки нужны Data Engineer?
Как увеличить свою рыночную стоимость и зарплату
Чтобы добиться успеха в качестве инженера данных и, таким образом, повысить свою рыночную стоимость и зарплату, вам необходимы определенные навыки. Я думал о том, чтобы осветить их более подробно в различных статьях — на этот раз с упором на технологии баз данных.
Новые материалы
numberToString.js (8kyu 16)
Алгоритм кодовых войн
Проблема
Нам нужна функция, которая может преобразовать число в строку.
숫자를 문자열로 변환하는 함수를 작성해라.
Решение 01
function numberToString(n) {
return n.toString();
}..
Лучшие практики для быстрого изучения языка программирования
Изучение языка программирования может быть сложной задачей, но при правильном подходе определенно возможно быстро выучить язык программирования. Хорошее понимание языка программирования может..
Использование данных из Adobe Analytics в предложениях Adobe Target
Я уверен, что все видели эти всплывающие окна в интернет-магазинах, которые говорят что-то вроде « 15 человек просматривают этот товар прямо сейчас! » или « 105 человек из Мичигана купили это..
Машинное обучение и его набор данных в CreateML
Когда я впервые начал учиться в Apple Developer Academy, у меня был момент неуверенности в моем интересе к машинному обучению. Нужно ли мне сменить карьеру моей мечты с специалиста по данным на..
Обучение требует воли
Недавно я прочитал отличную статью Шейна Легга и Джоэла Венесса из DeepMind. http://arxiv.org/pdf/1109.5951v2.pdf
В статье «универсальный интеллект» агента π определяется как:
Поэтому..
Безопасность по дизайну делает всех счастливыми
Заложенная безопасность делает всех счастливыми
Если вы никогда не смотрели Louis C.K. рассказать о том, как Все удивительно, и никто не счастлив ; побаловать себя. Сделайте это прямо..
Перехватчики React: состояние контекста и эффекты
React Hooks: контекст, состояние и эффекты
Пример из практики
Более чем один веб-сайт, над которым я работал, страдает от проблемы, типичной для сайтов, которые позволяют входить в систему...