Публикации по теме 'data-engineering'
Как преобразовать словарь в фрейм данных Pandas
Преобразование словарей Python в DataFrames с использованием Pandas
pandas — одна из самых популярных библиотек в экосистеме Python, которая используется для анализа и обработки данных быстрым и эффективным способом, предоставляя интуитивно понятный и мощный API, который позволяет разработчикам взаимодействовать с данными.
Одной из самых распространенных задач при работе с Python и pandas является преобразование словаря в DataFrame. Это может быть чрезвычайно полезно, когда вы..
Важность предварительной обработки данных в машинном обучении
Поскольку модели машинного обучения продолжают набирать популярность, важность предварительной обработки данных невозможно переоценить. Предварительная обработка данных — это процесс очистки и преобразования необработанных данных, чтобы сделать их пригодными для анализа. Он включает в себя различные методы, такие как очистка данных, нормализация данных, выбор функций и масштабирование функций.
Качество данных, используемых для обучения модели, существенно влияет на ее точность и..
То, что я хотел бы знать до того, как мы начали наш первый проект по машинному обучению
Все новое приносит с собой много неизвестного, которое мы обнаруживаем со временем. Проведя какое-то время с любой новой технологией, у нас есть список вещей, которые мы хотели бы отправить обратно нашему старому «я». Это один из тех списков, которые я хотел бы отправить обратно нашей команде, прежде чем мы приступим к созданию нашего первого конвейера машинного обучения. Имея это, можно было бы сэкономить много нашего времени и надеяться, что, поделившись этим, вы сэкономите.
Как я..
3. Запуск Airflow с помощью Docker
Мои личные заметки из книги «Конвейеры данных с Apache Airflow» Баса Харенслака и Джулиана де Руйтера — глава 2, часть 3
Эта серия постов предназначена для того, чтобы обобщить мои выводы из книги Баса Харенслака и Джулиана де Руйтера. Если вам нравится содержание, вы можете приобрести книгу на Manning .
Функции PostgreSQL: руководство для начинающих — часть первая
Срочно нужно изучить функции PostgreSQL? Вот с чего начать.
Что такое функция PostgreSQL?
Функции PostgreSQL позволяют упаковывать операторы SQL вместе, а затем вызывать эти операторы, вызывая функцию.
Используйте Python для параллельной загрузки нескольких файлов (или URL-адресов)
Получите больше данных за меньшее время
Мы живем в мире больших данных. Часто большие данные организуются как большая коллекция небольших наборов данных (т. е. один большой набор данных, состоящий из нескольких файлов). Получение этих данных часто затрудняет загрузку (или нагрузку на приобретение). К счастью, с помощью небольшого количества кода можно автоматизировать и ускорить загрузку и получение файлов.
Автоматизация загрузки файлов может сэкономить много времени. Существует..
Какие навыки нужны Data Engineer?
Часть 1 — Знание технологий баз данных
Какие навыки нужны Data Engineer?
Как увеличить свою рыночную стоимость и зарплату
Чтобы добиться успеха в качестве инженера данных и, таким образом, повысить свою рыночную стоимость и зарплату, вам необходимы определенные навыки. Я думал о том, чтобы осветить их более подробно в различных статьях — на этот раз с упором на технологии баз данных.
Новые материалы
Введение в Машинное обучение Azure
Машинное обучение Azure (AML) — это облачная служба машинного обучения, которая позволяет быстро и легко создавать, обучать и развертывать модели машинного обучения. Он предоставляет ряд..
Обработка ошибок Javascript
попробовать / поймать / наконец / бросить
Обработка ошибок Javascript может помочь отладить код. Это отличный инструмент для понимания и соответствия. Это может быть не самый веселый пост, но,..
Лучшие и необходимые инструменты внешнего интерфейса
Интернет полон различных инструментов программирования, которые помогают современному разработчику делать вещи быстрее и качественнее, чем когда-либо прежде. Если вы наткнулись на эту статью, вы,..
Ограничения длины, которые вы должны знать как веб-разработчик
В коде заголовок веб-страницы определяется тегом title, который появляется в верхней части html-документа внутри тега head. Теоретически содержимое тега title может быть любым, если вы его..
Написание собственного кода Java во Flutter для Android
Реализация Java в приложениях Flutter
Flutter имеет богатый набор пакетов и виджетов. Вы можете добиться большинства вещей, используя богатый пул виджетов, который предлагает Flutter, или..
ASCII и Юникод (UTF)
ASCII (Американский стандартный код обмена информацией).
Представление текста с помощью чисел. Первоначально он был разработан для телетайпов, по сути, для обычного текста без форматирования...
Переход с Javascript на Typescript — Лайфхаки
Я хочу поделиться с вами некоторыми потенциально полезными лайфхаками и решениями, которые я курировал на пути миграции наших сервисов Javascript на Typescript.
Смешанные файлы .js и .ts
После..