Хобрук: Ваш путь к мастерству в программировании

анализ данных электронной таблицы Excel с 2500000 строк

У меня есть лист Excel с 2500000 строк и размером около 7 ГБ, так как нам нужно сравнить два листа Excel такого большого размера. Невозможно даже открыть такой большой лист Excel на ноутбуке / рабочем столе.

Есть ли какое-нибудь программное обеспечение, с помощью которого мы можем попробовать открыть этот лист Excel без сбоев?

excel bigdata
16.03.2017

  • Как был создан лист Excel? 16.03.2017
  • это файл csv, предоставленный мне сайтом электронной коммерции 16.03.2017
  • В настоящее время я работаю с ним, разделяя его, но это занимает довольно много времени. 16.03.2017
  • Вы должны быть в состоянии автоматизировать процесс разделения, но если вы действительно хотите использовать Excel, это неизбежно. Любая БД будет иметь инструменты для чтения в CSV-файлах, поэтому лучше всего использовать какую-нибудь БД. 16.03.2017
  • Я думал, что будет. Что вам нужно сделать с ним / ними? Excel, вероятно, не собирается сокращать это здесь. 16.03.2017
  • @JohnColeman в настоящее время я делаю это, но это занимает очень много времени 16.03.2017
  • @Bathsheba На самом деле я не могу загрузить все 2,5 миллиона продуктов на свой сервер, поэтому мне нужно выбрать некоторые конкретные продукты, определив критерии, которые я уже сделал. Проблема начинается, когда вы обновляете цену в следующий раз, когда мы должны знать, какой это был продукт, поэтому нам нужно сравнить старый лист с новым листом, поэтому сравнение требует интенсивной работы ЦП. 16.03.2017
  • Вы можете использовать что-то вроде Python и всего несколько строк кода, чтобы автоматически разделить файл, например. 25 файлов по 100 000 строк в каждом. См. это: stackoverflow.com/q/20033861/4996248. Несомненно, есть и решения VBScript. 16.03.2017
  • К сожалению, у меня нет файлов вашего размера. Но Open "C:\tmp\Test.csv" For Input Access Read As #intNextFreeFile работает довольно быстро и хорошо с большими файлами. Вот пример сценария, который я написал для другого поста некоторое время назад с производительностью 12 секунд для 80 МБ: stackoverflow.com/questions/35563166/ 16.03.2017
  • Есть ли у вас какой-либо контроль над процессом обновления цен или вы каждый раз получаете новый файл размером 7 ГБ? Находятся ли элементы в одном и том же порядке в каждом файле (не считая добавленных или удаленных записей)? 17.03.2017
  • мы получаем файл со старыми и новыми продуктами и с обновленной ценой 03.04.2017
Новые материалы
Аргументы прогрессивного улучшения почти всегда упускают суть
В наши дни в кругах веб-разработчиков много болтают о Progressive Enhancement — PE, но на самом деле почти все аргументы с обеих сторон упускают самую фундаментальную причину, по которой PE..
Введение в Джанго Фреймворк
Схема «работать умно, а не усердно» В этой и последующих статьях я познакомлю вас с тем, что такое фреймворк Django и как создать свое первое приложение с помощью простых и понятных шагов, а..
Настольный ПК как «одно кольцо, чтобы править всеми» домашних компьютеров
Вид после 9 месяцев использования С настольных компьютеров все началось, но в какой-то момент они стали «серверами», и мы все перешли на ноутбуки. В прошлом году я столкнулся с идеей настольных..
Расширенные методы безопасности для VueJS: реализация аутентификации без пароля
Руководство, которое поможет вам создавать безопасные приложения в долгосрочной перспективе Безопасность приложений часто упускается из виду в процессе разработки, потому что основная..
стройный-i18следующий
Представляем стройную оболочку для i18next. Эта библиотека, основанная на i18next, заключает экземпляр i18next в хранилище svelte и отслеживает события i18next, такие как languageChanged,..
Обзор 20 основных и современных методов работы с массивами в JavaScript
Вы знаете их всех? В этом коротком посте я покажу сводку методов, доступных в JavaScript для работы с массивами. Я надеюсь, что вы найдете это полезным! В конце поста вы найдете ссылку на..
Да, но я чувствую необходимость указать, что это или не единственные два.
Да, но я чувствую необходимость указать, что это или не единственные два. Обучение с подкреплением (в качестве примера) также является важным.