Домашняя страница Undo Do New Save Карта сайта Обратная связь Поиск по форуму
МИР MS EXCEL - Гость.xls

Вход

Регистрация

Напомнить пароль

 

= Мир MS Excel/Таблицы Один к Многим, 20Гб файлов. 4т.р. - Мир MS Excel

Старая форма входа
  • Страница 1 из 1
  • 1
Модератор форума: китин  
Мир MS Excel » Работа и общение » Работа / Фриланс » Таблицы Один к Многим, 20Гб файлов. 4т.р.
Таблицы Один к Многим, 20Гб файлов. 4т.р.
golnev87 Дата: Пятница, 30.10.2020, 13:45 | Сообщение № 1
Группа: Пользователи
Ранг: Прохожий
Сообщений: 4
Репутация: 0 ±
Замечаний: 0% ±

Excel 2013
Доброго дня,

Помимо навыков Excel, нужно понимание в общих чертах БД.

Есть данные в трех csv файлах связанных между собой через числовые ключи(Id), все связи типа Один к Многим. В одном csv Пациенты, в другом csv Переписка с пациентами, в третьем csv местоположение Файлов пациентов (файлы находятся в локальной папке).

Пациентов - около 100k (сто тысяч). Сообщений Переписки - 500k. Файлов - 200к. Суммарный объем файлов около 20Гб (на случай если надумаете вставить их прямо в xlsx документ).

Задача: Разработать решение, чтобы я мог все эти данные всунуть в Excel, они там красиво лежали, и ими было удобно пользоваться.

p.s. Я понимаю, что на MS Access задачу решить проще. Но надо бы Excel.

p.s. текст указан для очень схожей задачи, в целях простоты понимания сути, в реальности задача чуть другая (другие названия таблиц, частично другие названия полей).


Сообщение отредактировал golnev87 - Пятница, 30.10.2020, 13:58
 
Ответить
СообщениеДоброго дня,

Помимо навыков Excel, нужно понимание в общих чертах БД.

Есть данные в трех csv файлах связанных между собой через числовые ключи(Id), все связи типа Один к Многим. В одном csv Пациенты, в другом csv Переписка с пациентами, в третьем csv местоположение Файлов пациентов (файлы находятся в локальной папке).

Пациентов - около 100k (сто тысяч). Сообщений Переписки - 500k. Файлов - 200к. Суммарный объем файлов около 20Гб (на случай если надумаете вставить их прямо в xlsx документ).

Задача: Разработать решение, чтобы я мог все эти данные всунуть в Excel, они там красиво лежали, и ими было удобно пользоваться.

p.s. Я понимаю, что на MS Access задачу решить проще. Но надо бы Excel.

p.s. текст указан для очень схожей задачи, в целях простоты понимания сути, в реальности задача чуть другая (другие названия таблиц, частично другие названия полей).

Автор - golnev87
Дата добавления - 30.10.2020 в 13:45
Pelena Дата: Пятница, 30.10.2020, 14:13 | Сообщение № 2
Группа: Админы
Ранг: Местный житель
Сообщений: 18548
Репутация: 4199 ±
Замечаний: ±

Excel 2016 & Mac Excel
Здравствуйте.
На мой взгляд, задача для Power Query. Для Excel 2013 эту надстройку можно установить бесплатно с сайта Microsoft. Начиная с Excel 2016 уже встроена в Excel.
Вряд ли Вам нужны все эти данные в Excel, скорей, какие-то выборки или сводные. Так?


"Черт возьми, Холмс! Но как??!!"
Ю-money 41001765434816
 
Ответить
СообщениеЗдравствуйте.
На мой взгляд, задача для Power Query. Для Excel 2013 эту надстройку можно установить бесплатно с сайта Microsoft. Начиная с Excel 2016 уже встроена в Excel.
Вряд ли Вам нужны все эти данные в Excel, скорей, какие-то выборки или сводные. Так?

Автор - Pelena
Дата добавления - 30.10.2020 в 14:13
golnev87 Дата: Пятница, 30.10.2020, 19:19 | Сообщение № 3
Группа: Пользователи
Ранг: Прохожий
Сообщений: 4
Репутация: 0 ±
Замечаний: 0% ±

Excel 2013
Нужно иметь возможность стандартными средствами Excel (2016 / 2013 + надстройка - ок) найти любого Пациента (из чуть более 100к), пролистать пациентов, и выбрав которого увидеть ВСЕ ассоциированные с ним сообщения и файлы (и никаких других). Ну и файлы по клику чтобы открывались.

99% из этих данных нужны не будут, но какие именно 1% будут нужны - неизвестно, поэтому предполагаем, что нужны все.

По факту это одна из задача по переезду с crm системы. Собственно я этим переездом и занимаюсь.

Посмотрел минут пять, что есть Power Query - там не все так гладко с LEFT JOIN, как я понял. Может и с ним, не знаю, но вряд ли прям просто )).


Сообщение отредактировал golnev87 - Пятница, 30.10.2020, 19:31
 
Ответить
СообщениеНужно иметь возможность стандартными средствами Excel (2016 / 2013 + надстройка - ок) найти любого Пациента (из чуть более 100к), пролистать пациентов, и выбрав которого увидеть ВСЕ ассоциированные с ним сообщения и файлы (и никаких других). Ну и файлы по клику чтобы открывались.

99% из этих данных нужны не будут, но какие именно 1% будут нужны - неизвестно, поэтому предполагаем, что нужны все.

По факту это одна из задача по переезду с crm системы. Собственно я этим переездом и занимаюсь.

Посмотрел минут пять, что есть Power Query - там не все так гладко с LEFT JOIN, как я понял. Может и с ним, не знаю, но вряд ли прям просто )).

Автор - golnev87
Дата добавления - 30.10.2020 в 19:19
Pelena Дата: Пятница, 30.10.2020, 19:35 | Сообщение № 4
Группа: Админы
Ранг: Местный житель
Сообщений: 18548
Репутация: 4199 ±
Замечаний: ±

Excel 2016 & Mac Excel
Пришлите файлы на почту для посмотреть
Pelena@excelworld.ru


"Черт возьми, Холмс! Но как??!!"
Ю-money 41001765434816
 
Ответить
СообщениеПришлите файлы на почту для посмотреть
Pelena@excelworld.ru

Автор - Pelena
Дата добавления - 30.10.2020 в 19:35
Hugo Дата: Пятница, 30.10.2020, 20:18 | Сообщение № 5
Группа: Друзья
Ранг: Участник клуба
Сообщений: 3140
Репутация: 670 ±
Замечаний: 0% ±

2010, теперь уже с PQ
MS PowerBI тоже бесплатна, и как по мне - так именно для этого и писано.
Но нужно освоить. Говорят не особо сложно, если уже знаете PQ.


excel@nxt.ru
webmoney: R418926282008 Z422237915069


Сообщение отредактировал Hugo - Пятница, 30.10.2020, 20:19
 
Ответить
СообщениеMS PowerBI тоже бесплатна, и как по мне - так именно для этого и писано.
Но нужно освоить. Говорят не особо сложно, если уже знаете PQ.

Автор - Hugo
Дата добавления - 30.10.2020 в 20:18
golnev87 Дата: Пятница, 30.10.2020, 20:31 | Сообщение № 6
Группа: Пользователи
Ранг: Прохожий
Сообщений: 4
Репутация: 0 ±
Замечаний: 0% ±

Excel 2013
Я сам из этого вообще ничего не знаю, увы, есть задача сделать резервную копию с CRM перед ее удалением сохранив данные в том виде, в котором их смогут офисные сотрудники использовать, я ей и занимаюсь.
Отправил.


Сообщение отредактировал golnev87 - Пятница, 30.10.2020, 20:36
 
Ответить
СообщениеЯ сам из этого вообще ничего не знаю, увы, есть задача сделать резервную копию с CRM перед ее удалением сохранив данные в том виде, в котором их смогут офисные сотрудники использовать, я ей и занимаюсь.
Отправил.

Автор - golnev87
Дата добавления - 30.10.2020 в 20:31
Pelena Дата: Пятница, 30.10.2020, 21:16 | Сообщение № 7
Группа: Админы
Ранг: Местный житель
Сообщений: 18548
Репутация: 4199 ±
Замечаний: ±

Excel 2016 & Mac Excel
За заказ не берусь


"Черт возьми, Холмс! Но как??!!"
Ю-money 41001765434816
 
Ответить
СообщениеЗа заказ не берусь

Автор - Pelena
Дата добавления - 30.10.2020 в 21:16
Hugo Дата: Суббота, 31.10.2020, 00:14 | Сообщение № 8
Группа: Друзья
Ранг: Участник клуба
Сообщений: 3140
Репутация: 670 ±
Замечаний: 0% ±

2010, теперь уже с PQ
Я если что тоже пас, не освоил пока PBI, я на Qlik работал, там вот легко можно было бы. И экспорт таблиц в xls там есть если что...
Может у Вас в организации уже Qlik есть?


excel@nxt.ru
webmoney: R418926282008 Z422237915069
 
Ответить
СообщениеЯ если что тоже пас, не освоил пока PBI, я на Qlik работал, там вот легко можно было бы. И экспорт таблиц в xls там есть если что...
Может у Вас в организации уже Qlik есть?

Автор - Hugo
Дата добавления - 31.10.2020 в 00:14
Pelena Дата: Суббота, 31.10.2020, 09:06 | Сообщение № 9
Группа: Админы
Ранг: Местный житель
Сообщений: 18548
Репутация: 4199 ±
Замечаний: ±

Excel 2016 & Mac Excel
не освоил пока PBI
думаю, что там, скорей всего, нужен макрос, вытягивающий информацию из текстового файла


"Черт возьми, Холмс! Но как??!!"
Ю-money 41001765434816
 
Ответить
Сообщение
не освоил пока PBI
думаю, что там, скорей всего, нужен макрос, вытягивающий информацию из текстового файла

Автор - Pelena
Дата добавления - 31.10.2020 в 09:06
Hugo Дата: Суббота, 31.10.2020, 11:22 | Сообщение № 10
Группа: Друзья
Ранг: Участник клуба
Сообщений: 3140
Репутация: 670 ±
Замечаний: 0% ±

2010, теперь уже с PQ
Вытянуть не сложно (но объём! долго, памяти нужно много...), но что затем с этим делать, и как вывести (и куда) например всю инфу из всех таблиц по клиенту 123?
Или всю по всем за первую пятницу прошлого года?
А BI это может реализовать. Правда не уверен что PBI легко справится с 20Гб данных, да ещё в csv...
Qlik может всё это перегнать в свои оптимизированные файлы, заодно и с объёмом будет полегче, и быстренько все нужное/отфильтрованное выведет в дашборд или сводную.


excel@nxt.ru
webmoney: R418926282008 Z422237915069


Сообщение отредактировал Hugo - Суббота, 31.10.2020, 11:23
 
Ответить
СообщениеВытянуть не сложно (но объём! долго, памяти нужно много...), но что затем с этим делать, и как вывести (и куда) например всю инфу из всех таблиц по клиенту 123?
Или всю по всем за первую пятницу прошлого года?
А BI это может реализовать. Правда не уверен что PBI легко справится с 20Гб данных, да ещё в csv...
Qlik может всё это перегнать в свои оптимизированные файлы, заодно и с объёмом будет полегче, и быстренько все нужное/отфильтрованное выведет в дашборд или сводную.

Автор - Hugo
Дата добавления - 31.10.2020 в 11:22
golnev87 Дата: Суббота, 31.10.2020, 17:57 | Сообщение № 11
Группа: Пользователи
Ранг: Прохожий
Сообщений: 4
Репутация: 0 ±
Замечаний: 0% ±

Excel 2013
Благодарю за ответы.

20Гб - это внешние файлы, нужно, чтобы они открывались по клику (зачем их внутрь документа пихать, пускай будут относительные ссылки на документы в лежащей рядом папочке). За секунду-две один файл откроется - нормально. Сами исходные таблицы менее 500Мб. Но файлов да, 20Гб примерно.


Сообщение отредактировал golnev87 - Суббота, 31.10.2020, 18:01
 
Ответить
СообщениеБлагодарю за ответы.

20Гб - это внешние файлы, нужно, чтобы они открывались по клику (зачем их внутрь документа пихать, пускай будут относительные ссылки на документы в лежащей рядом папочке). За секунду-две один файл откроется - нормально. Сами исходные таблицы менее 500Мб. Но файлов да, 20Гб примерно.

Автор - golnev87
Дата добавления - 31.10.2020 в 17:57
Мир MS Excel » Работа и общение » Работа / Фриланс » Таблицы Один к Многим, 20Гб файлов. 4т.р.
  • Страница 1 из 1
  • 1
Поиск:

Яндекс.Метрика Яндекс цитирования
© 2010-2022 · Дизайн: MichaelCH · Хостинг от uCoz · При использовании материалов сайта, ссылка на www.excelworld.ru обязательна!