Домашняя страница Undo Do New Save Карта сайта Обратная связь Поиск по форуму
МИР MS EXCEL - Гость.xls

Вход

Регистрация

Напомнить пароль

 

= Мир MS Excel/Таблицы Один к Многим, 20Гб файлов. 4т.р. - Мир MS Excel

Регистрация · Логин: · Пароль: · · Забыли пароль?
  • Страница 1 из 1
  • 1
Модератор форума: _Boroda_, Pelena, китин  
Мир MS Excel » Работа и общение » Работа / Фриланс » Таблицы Один к Многим, 20Гб файлов. 4т.р.
Таблицы Один к Многим, 20Гб файлов. 4т.р.
golnev87 Дата: Пятница, 30.10.2020, 13:45 | Сообщение № 1
Группа: Пользователи
Ранг: Прохожий
Сообщений: 4
Репутация: 0 ±
Замечаний: 0% ±

Excel 2013
Доброго дня,

Помимо навыков Excel, нужно понимание в общих чертах БД.

Есть данные в трех csv файлах связанных между собой через числовые ключи(Id), все связи типа Один к Многим. В одном csv Пациенты, в другом csv Переписка с пациентами, в третьем csv местоположение Файлов пациентов (файлы находятся в локальной папке).

Пациентов - около 100k (сто тысяч). Сообщений Переписки - 500k. Файлов - 200к. Суммарный объем файлов около 20Гб (на случай если надумаете вставить их прямо в xlsx документ).

Задача: Разработать решение, чтобы я мог все эти данные всунуть в Excel, они там красиво лежали, и ими было удобно пользоваться.

p.s. Я понимаю, что на MS Access задачу решить проще. Но надо бы Excel.

p.s. текст указан для очень схожей задачи, в целях простоты понимания сути, в реальности задача чуть другая (другие названия таблиц, частично другие названия полей).


Сообщение отредактировал golnev87 - Пятница, 30.10.2020, 13:58
 
Ответить
СообщениеДоброго дня,

Помимо навыков Excel, нужно понимание в общих чертах БД.

Есть данные в трех csv файлах связанных между собой через числовые ключи(Id), все связи типа Один к Многим. В одном csv Пациенты, в другом csv Переписка с пациентами, в третьем csv местоположение Файлов пациентов (файлы находятся в локальной папке).

Пациентов - около 100k (сто тысяч). Сообщений Переписки - 500k. Файлов - 200к. Суммарный объем файлов около 20Гб (на случай если надумаете вставить их прямо в xlsx документ).

Задача: Разработать решение, чтобы я мог все эти данные всунуть в Excel, они там красиво лежали, и ими было удобно пользоваться.

p.s. Я понимаю, что на MS Access задачу решить проще. Но надо бы Excel.

p.s. текст указан для очень схожей задачи, в целях простоты понимания сути, в реальности задача чуть другая (другие названия таблиц, частично другие названия полей).

Автор - golnev87
Дата добавления - 30.10.2020 в 13:45
Pelena Дата: Пятница, 30.10.2020, 14:13 | Сообщение № 2
Группа: Админы
Ранг: Местный житель
Сообщений: 16796
Репутация: 3623 ±
Замечаний: ±

Excel 2010, 2016 & Mac Excel
Здравствуйте.
На мой взгляд, задача для Power Query. Для Excel 2013 эту надстройку можно установить бесплатно с сайта Microsoft. Начиная с Excel 2016 уже встроена в Excel.
Вряд ли Вам нужны все эти данные в Excel, скорей, какие-то выборки или сводные. Так?


"Черт возьми, Холмс! Но как??!!"
ЯД 41001765434816
 
Ответить
СообщениеЗдравствуйте.
На мой взгляд, задача для Power Query. Для Excel 2013 эту надстройку можно установить бесплатно с сайта Microsoft. Начиная с Excel 2016 уже встроена в Excel.
Вряд ли Вам нужны все эти данные в Excel, скорей, какие-то выборки или сводные. Так?

Автор - Pelena
Дата добавления - 30.10.2020 в 14:13
golnev87 Дата: Пятница, 30.10.2020, 19:19 | Сообщение № 3
Группа: Пользователи
Ранг: Прохожий
Сообщений: 4
Репутация: 0 ±
Замечаний: 0% ±

Excel 2013
Нужно иметь возможность стандартными средствами Excel (2016 / 2013 + надстройка - ок) найти любого Пациента (из чуть более 100к), пролистать пациентов, и выбрав которого увидеть ВСЕ ассоциированные с ним сообщения и файлы (и никаких других). Ну и файлы по клику чтобы открывались.

99% из этих данных нужны не будут, но какие именно 1% будут нужны - неизвестно, поэтому предполагаем, что нужны все.

По факту это одна из задача по переезду с crm системы. Собственно я этим переездом и занимаюсь.

Посмотрел минут пять, что есть Power Query - там не все так гладко с LEFT JOIN, как я понял. Может и с ним, не знаю, но вряд ли прям просто )).


Сообщение отредактировал golnev87 - Пятница, 30.10.2020, 19:31
 
Ответить
СообщениеНужно иметь возможность стандартными средствами Excel (2016 / 2013 + надстройка - ок) найти любого Пациента (из чуть более 100к), пролистать пациентов, и выбрав которого увидеть ВСЕ ассоциированные с ним сообщения и файлы (и никаких других). Ну и файлы по клику чтобы открывались.

99% из этих данных нужны не будут, но какие именно 1% будут нужны - неизвестно, поэтому предполагаем, что нужны все.

По факту это одна из задача по переезду с crm системы. Собственно я этим переездом и занимаюсь.

Посмотрел минут пять, что есть Power Query - там не все так гладко с LEFT JOIN, как я понял. Может и с ним, не знаю, но вряд ли прям просто )).

Автор - golnev87
Дата добавления - 30.10.2020 в 19:19
Pelena Дата: Пятница, 30.10.2020, 19:35 | Сообщение № 4
Группа: Админы
Ранг: Местный житель
Сообщений: 16796
Репутация: 3623 ±
Замечаний: ±

Excel 2010, 2016 & Mac Excel
Пришлите файлы на почту для посмотреть
Pelena@excelworld.ru


"Черт возьми, Холмс! Но как??!!"
ЯД 41001765434816
 
Ответить
СообщениеПришлите файлы на почту для посмотреть
Pelena@excelworld.ru

Автор - Pelena
Дата добавления - 30.10.2020 в 19:35
Hugo Дата: Пятница, 30.10.2020, 20:18 | Сообщение № 5
Группа: Друзья
Ранг: Участник клуба
Сообщений: 3137
Репутация: 670 ±
Замечаний: 0% ±

2010, теперь уже с PQ
MS PowerBI тоже бесплатна, и как по мне - так именно для этого и писано.
Но нужно освоить. Говорят не особо сложно, если уже знаете PQ.


excel@nxt.ru
webmoney: R418926282008 Z422237915069


Сообщение отредактировал Hugo - Пятница, 30.10.2020, 20:19
 
Ответить
СообщениеMS PowerBI тоже бесплатна, и как по мне - так именно для этого и писано.
Но нужно освоить. Говорят не особо сложно, если уже знаете PQ.

Автор - Hugo
Дата добавления - 30.10.2020 в 20:18
golnev87 Дата: Пятница, 30.10.2020, 20:31 | Сообщение № 6
Группа: Пользователи
Ранг: Прохожий
Сообщений: 4
Репутация: 0 ±
Замечаний: 0% ±

Excel 2013
Я сам из этого вообще ничего не знаю, увы, есть задача сделать резервную копию с CRM перед ее удалением сохранив данные в том виде, в котором их смогут офисные сотрудники использовать, я ей и занимаюсь.
Отправил.


Сообщение отредактировал golnev87 - Пятница, 30.10.2020, 20:36
 
Ответить
СообщениеЯ сам из этого вообще ничего не знаю, увы, есть задача сделать резервную копию с CRM перед ее удалением сохранив данные в том виде, в котором их смогут офисные сотрудники использовать, я ей и занимаюсь.
Отправил.

Автор - golnev87
Дата добавления - 30.10.2020 в 20:31
Pelena Дата: Пятница, 30.10.2020, 21:16 | Сообщение № 7
Группа: Админы
Ранг: Местный житель
Сообщений: 16796
Репутация: 3623 ±
Замечаний: ±

Excel 2010, 2016 & Mac Excel
За заказ не берусь


"Черт возьми, Холмс! Но как??!!"
ЯД 41001765434816
 
Ответить
СообщениеЗа заказ не берусь

Автор - Pelena
Дата добавления - 30.10.2020 в 21:16
Hugo Дата: Суббота, 31.10.2020, 00:14 | Сообщение № 8
Группа: Друзья
Ранг: Участник клуба
Сообщений: 3137
Репутация: 670 ±
Замечаний: 0% ±

2010, теперь уже с PQ
Я если что тоже пас, не освоил пока PBI, я на Qlik работал, там вот легко можно было бы. И экспорт таблиц в xls там есть если что...
Может у Вас в организации уже Qlik есть?


excel@nxt.ru
webmoney: R418926282008 Z422237915069
 
Ответить
СообщениеЯ если что тоже пас, не освоил пока PBI, я на Qlik работал, там вот легко можно было бы. И экспорт таблиц в xls там есть если что...
Может у Вас в организации уже Qlik есть?

Автор - Hugo
Дата добавления - 31.10.2020 в 00:14
Pelena Дата: Суббота, 31.10.2020, 09:06 | Сообщение № 9
Группа: Админы
Ранг: Местный житель
Сообщений: 16796
Репутация: 3623 ±
Замечаний: ±

Excel 2010, 2016 & Mac Excel
не освоил пока PBI
думаю, что там, скорей всего, нужен макрос, вытягивающий информацию из текстового файла


"Черт возьми, Холмс! Но как??!!"
ЯД 41001765434816
 
Ответить
Сообщение
не освоил пока PBI
думаю, что там, скорей всего, нужен макрос, вытягивающий информацию из текстового файла

Автор - Pelena
Дата добавления - 31.10.2020 в 09:06
Hugo Дата: Суббота, 31.10.2020, 11:22 | Сообщение № 10
Группа: Друзья
Ранг: Участник клуба
Сообщений: 3137
Репутация: 670 ±
Замечаний: 0% ±

2010, теперь уже с PQ
Вытянуть не сложно (но объём! долго, памяти нужно много...), но что затем с этим делать, и как вывести (и куда) например всю инфу из всех таблиц по клиенту 123?
Или всю по всем за первую пятницу прошлого года?
А BI это может реализовать. Правда не уверен что PBI легко справится с 20Гб данных, да ещё в csv...
Qlik может всё это перегнать в свои оптимизированные файлы, заодно и с объёмом будет полегче, и быстренько все нужное/отфильтрованное выведет в дашборд или сводную.


excel@nxt.ru
webmoney: R418926282008 Z422237915069


Сообщение отредактировал Hugo - Суббота, 31.10.2020, 11:23
 
Ответить
СообщениеВытянуть не сложно (но объём! долго, памяти нужно много...), но что затем с этим делать, и как вывести (и куда) например всю инфу из всех таблиц по клиенту 123?
Или всю по всем за первую пятницу прошлого года?
А BI это может реализовать. Правда не уверен что PBI легко справится с 20Гб данных, да ещё в csv...
Qlik может всё это перегнать в свои оптимизированные файлы, заодно и с объёмом будет полегче, и быстренько все нужное/отфильтрованное выведет в дашборд или сводную.

Автор - Hugo
Дата добавления - 31.10.2020 в 11:22
golnev87 Дата: Суббота, 31.10.2020, 17:57 | Сообщение № 11
Группа: Пользователи
Ранг: Прохожий
Сообщений: 4
Репутация: 0 ±
Замечаний: 0% ±

Excel 2013
Благодарю за ответы.

20Гб - это внешние файлы, нужно, чтобы они открывались по клику (зачем их внутрь документа пихать, пускай будут относительные ссылки на документы в лежащей рядом папочке). За секунду-две один файл откроется - нормально. Сами исходные таблицы менее 500Мб. Но файлов да, 20Гб примерно.


Сообщение отредактировал golnev87 - Суббота, 31.10.2020, 18:01
 
Ответить
СообщениеБлагодарю за ответы.

20Гб - это внешние файлы, нужно, чтобы они открывались по клику (зачем их внутрь документа пихать, пускай будут относительные ссылки на документы в лежащей рядом папочке). За секунду-две один файл откроется - нормально. Сами исходные таблицы менее 500Мб. Но файлов да, 20Гб примерно.

Автор - golnev87
Дата добавления - 31.10.2020 в 17:57
Мир MS Excel » Работа и общение » Работа / Фриланс » Таблицы Один к Многим, 20Гб файлов. 4т.р.
  • Страница 1 из 1
  • 1
Поиск:

jooble Яндекс цитирования
© 2010-2020 · Дизайн: MichaelCH · Хостинг от uCoz · При использовании материалов сайта, ссылка на www.excelworld.ru обязательна!