Проектирование БД

Любые обсуждения, не нарушающие правил форума.

Модератор: Модераторы

Re: Проектирование БД

Сообщение olegy123 » 30.10.2018 20:37:25

zoltanleo писал(а):
olegy123 писал(а):а если блоб ограничен размером в 1Тб?

это ж сколько будет занимать база только с одним терабайтным блобом? И сколько после бекапа? А если бекапов несколько? Это ж никакого железа не хватит...
Вы мне страшные вещи говорите. Наверное вы с системами виртуализации не знакомы. Там легко можно увидеть массивы измеряемые в петабайтах. Которые должны тоже бэкапится на лету.
Вот мне приходилось делать Raid (№5 )с размерностью в 12Тб и к нему приделывать сетку в 4Гбит(транк 4х1Гбит) чтобы с другого компа витруальные юзеры могли работать со своими файлами.. Это дело еще бэкапилось на лету...
как пример приведу: файл в котором была винда и одинэсина занимала 300Гб, бэкапилась минут более 30 gzip.. когда пересели на DDR4 + стали паковать lz4 - минут 15..

после этого - какие блобы.. вы о чём?
olegy123
долгожитель
 
Сообщения: 1643
Зарегистрирован: 25.02.2016 12:10:20

Re: Проектирование БД

Сообщение debi12345 » 30.10.2018 20:48:55

Это дело еще бэкапилось на лету...
как пример приведу: файл в котором была винда и одинэсина занимала 300Гб, бэкапилась минут более 30 gzip.. когда пересели на DDR4 + стали паковать lz4 - минут 15..

Ага. "lvm_snapshot -> partclone -> ssh " всегда спасут отца ...кой демократии :roll:
Аватара пользователя
debi12345
долгожитель
 
Сообщения: 5759
Зарегистрирован: 10.05.2006 23:41:15
Откуда: Ташкент (Узбекистан)

Re: Проектирование БД

Сообщение zoltanleo » 01.11.2018 00:24:34

olegy123 писал(а):после этого - какие блобы.. вы о чём?

ИМХО, если база занимает петабайты, а значит стационарна и никуда не перемещаема, то нет смысла совать в нее блобы: достаточно держать их в FS, а в базе хранить корректные ссылки (бекап БД без блобов на порядок быстрее, чем с оными).
А вот если база должна быть легко транспортируемой (а значит должна занимать не более десятка гигабайт), то здесь актуальнее вопрос, в каком формате хранить блобы, чтобы они не занимали в ней много места.

зы. По роду деятельности приходится иметь место с DICOM-форматом - все бы картинки в нем хранил, да не нашел приличных компонентов под лазарь для работы с ним. Кстати, был бы весьма признателен за знакомство с таковыми тем, кто подскажет
Аватара пользователя
zoltanleo
постоялец
 
Сообщения: 458
Зарегистрирован: 17.10.2013 10:55:01

Re: Проектирование БД

Сообщение Vadim » 01.11.2018 09:26:15

zoltanleo писал(а):Кстати, был бы весьма признателен за знакомство с таковыми тем, кто подскажет

Если Вас не пугает компонент написаный в Delphi то посмотрите на:
https://sourceforge.net/projects/ezdicom/
Vadim
долгожитель
 
Сообщения: 4112
Зарегистрирован: 05.10.2006 08:52:59
Откуда: Красноярск

Re: Проектирование БД

Сообщение olegy123 » 01.11.2018 10:18:22

debi12345 писал(а):
Это дело еще бэкапилось на лету...
как пример приведу: файл в котором была винда и одинэсина занимала 300Гб, бэкапилась минут более 30 gzip.. когда пересели на DDR4 + стали паковать lz4 - минут 15..

Ага. "lvm_snapshot -> partclone -> ssh " всегда спасут отца ...кой демократии :roll:
Видно дух линукса вам не близок. Шел скрипты обеспечивают подвижность системы, тем самым запустить линух можно на всем что не отвергает ядро.

Добавлено спустя 21 минуту 49 секунд:
zoltanleo писал(а):
olegy123 писал(а):после этого - какие блобы.. вы о чём?

ИМХО, если база занимает петабайты, а значит стационарна и никуда не перемещаема, то нет смысла совать в нее блобы: достаточно держать их в FS, а в базе хранить корректные ссылки (бекап БД без блобов на порядок быстрее, чем с оными).
А вот если база должна быть легко транспортируемой (а значит должна занимать не более десятка гигабайт), то здесь актуальнее вопрос, в каком формате хранить блобы, чтобы они не занимали в ней много места.
когда то 1Мб памяти занимал десятки квадратов и потреблял много киловаттов. Сейчас в почтовом пакетике пришлют SD чип.
А файловая система это что? Не база данных?
Вот с помошью FUSE (filesystem in userspace)можно файловую систему организовать хоть на DBF файлах.

zoltanleo писал(а):
olegy123 писал(а):зы. По роду деятельности приходится иметь место с DICOM-форматом - все бы картинки в нем хранил, да не нашел приличных компонентов под лазарь для работы с ним. Кстати, был бы весьма признателен за знакомство с таковыми тем, кто подскажет
Поясните, про "приличные компоненты". Делфи(Лазарус), как многие другие системы, бурно развивался в 80-90е-0е годы. Компоненты имеют функционал тех времен. Новые мало кто делают. Сейчас программеры пошли ленивые, получают много, собственных наработок нет, как правило тырят чужой код.
Сейчас в PC коробке много ядер, SSEх/AVX команды заточены на обработку больших групп данных - сколько компонент используют.. x86/x64 - это максимум и то благодаря компилятору.. Большие конторы стали активно использовать обычные процессоры с FPGA.
Объясните проблему, может я помогу.
olegy123
долгожитель
 
Сообщения: 1643
Зарегистрирован: 25.02.2016 12:10:20

Re: Проектирование БД

Сообщение debi12345 » 01.11.2018 10:48:02

Видно дух линукса вам не близок.

Еще как знаком - рутер, серваки и 150+ операторких точек - все на линуксе. Заскритованы и зашедуллированы даже самые немыслимые "таски" - поэтому саппорт всего этого хозяйства практически не отнимает времени/

Добавлено спустя 4 минуты 33 секунды:
тем самым запустить линух можно на всем что не отвергает ядро

"Винда" начиная с 7-ки тоже (если выставить старт-режим 3->0 для всех диск-контроллеров) стартует практически на любом железе - достаточно тупо переставить хард-диск.
Аватара пользователя
debi12345
долгожитель
 
Сообщения: 5759
Зарегистрирован: 10.05.2006 23:41:15
Откуда: Ташкент (Узбекистан)

Re: Проектирование БД

Сообщение olegy123 » 01.11.2018 11:11:22

Разве? на ARM с 128мб старт будет?
olegy123
долгожитель
 
Сообщения: 1643
Зарегистрирован: 25.02.2016 12:10:20

Re: Проектирование БД

Сообщение debi12345 » 01.11.2018 11:22:10

Разве? на ARM с 128мб старт будет?

Если собрана под ARM и сделать 3->0 - ессно. В 7+ поменяли алгоритм инициализации диск-контроллеров - теперь драйвера, у которых режим=0, перебираются при старте оси как на лине - пока не будут подобран работающий. Из предварительно настроенной 7+ с софтом теперь можно создавать образы и клонировать их пратически на любое комповое "железо".
Аватара пользователя
debi12345
долгожитель
 
Сообщения: 5759
Зарегистрирован: 10.05.2006 23:41:15
Откуда: Ташкент (Узбекистан)

Re: Проектирование БД

Сообщение zoltanleo » 02.11.2018 10:21:02

Vadim писал(а):Если Вас не пугает компонент написаный в Delphi то посмотрите на:
https://sourceforge.net/projects/ezdicom/

Спасибо. Не пугает, но смущает дата релиза 2004г :)

olegy123 писал(а):Поясните, про "приличные компоненты".

Кроссплатформа, внятная документация.
Аватара пользователя
zoltanleo
постоялец
 
Сообщения: 458
Зарегистрирован: 17.10.2013 10:55:01

Re: Проектирование БД

Сообщение olegy123 » 02.11.2018 13:18:52

zoltanleo писал(а):
olegy123 писал(а):Поясните, про "приличные компоненты".

Кроссплатформа, внятная документация.
так проще самому написать. делов может быть на дня два - несколько месяцев.

Добавлено спустя 6 минут 10 секунд:
FL Studio - пишут на делфи, имеют свои контролы но не выкладывают.
DevExpress - тоже не хотят делится..

Вот сколько уйдет времени чтобы создать кнопку как в FL? .. пару часов.
olegy123
долгожитель
 
Сообщения: 1643
Зарегистрирован: 25.02.2016 12:10:20

Re: Проектирование БД

Сообщение zoltanleo » 02.11.2018 15:24:26

olegy123 писал(а):FL Studio - пишут на делфи, имеют свои контролы но не выкладывают.
DevExpress - тоже не хотят делится..

А как хоть называются? Могу исходники в копилке на руборде глянуть
Аватара пользователя
zoltanleo
постоялец
 
Сообщения: 458
Зарегистрирован: 17.10.2013 10:55:01

Re: Проектирование БД

Сообщение Vadim » 02.11.2018 16:38:13

zoltanleo писал(а):но смущает дата релиза 2004г

Это единственное знакомое мне OpenSource решение. То, что поновее стоит $2500 вместе с исходниками. Есть ишшо парочка, но тоже всё за плату... ;-)
Vadim
долгожитель
 
Сообщения: 4112
Зарегистрирован: 05.10.2006 08:52:59
Откуда: Красноярск

Re: Проектирование БД

Сообщение zoltanleo » 02.11.2018 19:38:16

Vadim писал(а):Есть ишшо парочка, но тоже всё за плату...

"Имя, сестра, имя!" © :wink:
Аватара пользователя
zoltanleo
постоялец
 
Сообщения: 458
Зарегистрирован: 17.10.2013 10:55:01

Re: Проектирование БД

Сообщение Vadim » 03.11.2018 10:16:30

zoltanleo
Ну теперь буду всем хвастаться, что знаком с миллионером... :D
Вот, например:
http://www.dicomvcl.com/#/product/delphi_compoments
Изображение
Vadim
долгожитель
 
Сообщения: 4112
Зарегистрирован: 05.10.2006 08:52:59
Откуда: Красноярск

Пред.

Вернуться в Потрепаться

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 9

Рейтинг@Mail.ru