Миллиард таблиц в базе SQLite (по мотивам поста на Хабре)

[Nik]

Собственно, вдохновившись постом "Миллиард таблиц?!" решил провести собственный эксперимент. Правда, вместо PostgreSQL и Perl использовал SQLite и Lazarus.

Подробный отчёт: http://petrochenko.ru/computers/milliar ... qlite.html

[Padre_Mortius]

Хотелось бы на исходник вашего эксперимента посмотреть... Имхо, просто организовали нагрузочное тестирование одного из моментов компонента для доступа к базе sqlite. По поводу утечки памяти нужно детально смотреть причину и устранять ее.

[Nik]

Исходник ничего интересного из себя не представляет. Последний вариант выглядит так:

Код: Выделить всё

procedure TMainForm.FormCreate(Sender: TObject);
begin
SQL_db:=TSQLiteDatabase.Create('D:\mln.db3');
end;

procedure TMainForm.Button2Click(Sender: TObject);
const
  maxq = 100000; // * 10000;
var
  SQL_query: string;
  i: integer;
  t_start, t_finish: TTime;
begin
  ProgressBar1.Max:=maxq;
  t_start:=Time;

  SQL_db.BeginTransaction;

  for i:=0 to maxq do
   begin
    SQL_query:='CREATE TABLE [users'+IntToStr(i)+'] ([id] INTEGER, [name] CHAR, [pass] CHAR, [type] INTEGER)';
    SQL_db.execsql(SQL_query);
    ProgressBar1.Position:=i;
    Label1.Caption:='Создано '+IntToStr(i)+' таблиц из'+IntToStr(maxq)+'('+IntToStr(round(i*100/maxq))+'%)';
    t_finish:=Time;
    Label2.Caption:='Прошло времени: '+TimeToStr(t_finish-t_start);
    Application.ProcessMessages;
   end;
  SQL_db.Commit;

end;


Компоненты для работы с SQLite - здесь.

Имхо, просто организовали нагрузочное тестирование одного из моментов компонента для доступа к базе sqlite. По поводу утечки памяти нужно детально смотреть причину и устранять ее.

Собственно, заморочился со всем этим от нечего делать. Никакой особой цели не было. Хотя утечку памяти и правда надо бы отловить - в реальных приложениях те же компоненты использую (хотя, конечно, такого числа запросов за одну сессию делать не приходилось пока ни разу).

[vada]

Смысла проведения эксперемента не понял. В чем прикладной выхлоп?

[Nik]

Да нет никакого выхлопа - чисто ради академического интереса (насколько я понимаю, исходный эксперимент на Хабре тоже особой смысловой нагрузки не нёс). Хотя я попутно узнал, что скорость создания таблиц в базе SQLite снижается пропорционально увеличению объёма базы. Ну и утечку памяти зафиксировал.

[vada]

Хотя я попутно узнал, что скорость создания таблиц в базе SQLite снижается пропорционально увеличению объёма базы.

Неожидано!

Ну и утечку памяти зафиксировал.

А говоришь нет выхлопа

[Nik]

Хотя я попутно узнал, что скорость создания таблиц в базе SQLite снижается пропорционально увеличению объёма базы.

Неожидано!

Строго говоря, действительно неожиданно. Потому как в теории размер БД не должен столь явно влиять на скорость выполнения запросов типа "CREATE". Вот на скорость выборок (особенно сложных) влияние должно быть явным (хотя у SQLite с этим как раз всё очень хорошо).

[Crystal_Ra]

Выхлоп академический- ))) здорово звучит.

Хочу спросить? А если вы будете делать коммит не в конце!? цикла а внутри...

Че то сдается мне что SQLite просто накапливает все барахло )))) ....
а вы его копите и копите в цикле ).



С уважением, Crystal_Ra.

[Vadim]

Хотя я попутно узнал, что скорость создания таблиц в базе SQLite снижается пропорционально увеличению объёма базы.

А после какого количества снижение скорости становится заметным?

[Nik]

Хочу спросить? А если вы будете делать коммит не в конце!? цикла а внутри...

Скорость создания таблиц начинает падать быстрее.

А после какого количества снижение скорости становится заметным?

В моей заметке было написано - примерно на 15000 таблиц. Первые тысяч 10 вообще создаются за несколько секунд.