Использование WinApi для создания пула потоков

[stesl]

Приветствую Вас, приветствуйте новичка.
Вопрос в следующем, как всегда есть задание - что то там сделать (суть не важна)

При помощи пула из M потоков (M ≤ N), используя системный пул потоков или асинхронные потоки ввода/вывода.

Как?

При помощи массива из M потоков (M ≤ N), используя для синхронизации объект ядра — семафор.

мы с преподавателем осилили.

Весь парадокс ситуации, что конечно сделать это предлагается на С/С++, однако меня забыли предварительно обучить этим языкам. Преподаватель был вынужден согласиться, что изучать язык, для выполнения лабораторной работы, прямо не связанной с программированием (Теория вычислительных процессов) - не комильфо.
.NET в FreePascal недоступна. Изучать PascalABC.Net я также отказался.

Так есть у кого то опыт организации такого пула? Может есть желание мозг поднапречь? Моя беда, то, что я не знаю языки. От англ до С. И не могу пользоваться примерами написанными на С.

Вот что есть в УМП

В API Windows пула потоков, как такового, нет. Для создания пула рабочих потоков можно вручную создавать массив потоков вызовом функции CreateThread, а затем ожидать окончания их выполнения вызовом функции WaitForMultipleObjects(Ex) или MsgWaitForMultipleObjects(Ex). Для создания очереди асинхронных операций используется функция QueueUserAPC. В качестве сигнальных объектов могут выступать как сами процессы и потоки, так и семафоры, мьютексы, таймеры и события (табл. 3.5, п. 3.2.3). Также для организации пула потоков можно использовать порты завершения ввода/вывода (п. 3.2.3.5).

Если есть что то полезное в этом обрывке, могу привести и эти пп.

[Дож]

Казалось бы, фрагмент «В API Windows пула потоков, как такового, нет. Для создания пула рабочих потоков можно вручную создавать массив потоков вызовом функции CreateThread, а затем ожидать окончания их выполнения вызовом функции WaitForMultipleObjects(Ex) или MsgWaitForMultipleObjects(Ex).» исчерпывающе отвечает на вопрос о том, как делать. В чём трудности?

[Pavia]

Пул потоков.
Не хочу лить воду. А в проектировании так всегда или почти всегда. Поэтому остановимся на конкретике.

Зачем он нужен?
Автоматизация управления потоками.
Разделение управления и обработчиков.
Повышение производительности.
Балансировка потоков.
Когда не следует использовать пул потоков?
Когда есть длинные задачи.
Приоритеты задач
Необходимо иметь стабильную идентификацию, сопоставленную с потоком, или назначить поток задаче.

Автоматизация. Пользователю пулом потоков не нужно заботиться о создание и уничтожении потоков.
Разделение управления и обработчиков. Пулом потоков за счёт инкапсуляции позволяет избежать досадных ошибок. Защищая данные передаваемые в поток и сами потоки от возможных случайных ссылок на уничтоженные объекты(потоки и данные).
Замечание ! Такой подход не означает, что вы можете забыть о безопасности данных. Просто он гарантирует целостность их на входе в задачу и на выходе из задачи. Но если вы будете их менять по ходу выполнения задачи, то вы сможете нарваться на неприятности.
Для коротких задач не требуется каждый раз создавать поток.
Балансировка потоков. Числом различных задач можно балансировать нагрузку. Ставя в очередь нужное количество задач мы можем получить нужный процентное соотношение.

Если хочется то можно
Когда есть длинные задачи. Вы можете разбить их на короткие и тогда вы сможет в любой момент прервать длинную задачу.

Приоритеты задач. Пул потоков не предусматривает очерёдность исполнения задач.
Но если их ввести в модификацию, то возникнут трудности с повышением производительности. Но в принципе есть решения допускающее такой подход.
Необходимо иметь стабильную идентификацию, сопоставленную с потоком, или назначить поток задаче. Редкий случай, когда надо закрепить за потоком нужные данные.
Замечание! Фрагментация памяти. Во избежание фрагментации память должна выделяться до того как пул потоков начнёт работать. Либо же вы должны использовать сборку мусора и дефрагментатор.

Как пул потоков планирует работы потоков?
Поток опрашивает очередь в течении NonSleepTime. Если не находит задач то засыпает.
Если пул- потоков обнаруживает что потоки не используются более TimeLive=CoiffecienLive* NonSleepTime то поток уничтожается.

Новые потоки создаются если замечено нехватка рабочих потоков. Потоки не забрали ни одну задачу за WorkTime.
Если задач нет, то потоки либо засыпают, либо уничтожаются. Если потоков меньше минимума то они спят если больше уничтожаются.

http://embarcadero.newsgroups.archived.at/public.delphi.language.delphi.win32/201001/1001126520.html

http://msdn.microsoft.com/en-us/library/windows/desktop/ms683194(v=vs.85).aspx

http://msdn.microsoft.com/ru-ru/library/0ka9477y(v=vs.110).aspx

http://rsdn.ru/forum/delphi/1181461.all

Добавлено спустя 7 минут 29 секунд:

Как?

А задача где? Прочтите в интернете как правильно задавать вопросы. Не описывайте что делали или что сделали описывайте что надо сделать. Иначе вас непонятно.

[runewalsh]

>В API Windows пула потоков, как такового, нет.
Есть. :\

QueueUserWorkItem — для всех версий.

CreateThreadpoolWork/SubmitThreadpoolWork/CloseThreadpoolWork — для Vista+, сложнее, но больше возможностей: например, можно подождать завершения определённого задания функцией WaitForThreadpoolWorkCallbacks, а чтобы достичь того же с QueueUserWorkItem, придётся самому вести счётчик исполняемых заданий и/или выставлять событие. Как и в .NET, потоки пула не препятствуют завершению процесса при выходе из main, поэтому ждать завершения в общем случае необходимо.

В методичке полно неверной информации, как посмотрю («иногда система инвертирует приоритеты, чтобы разрешить конфликты типа deadlock»).

[serbod]

Может есть желание мозг поднапречь? Моя беда, то, что я не знаю языки.

Зачем тебе теория вычислительных процессов, если языки не знаешь и знать не хочешь? Иди руками работай.

[olegy123]

Так есть у кого то опыт организации такого пула? Может есть желание мозг поднапречь? Моя беда, то, что я не знаю языки. От англ до С. И не могу пользоваться примерами написанными на С.

В паскале называется это все Parallel programming
http://wiki.freepascal.org/Category:Par ... rogramming

конкретно:
http://wiki.freepascal.org/Parallel_procedures

Добавлено спустя 29 минут 56 секунд:
https://github.com/BeRo1985/pasmp

[stesl]

исчерпывающе отвечает на вопрос о том, как делать. В чём трудности?

Трудности в том, что нужно найти метод, или доказать преподавателю, что метода нет, а значит и задание невыполнимо. По крайней мере в FP
Метод создания МАССИВА потоков уже освоен в предыдущем задании. Цитата говорит, что можно создать псевдопул, т.е. массив. Но как им управлять?
FP знает QueueUserAPC?

А задача где? Прочтите в интернете как правильно задавать вопросы. Не описывайте что делали или что сделали описывайте что надо сделать. Иначе вас непонятно.

Столько текста, как Вы, я не осилю написать? Какая задача? Вопрос стоит предельно ясно: можно ли в FP средствами WinAPI создать пул потоков. Если да, то как?
И про языки, в том чисде английский я тоже написал

Есть. :\

Спасибо, попытаюсь изучить, или преподаватель пусть поможет.

В методичке полно неверной информации, как посмотрю («иногда система инвертирует приоритеты, чтобы разрешить конфликты типа deadlock»).

В какой методичке?

Зачем тебе теория вычислительных процессов, если языки не знаешь и знать не хочешь? Иди руками работай.

Как много тут самоутверждающихся... Отвечу - мне нахрен не нужна ТВП, нужен лишь диплом. А работаю руками инженером АСУТП. И спокойно себе ваяю на FBD,ST,IL и не парюсь о потоках. Так что какие то языки я знаю. Паскаль в их числе

В паскале называется это все Parallel programming

Спасибо, буду знать. Английский - плохо

[Дож]

Цитата говорит, что можно создать псевдопул, т.е. массив.

Массив — это один из способов реализовать пул (любой пул, не только потоков). Почему получится «псевдопул», а не обычный пул, я не очень понимаю.

Но как им управлять?

Вы не назвали какие операции с пулом вам нужны, поэтому лучший ответ на этот вопрос — легко и непринуждённо :)

Операцию ожидания завершения задач в пуле, как следует из процитированного фрагмента, можно реализовать при помощи функции WaitForMultipleObjects (или MsgWaitForMultipleObjects).

Ещё есть WaitForThreadTerminate. Ниже про QueueUserWorkItem и Parallel programming тоже дело говорят.

FP знает QueueUserAPC?

Из FP можно объявить и вызвать любую WinApi функцию.

[stesl]

Массив — это один из способов реализовать пул (любой пул, а только потоков). Почему получится «псевдопул», а не обычный пул, я не очень понимаю.

Мне трудно спорить, возможно, с профи, но из того, что я понял, и того что написали выше - системный пул потоков, и массив потоков, созданный вручную это очень разные вещи.

Вы не назвали какие операции с пулом вам нужны, поэтому лучший ответ на этот вопрос — легко и непринуждённо

натравливать на одну и ту же функцию, ограждая критическую секцию (не сам объект ядра, а похожее на это определение, место в коде) семафором. Выполнить эту ф-цию сначала в один поток. Потом в несколько и показать разницу во времени обработки.

Из FP можно объявить и вызвать любую WinApi функцию.

почему тогда при попытке компиляции ругань идет именно на, по идее терминал QueueUserAPC. Не знает компилятор такой строки

[Дож]

Код: Выделить всё

uses
  windows;

function QueueUserAPC(pfnAPC: Pointer; hThread: HANDLE; dwData: ULONG_PTR): DWORD; stdcall; external 'Kernel32.dll';

begin
  Writeln(QueueUserAPC(nil, 0, 0));
end.


Код: Выделить всё

D:\data\temp>fpc tp.pas
Free Pascal Compiler version 3.0.4 [2017/10/06] for i386
Copyright (c) 1993-2017 by Florian Klaempfl and others
Target OS: Win32 for i386
Compiling tp.pas
Linking tp.exe
8 lines compiled, 0.3 sec, 25424 bytes code, 1268 bytes data

[stesl]

Ну теперь пришла пора сознаться, что это не я пытался что то сделать с этой ф-цией. Это преподаватель пожаловался, что у него не компилится чего то там.
ПРАСТИТИ! А то щас закидаете
Друг, а ты не мог бы по полочкам разложить, что за параметры у этой ф-ции, msdn написан на англ и С. Почему ты ее вызываешь как то интересно через writeln. Что там за кернел.
И вообще, что делать дальше? Что мы получаем в рез-тате вызова этой ф-ции?

Наверно многого прошу, но преподаватель появится только в пнд. Можно было бы на выходных попробовать, поковыряться.
Ты спросишь, а какого ты вообще про эту ф-цию спрашиваешь? Просто иду по методичке своей... Ничего путнего про пул и не знаю

Добавлено спустя 4 минуты 6 секунд:
Понял. С тлф читаю, пишу, не все видно понятно. То есть ты выводишь рез-тат ф-ции, описанной ранее. Но разве это не твоя, пользовательская ф-ция? Или экстернал - длл и говорит о том, что это системная ф-ция

[Снег Север]

Или экстернал - длл и говорит о том, что это системная ф-ция

Именно это и говорит - вызвать функцию из системной библиотеки Kernel32.dll

[stesl]

Именно это и говорит - вызвать функцию из системной библиотеки Kernel32.dll

Очень ценное знание. Спасибо Вам обоим. Позже, если интересно, покажу как мы запускали поток и семафор. А в этом файле весь API и находится?

[runewalsh]

В какой методичке?

В той, фрагмент которой приведён в первом посте. Она гуглится и там много странностей.
Алсо, пример с QueueUserWorkItem + RTLEvent:

Код: Выделить всё

{$mode objfpc} {$h+}
uses
   Windows, SysUtils;

   function QueueUserWorkItem(func: LPTHREAD_START_ROUTINE; Context: pointer; Flags: ULONG): BOOL; stdcall; external kernel32;

var
   runningTasks: integer; // = 0
   allTasksCompleted: PRTLEvent;

   procedure PrepareTaskQueuing;
   begin
      if InterlockedIncrement(runningTasks) = 1 then RTLEventResetEvent(allTasksCompleted);
   end;

   procedure NoteTaskCompleted;
   begin
      if InterlockedDecrement(runningTasks) = 0 then RTLEventSetEvent(allTasksCompleted);
   end;

   procedure Task(param: pointer); stdcall;
   begin
      writeln('Задача ' + IntToStr(PtrUint(param)) + ' начата (поток #' + IntToStr(GetCurrentThreadID) + ')');
      Sleep(1500);
      writeln('Задача ' + IntToStr(PtrUint(param)) + ' выполнена (поток #' + IntToStr(GetCurrentThreadID) + ')');
      NoteTaskCompleted;
   end;

begin
   allTasksCompleted := RTLEventCreate;
   PrepareTaskQueuing; writeln('Добавление задачи 1.'); QueueUserWorkItem(@Task, pointer(1), 0);
   Sleep(1000);
   PrepareTaskQueuing; writeln(LineEnding + 'Добавление задачи 2.'); QueueUserWorkItem(@Task, pointer(2), 0);
   Sleep(1000);
   PrepareTaskQueuing; writeln(LineEnding + 'Добавление задачи 3.'); QueueUserWorkItem(@Task, pointer(3), 0);
   Sleep(1000);
   PrepareTaskQueuing; writeln(LineEnding + 'Добавление задачи 4.'); QueueUserWorkItem(@Task, pointer(4), 0);

   writeln(LineEnding + 'Ожидание завершения всех задач...');
   RTLEventWaitFor(allTasksCompleted);
   RTLEventDestroy(allTasksCompleted);
   writeln('OK!');
   readln;
end.

[Дож]

У меня изначально в коде была ошибка, нужно ещё stdcall указать.

Друг, а ты не мог бы по полочкам разложить, что за параметры у этой ф-ции, msdn написан на англ и С.

pfnAPC — указатель на Вашу (пользовательскую) функцию с прототипом вида

Код: Выделить всё

procedure APCProc(dwParam: ULONG_PTR); stdcall;
begin
  // тут код
end;

hThread — айдишник треда, в котором функцию нужно запустить, dwData — аргумент, который будет в эту функцию передан (ULONG_PTR — численный тип, но его можно кастовать в и из Pointer).

Почему ты ее вызываешь как то интересно через writeln.

Я лишь демонстрировал, что «Из FP можно объявить и вызвать QueueUserAPC.», для этих целей я мог бы передать любые параметры.

Что там за кернел.

https://ru.wikipedia.org/wiki/Kernel32.dll
https://ru.wikipedia.org/wiki/Windows_API

Ты спросишь, а какого ты вообще про эту ф-цию спрашиваешь?

Именно это и спрошу, потому что смысла мудрить с WinApi функциями для задачи параллельного вызова функции не вижу (тем более раз уж всё равно планируется использовать какой-то механизм для критических секций).

И вообще, что делать дальше?

Без понятия :)

Что мы получаем в рез-тате вызова этой ф-ции?

Функция помещается в очередь на вызов в определённом потоке.