Как присвоить переменной char значение в UTF8 кодировке?

[Odyssey]

Код: Выделить всё

writeln(UTF8ToConsole(Symbol));

Если так, то нужно:

Код: Выделить всё

writeln(UTF8ToConsole(AnsiToUTF8(Symbol)));

Чуть выше, для того чтобы всё-таки запихнуть русский символ в 1 байт, было предложено воспользоваться кодировкой windows-1251, UTF8ToAnsi как раз и преобразует строку из UTF-8 в windows-1251 (на русской Windows).
В windows-1251 кириллические символы занимают 1 байт и без проблем умещаются в char. Но поскольку у функции UTF8ToConsole на входе должна быть строка в utf-8, то придётся сконвертировать windows-1251 обратно в utf-8, а уже затем в кодировку системной консоли (UTF8ToConsole).

Здесь я как раз и имел в виду, что "Если в бочонке было меньше литра (читай "< 128") -- наше счастье"

Это для латиницы. А для кириллицы в бочонке уже два литра, и в литровую банку их не залить. Единственный вариант -- преобразовать воду во что-то другое (UTF8ToAnsi).

[Александр Яшин]

Не хотелось бы открывать новую тему, может кто-нибудь здесь ответит. В принципе вопрос близко к теме.
Короче говоря, при вводе строки с клавиатуры, насколько я понимаю, происходит автоматическое преобразование в нужный тип. Если объявлена переменная типа string, то входная строка с клавиатуры в кодировке СР866 будет преобразована в строку в кодировке UTF8. Если да, то почему не работает следующий код:

Код: Выделить всё

program project1;
uses
  FileUtil, SysUtils, CRT, LCLProc;
var
  str, s: string;
begin
  s:= 'абвг';
  writeln(UTF8ToConsole('Введите строку'));
  readln(str);
  if comparestr(s, str) = 0 then
    writeln(UTF8ToConsole('Строки совпали'))
  else
    writeln(UTF8ToConsole('Строки не совпадают'));
  readkey;
end. 

Как бы я не преобразовывал входную строку str (UTF8ToAnsi, AnsiToUTF8) строки не совпадают.
Только если преобразовать строку s функцией (UTF8ToConsole(s)) строки совпадают. Значит исходное предположение, что строка с клавиатуры автоматически преобразуется в нужный тип неверно? Тогда как преобразовать СР866 в UTF8?
Функцию, обратную UTF8ToConsole я не нашел

[Alexx2000]

Тогда как преобразовать СР866 в UTF8?
Функцию, обратную UTF8ToConsole я не наше

Например так:

Код: Выделить всё

function ConsoleToUTF8(const Str: AnsiString): UTF8String;
{$ifdef MSWindows}
var
  Dst: PChar;
{$endif}
begin
  Result:= Str;
  {$ifdef MSWindows}
  Dst:= AllocMem((Length(Result) + 1) * SizeOf(Char));
  if OEMToChar(PChar(Result), Dst) then
    Result:= SysToUTF8(Dst);
  FreeMem(Dst);
  {$endif}
end;


[Александр Яшин]

Пишет - Error: Identifier not found "OEMToChar"

[Alexx2000]

Это WinAPI функция, соответственно нужно добавить в uses модуль Windows, его также можно заключить в $ifdef

[Александр Яшин]

Спасибо! Получилось.

[Odyssey]

Ещё как вариант можно воспользоваться функцией CP866ToUTF8() из модуля LConvEncoding.
Но то, что ConsoleToUTF8 в LCL нет -- это недостаток. Может быть стоит зарепортить в багтрекер и предложить реализацию Alexx2000?

[Alexx2000]

Меня тоже удивило наличие UTF8ToConsole и отсутствие ConsoleToUTF8, поэтому по аналогии для себя сделал эту функцию.

[Max Rusov]

Для общего развития хочу понять - зачем весь этот геморрой с UTF8? Почему не использовать WideChar/WideString - ведь это гораздо проще?

[Odyssey]

Наверное, это -- на вкус и цвет. Мне WideString не нравится, потому что не все символы входят в Basic Multilingual Plane, т.е. помещаются в два байта. Поэтому даже с WideString, если по-хорошему, нужно юзать UTF-16 с переменной длинной символа, но тогда вся фишка WideString пропадает. Да, я знаю, что реально символы за пределами BMP используются довольно редко, а страны, для которых это критично, например Китай, сами стараются по возможности отказаться от их использования. Но тем не менее, я считаю, что использовать Юникод, который не "юни", т.е. который не в состоянии представить всех символов, используемых в существующих языках -- это создавать локализаторам проблемы на ровном месте. А для проектов, для которых локализация вообще никак не планируется, можно с тем же успехом использовать windows-1251, это же ещё проще, чем WideString

Ещё один плюс UTF-8 -- совместимость, например, не нужно переписывать давно написанные парсеры, в которых все управляющие символы попадают в ASCII.

[Max Rusov]

Вот как раз с точки зрения совместимости - WideString гораздо предпочтительней. В большинстве случаев все правки ограничиваются заменой типа (а в Delphi 2009+ даже этого не требуется ). А при работе с UTF8 нужно радикально менять алгоритмы. Плюс - это постоянное преобразование туда-сюда...

[Александр Яшин]

Если использовать WideChar, то при попытке присвоить значение все-равно выдает Error: Incompatible types: got "Constant String" expected "WideChar"
Поэтому я однозначно выбираю TUTF8Char.
При использовании WideString выдается ошибка на операторе readln(str) - Fatal: Unknown compilerproc "fpc_read_text_widestr". Check if you use the correct run time library.

И еще. После ввода строки с клавиатуры (при использовании обычных string) функции, например, Length(), Pos(), Copy() работают, хотя как выяснилось в этом топике, строка остается в кодировке СР866.
Значит вышеуказанные функции сначала преобразовывают строку в UTF8? Или эти функции годятся и для СР866?

[Alexx2000]

Значит вышеуказанные функции сначала преобразовывают строку в UTF8?

Нет, данные функции предназначены для работы со строками в однобайтовой кодировке. Для UTF8 есть функции UTF8Length, UTF8Pos, UTF8Copy и .т.д.

Или эти функции годятся и для СР866?

В общем то да, например Length и Copy будут правильно работать, а вот с Pos надо учитывать, что искомая строка также должна быть в кодировке cp866.

[Александр Яшин]

Интересно, какая функция эффективней CP866ToUTF8() или ConsoleToUTF8()?
Твоя функция написана изящней (кстати, ты сам ее написал?), а вот насчет эффективности?!

[Alexx2000]

Интересно, какая функция эффективней CP866ToUTF8() или ConsoleToUTF8()?

Скажем так, это две разные функции. CP866ToUTF8() будет корректной только для русской Windows (cp866 - кодировка для русского языка под DOS), а под другой Windows, используется соответственно другая кодировка в консоли. А ConsoleToUTF8() должна работать с любой кодировкой, используемой в консоли.

Твоя функция написана изящней (кстати, ты сам ее написал?), а вот насчет эффективности?!

Написал, это слишком громко сказано, просто обратил алгоритм функции UTF8ToConsole.