UTF-8 + FileExists() - бага?

[Azzx]

Для FPC 2.4 скорее всего реализуют поддержку строк вроде тех что появились в D2009, т.е. UTF8String будет сам на лету конвертироваться в системную кодировку.

Сё есть правильно, имхо...

А вот позвольте с Вами не согласиться. Чем удобен двухбайтовый Unicode с жёстко фиксированным кол-вом байтов на один символ? Даже ежу понятно, что такая кодировка имеет ту же болезнь, что и более ранние кодировки - семибитная, восьмибитная(однобайтная) - невозможность использования нескольких языков одновременно.

Приемущество они имеют то же самое - константное время доступа к произвольному месту в строке.

Да нету сейчас "двухбайтового Unicode"

Ну - для совсем энтузиазистов есть UNICODE32, на эту тему сейчас что-то делают в Java. И они, думаю, тоже не просто так это делают.

Хотя вот лично меня интересует другой вопрос - создание универсальной хеш-функции для того же UNICODE16, с приемлемым временем работы... Впрочем - прямо сейчас оно мне не нужно...

[Vadim]

Sergei I. Gorelkin
Ну да. И главное среди этих "куча софта" - WinAPI.

[Павел Ишенин]

Ну да. И главное среди этих "куча софта" - WinAPI.

Где такое сказано?

Может вы пробовали работать с WinApi из fpc? Если да, то fpc был баг в UTF8Decode, UTF8Encode.

[alek111]

В WinNT и старше системная кодировка UTF16, а RTL работает так как будто системная кодировка win12xx.
Ручное перекодирование UNICODE <> UTF8 <> ANSI ничего не дает в случае если символы не содержатся в локали.
Перевели-бы уже RTL в UTF8 как и LCL, с тем чтобы эти функции общались с системой через UNICODE а не ANSI.

[Cheb]

>Если компилировать исходники в Lazarus (т.е. в кодировке UTF-8),

(иными словами - {$codepage utf-8} )
То все строки с русскими буквами из этого исходника ОКАЖУТСЯ В UTF-16! То есть это WideString.
Наоборот, под виндовсом FileExists() (и вообще ВСЁ - от процедур поиска до TStream) работают не в UTF-8 а в системной однобайтной кодировке! (скорее всего CP1251). ФриПаскаль по умолчанию преобразует широкую строку в ансистроку в системной кодировке, т.е. надо писать:

FileExists('...Мои Документы...'); //молчаливое преобразование Wide -> Ansi
но
FileExists('... Мои Документы\' + Utf8Decode(Edit1.Text));
и
Edit1.Text:= Utf8Encode('...рузкий тегст...');

Я сейчас работаю в Лазаре 0.9.26, всё отлично работает - надо только не забывать заворачивать все присваивания строк визуальных компонентов в Utf8Encode/Utf8Decode.

>Перевели-бы уже RTL в UTF8 как и LCL, с тем чтобы эти функции общались с системой через UNICODE а не ANSI.
Стоп, стоп, стоп. А как же тогда поддержка Windows 98?

[alek111]

Стоп, стоп, стоп. А как же тогда поддержка Windows 98?

Во первых, WinNT и Win95/98 это две совершенно разные системы с похожим (но не одинаковым) API. Во вторых, если уж на то пошло, системная кодировка в WinNT - UTF-16, а в Win95/98 - ANSI. В третьих, для Win98 есть какая-то штука от MS которая позволяет использовать Wide-версии вызовов (кажется Unicode compatibility level, или что-то в этом роде). Следовательно RTL должен корректно распознавать эти моменты и использовать в каждом случае СИСТЕМНУЮ кодировку, а не затычку для совместимости со старыми системами, которые по сути не старые, а просто другие, но внешне похожие.

[Cheb]

>кажется Unicode compatibility level, или что-то в этом роде
MSLUI, емнип. И, кстати, я недавно ставил Win98 SP2 - на ней, на голой, уже поддержка юникода есть (вероятно входит в сервис-пак) - но за вычетом некоторых редких функций.

было:

Код: Выделить всё

          case msg.message of
            WM_KEYDOWN:
              begin
                scancode:= DivineScanCode(msg);
                numchars:=0;
                if MotherState.TextInput then begin
                  GetKeyboardState(@KeyboardState[0]);
                  numchars:=ToUnicode(msg.wparam, (msg.lParam shr 16) and $FF, @KeyboardState[0], @buff[0], 10, 0);
                end;

наткнувшись на эту багу пришлось добавить:

Код: Выделить всё

          case msg.message of
            WM_KEYDOWN:
              begin
                scancode:= DivineScanCode(msg);
                numchars:=0;
                if MotherState.TextInput then begin
                  GetKeyboardState(@KeyboardState[0]);
                  numchars:=ToUnicode(msg.wparam, (msg.lParam shr 16) and $FF, @KeyboardState[0], @buff[0], 10, 0);
                  if (NumChars = 0) and (MotherState.OS = ostWin9x) then begin
                    //Windows 98 doesn't have the Unicode support installed.
                    //  Assuming system locale to be Russian/Cyrillic CP1251
                    numchars:= ToAscii(msg.wparam, (msg.lParam shr 16) and $FF, @KeyboardState[0], @abuff[0], 0);
                    for i:=0 to numchars - 1 do
                      buff[i]:= Cp1251CharToWideChar(abuff[i]);
                  end;
                end;

[Sergei I. Gorelkin]

Наоборот, поддержка W-вариантов API там (во всех Win9x) есть у нескольких избранных функций. Остальные присутствуют в виде заглушек.