дискусия о WideString

[debi12345]

Э, нет, у Вас какие-то неправильные сведения. utf-8 - совершенно полнофункциональный Юникод. Все, что можно представить в виде WideString, можно взаимно-однозначно представить и в виде utf-8.
============
Извиняюсь за невнятную писанину - конечно, я имел ввиду данные ограничения именно для Ansi ( 1-байтных кодировок ).

Кстати, WideString в том виде, как она есть сейчас, не позволяет работать с кодами > $FFFF. Я, правда, даже не знаю, что за языки используют такие коды.
============
Китайский, ясно дело. И, похоже, китайцы за бортом останутся, или придется ограничиться упрощенными вариатами алфавита (что и так имеет место ).
Тут в чем прикол - что тогда сразу придется обрабатывать все десятки тысят китайских иероглифов. "Обрабатывать" - значит писать перегруженные строковые операторы, строковые процедуры,... Чего только конверсия UTF8<->UTF(>2) стоит - только представьте размер и тормознутость этой процедуры конверсии ! Кончен, разумнее остановиться именно на упрощенном алфавите, которому двух байт вполне хватает.

[debi12345]

с 2.1.1 - там глючило по-другому, потом его тоже пофиксили, я оставил себе эти два компилятора, потому что задолбался их пересобирать. Но ни одним из них рабочая MSEIde программа не собирается...
===============
С 2.0.5 ( SVN )- все отлично.
Кстати, в MSEgui SVN есть патч для FPС - но WideString там фиксится для Linux, да и то для редчайшего случая.

[Sergei I. Gorelkin]

Чего только конверсия UTF8<->UTF(>2) стоит - только представьте размер и тормознутость этой процедуры конверсии ! Кончен, разумнее остановиться именно на упрощенном алфавите, которому двух байт вполне хватает.

Да нормально все с конверсией... 40 строк кода вместе с буферизацией и обработкой концов строк (файл packages/fcl-xml/src/xmlwrite.pp, процедура TXMLWriter.wrtChars). Оно почти в том же виде присутствует и в RTL (utf8decode/utf8encode), но без поддержки суррогатных пар. Надо бы собраться и ее туда в конце концов добавить...

[Attid]

как то не правельно отрезал переношу как могу =)
Иван Шихалев
Относительно кодовых страниц для Wide — я ж писал в статье… Не думаю, что в компилятор стоит добавлять непосредственную поддержку кучи кириллицы и других кодировок — их же до лешего.

shade

Не думаю, что в компилятор стоит добавлять непосредственную поддержку кучи кириллицы и других кодировок — их же до лешего.

Мое мнение не так однозначно.
С одной стороны я согласен, что встраивать все кодировки в компилятор не стоит.
С другой стороны, я считаю, что поддержка кодировок должна быть либо более широкой, либо.. её вообще не должно быть.
Как мне кажется что нет большой необходимости определять строковые константы (не только WideString) используя национальный алфавит - хотя для маленьких учебных задач и примеров будет полезно. Тут скорее нужно использовать модули для интернационализации типа gettext, а особых случаях можно обойтись UTF-8...

[Mirror]

Большинство китайских иероглифов имеют код меньше, чем $FFFF (хотя часть редкоиспользуемых и там есть, в моем gcharmap те, что дальше, отмечены как "Расширение B"; на практике, они действительно редкоиспользуются, у меня ни в одном шрифте их нет...).

[shade]

Florian Klaempfl добавил поддержку кириллицы не посредственно в компилятор: cp1251, cp866 и неизвестно кому нужная cp8859_5, а koi8-r видимо не углядел. Зато, кроме это он добавил опцию компилятора -Fm<codepage> для загрузки из файла <codepage>.txt. Файл должен находиться с исходниками (по опыту, по fpc -h: -Fm<x> load unicode conversion table from <x>.txt in the compiler dir)

Файлы с описанием кодовых таблиц можно найти на официальном сайте Unicode:
http://www.unicode.org/Public/MAPPINGS/
В частности KOI8-R: http://www.unicode.org/Public/MAPPINGS/ ... KOI8-R.TXT

[Иван Шихалев]

опцию компилятора -Fm<codepage> для загрузки из файла

Пожалуй, это самый правильный подход.

[shade]

Иван Шихалев
Я предположил в -Fm указывать путь к папке с таблицами кодировок и даже патч приложил. Если останется все как есть, то для реального использования этой фишки прийдется прописывать все нужные кодировки в конфиг файле, а так можно было бы создать каталог, прописать его в конфиге, а потом просто закидывать нужные таблицы в этот каталог - помоему так удобнее.

Пока молчат.

[Иван Шихалев]

А много ли их обычно надо? Две-три кириллицы, да встроенный UTF…

[shade]

Кстати в текущем варианте вообще неудобно, т.к. указывается название кодовой таблицы и компилятор ищет файл с именем <codepage>.txt только вместе с исходниками - положить его в какое-то другое место не возможно - получается, что нужно его таскать вместе с исходниками (хотя наверное это не так уж и плохо...).

[debi12345]

Кстати в текущем варианте вообще неудобно, т.к. указывается название кодовой таблицы и компилятор ищет файл с именем <codepage>.txt только вместе с исходниками - положить его в какое-то другое место не возможно - получается, что нужно его таскать вместе с исходниками (хотя наверное это не так уж и плохо...).

Народ, вы что - издеваетесь ? В чем проблема-то ? Уже 100 лет ка крешено.
UTF-8 редактор в зубы (Lazarus, MSEide,...), выставляем кодировку текста UTF8 - и компилируем с опцией "-Fcutf8". И забудете о страшных словах "кодировка" и "локаль".

Кстати, в связи с необходимостью срочного убирания багов WideString в FPC 2.2, возникла следуюшая ситуация :

Код: Выделить всё

While Lazarus breakage is considered more urgent by several people, it
doesn't get a different treatment; if we have to break it to make the
compiler bug free, we will. (And we just did a short while ago to fix a
property bug.)


Не самый лучший английский, прямо скажем. Вкратце :

Код: Выделить всё

Если ради устранения багов компилятора придется поломать Лазарус - мы это сделаем


Запасаемся терпением

[shade]

Ну не нравиться мне ни Lazarus ни тем более MSEide, хочу альтернативы, т.е. Свободы Выбора!

[debi12345]

Ну не нравиться мне ни Lazarus ни тем более MSEide, хочу альтернативы, т.е. Свободы Выбора!

В системной локали UTF8, MidnightCommander ( недавние версии ) тоже умеет редактировать в этой кодировке.

А что Вам еще нужно для свободы ? Есть такая утиллита - ICONV, любой текст перекодирует. Куда еще свободнее ?

ПС:
В Линуксе, надо постепенно уходить от анахронизма KOI8, раз эта ОС ( в отличие от "гэйм-шелла" ) предоставляет отличные альтернативы, концептуально снимающие все "проблемы".

[Replicator]

Notepad++ и редактирует в UTF-8 и перекодирует в UTF-8.