Как использовать другие слои unicode

[kuksha]

Понадобились мне знаки не из базового слоя unicode U-XXXX, а из дополнительного: U-1XXXX.
Поскольку я ввожу знаки при помощи кодов, то способ

Код: Выделить всё

Form1.Knopka.Caption:=UTF8Encode(#$10140);

естественно не сработал: Illegal char constant

Как справиться?

[скалогрыз]

Понадобились мне знаки не из базового слоя unicode U-XXXX, а из дополнительного: U-1XXXX.

интересно зачем?!

Код: Выделить всё

Form1.Knopka.Caption:=UTF8Encode(#$10140);

естественно не сработал: Illegal char constant
Как справиться?

чтением литературы

UTF-16 (англ. Unicode Transformation Format) в информатике — один из способов кодирования символов из Unicode в виде последовательности 16-битных слов. Символы с кодами меньше 0x10000 (216) представляются как есть, а символы с кодами 0x10000—0x10FFFF — в виде последовательности двух 16-битных слов, первое из которых лежит в диапазоне 0xD800–0xDBFF, а второе — 0xDC00—0xDFFF.

т.е. $10140 кодируется так:

Код: Выделить всё


UTF8Encode(#$D800#$DD40);


вопрос в другом... поддерживает ли сама система суррогатные символы. Есть ли поддержка для них в шрифтах системы.

[kuksha]

kuksha писал(а):Понадобились мне знаки не из базового слоя unicode U-XXXX, а из дополнительного: U-1XXXX.
интересно зачем?!

Переводчик чисел разных народов и культур делаю.
http://krina.land.ru/Titlo/Titlo.dhtml
Вот решил на лазарус всё это перетащить. Как оказалось, греческие аттические цифры именно в первой плоскости юникода...

Насчёт "поддерживает ли сама система суррогатные символы" - в смысле операционка или лазарус?
"Есть ли поддержка для них в шрифтах системы" - в готовых шрифтах этих знаков нет, но не только их, к сожалению... приходится свой шрифт делать. А что будет с отображением знаков из других плокостей юникода даже при наличии их в шрифте - даже любопыто

Насчёт UTF16 догадывался, но вот как именно это сделать сам не додумался... Спасибо!

[скалогрыз]

Переводчик чисел разных народов и культур делаю.
http://krina.land.ru/Titlo/Titlo.dhtml
Вот решил на лазарус всё это перетащить. Как оказалось, греческие аттические цифры именно в первой плоскости юникода...

полезное дело. Как портируешь, смело впиши её сюда: http://wiki.freepascal.org/Lazarus_Application_Gallery

Насчёт "поддерживает ли сама система суррогатные символы" - в смысле операционка или лазарус?

например ОСь, может заменять суррогатные символы, в тексте кнопки, на какую-нибудь другую фигню.

"Есть ли поддержка для них в шрифтах системы" - в готовых шрифтах этих знаков нет, но не только их, к сожалению... приходится свой шрифт делать. А что будет с отображением знаков из других плокостей юникода даже при наличии их в шрифте - даже любопыто

скорее всего такие шрифты уже есть... но не факт, что бесплатные, но можно поискать.

Насчёт UTF16 догадывался, но вот как именно это сделать сам не додумался... Спасибо!

вот тебе функции в помощь. Code передаёшь U-код суррогата (код символа первого слоя), на выходе, получаешь строку нужного вида

Код: Выделить всё

function SurPair(code: LongWord): WideString;
var
  w : Word;
begin
  w:=word(code and $FFFF);
  SetLength(Result, 2);
  Result[1]:=WideChar($d800 or ((w shr 10) and $2FF));
  Result[2]:=WideChar($dc00 or (w and $2ff));
end;

function SurPairUtf8(code: LongWord): WideString;
begin
  Result:=UTF8Encode(SurPair(code));
end;


[Odyssey]

Код: Выделить всё

function SurPairUtf8(code: LongWord): WideString;


хмм, может быть так:

Код: Выделить всё

function SurPairUtf8(code: LongWord): string;


?
Не в упрёк, но ради справедливости

[kuksha]

О, функции как раз те, что надо. Благодарствую ещё раз.
Со шрифтами на самом деле очень плохо. Я уже при работе с базовой областью столкнулся - пришлось глифы самому рисовать... Даже наиболее полные Arial Unicose MS и Code2000 остановились на четвёртой версии юникода, если не раньше.

[скалогрыз]

хмм, может быть так:

Код: Выделить всё

function SurPairUtf8(code: LongWord): string;


?
Не в упрёк, но ради справедливости

Воистину SurPairUtf8 не может WideString возвращать!

и, наверное, лучше даже так:

Код: Выделить всё

function SurPairUtf8(code: LongWord): AnsiString;


а то мало ли... фанаты shortstring-ов...

[kuksha]

Наконец добрался до домашнего компа... Windows XP SP3, Lazarus 0.9.28.2. beta
Для начала переделал фонт, добавил знак 10140, вошёл в ворд, выбрал переделанный фонт и проверил Alt+65856 - напечаталось правильно.
Зашёл в лазарус и для начала просто напечатал
UTF8Encode(#$D800#$DD40)
Вместо ожидаемого знака - знаки вопроса
Ну функции пробовать уже не стал...

Зашёл в Дельфи 7 и ввёл ту же комбинацию - в ответ пустота (кнопка из компоненты TNTUnicode)

Вот такие пироги...

[Sergei I. Gorelkin]

Советчики, елы-палы...
Вот эта строка в функции SurPair w:=word(code and $FFFF); зачем? Мы кодируем 20 бит, а не 16.
Маска в двух следующих строках с какого перепуга получилась $2FF? 10 младших бит - это $3FF.

UTF-16 представление кода $10140 - будет #$D840#$DD40.

[скалогрыз]

Советчики, елы-палы...
Вот эта строка в функции SurPair w:=word(code and $FFFF); зачем? Мы кодируем 20 бит, а не 16.
Маска в двух следующих строках с какого перепуга получилась $2FF? 10 младших бит - это $3FF.

точно! всё так!

Код: Выделить всё

function SurPair(code: LongWord): WideString;
begin
  SetLength(Result, 2);
  Result[1]:=WideChar($d800 or ((code shr 10) and $3FF));
  Result[2]:=WideChar($dc00 or (code and $3ff));
end;


UTF-16 представление кода $10140 - будет #$D840#$DD40.

почему D840?

[Sergei I. Gorelkin]

$10140 shr 10 = $40
$40 or $D800 = $D840

[скалогрыз]

действительно! в нулях общитался!

[kuksha]

Не выходит каменный цветок...
#$D840#$DD40 - тоже не срабатывает. Я уже и unocode чарсет поставил для контрола и шрифт принудительно назначил...
Через функции тоже пробовал:

Код: Выделить всё

function SurPair(code: LongWord): WideString;
begin
  SetLength(Result, 2);
  Result[1]:=WideChar($d800 or ((code shr 10) and $3FF));
  Result[2]:=WideChar($dc00 or (code and $3ff));
end;
function SurPairUtf8(code: LongWord): AnsiString;
begin
  Result:=UTF8Encode(SurPair(code));
end;   

Кстати, печатаются ДВА знака вопроса... такое ощущение, что печатаются именно два символа вместо одного?

[скалогрыз]

странно. Может в системе не включена расширенная поддержка шрифтов?

у меня всё работает. Суррогатная пара воспринимается, как 1 символ (а не 2 неизвестных)

причём вывод делаю, как с помощью Canvas, так и с помощью стандартных контролов.

(в тесте в качестве кода, можно вводить не только суррогатные символы, но и hex код любого unicode символа)

[kuksha]

скалогрыз, извини, у меня тут с лазарусом неприятности случились, точнее с виндой наверное - не могу вообще ничего скомпилировать, в том числе твой пример...
Пока разгребаюсь, можешь выслать скомпилированный экзешник?