Utf-8 и J2me

Темы о Java и ее разновидностях типа J2me
Ответить
Phantom
Обсуждатель
Сообщения: 179
Зарегистрирован: Сб янв 05, 2008 12:01 pm
Контактная информация:

Utf-8 и J2me

Сообщение Phantom » Ср окт 08, 2008 4:43 am

Я вот сегодня узнал, что в java строки в unicode. А до этого думал, что в utf-8. Самое интересное, что джава сама приводит ASCII к юникоду. Предположим считываю я из ресурса текст побайтно и присваиваю байты строковой переменной. Каждый из байтов принимает в строке формат юникода. Например, пишем так:
String s=(char)0xff;
0xff - это русская буква "я". После компилирования в классе (если его тупо открыть в блокноте) можно будет найти эту букву "я" в кодировке unicode в виде двух байт (каких именно не помню, лень рассчитывать), для наглядности можно написать целый текст, примерно, так:
String s=(char)0xff+(char)0xda+(char)0xe1+(char)0x98+(char)0xfa+(char)0xa3+(char)0xa1+(char)0xf0;
То есть ещё на этапе компиляции все явно заданные строки конвертируются в unicode. Я хз, может я последний человек на земле, который всего этого не знал =) Но тему не для этого создал. Я поставил перед собой задачу написать функцию, которая сможет считывать файлы в utf-8. Сложностей оказалось две:
1) Utf-8 - мультибайтная кодировка текста, каждый символ которой кодируется последовательностью от 1 до 6 байт (в реальности используются только 1-4 байта, так как их хватает за глаза). А текст считывается из файла побайтно, а не посимвольно, что логично. Следовательно каждый символ надо при считывании собирать из последовательности байт, длину которой тоже надо на лету рассчитывать, а только потом конкатенировать к строке.
2) Собственно там же, на лету, надо ещё превести каждый символ к кодировке unicode.

Ну так вот. Заюзав это: http://ru.wikipedia.org/wiki/UTF-8 , написал функцию =)

Код: Выделить всё

 public static String read(String r){
   try{
    InputStream i=M.T.getClass().getResourceAsStream(r);
    StringBuffer s;
    s=new StringBuffer();
    int b1,b2,b3,b4;;
    while((b1=i.read())!=-1){
     if(b1<0x80){
      s.append((char)b1);
     }else if(b1>0xEF&&b1<0xF8){
      b2=i.read(); b3=i.read(); b4=i.read();
      s.append((char)((b1-0xf0)*0x40000+(b2-0x80)*0x1000+(b3-0x80)*0x40+b4-0x80));
     }else if(b1>0xDF){
      b2=i.read(); b3=i.read();
      s.append((char)((b1-0xE0)*0x1000+(b2-0x80)*0x40+b3-0x80));
     }else if(b1>0xbF){
      b2=i.read();
      s.append((char)((b1-0xC0)*0x40+b2-0x80));
     }else{
      s=null;
      break;
     }
    }
    i.close();
    return s.toString();
   }catch(Exception ex){
    return "";
   }
 }
Передаём ей в качестве параметра название ресурса вида /res.txt и функция возвращает его содержимое в виде строки =) Содержимое ресурса разумеется должно быть в utf-8. Ресурс весом в 40 килобайт мой сименс загружает за 711 милисекунд, то есть меньше секунды. А я, надо сказать, волновался по этому поводу, думал, что будет секунд 10 грузить =) Но даже с такими довольно неплохими результатами меня смущает мой код. Мне кажется, я лишнего там наворотил. Хочу спросить, можно ли как-то оптимизировать код? А то я в школе информатику не изучал, с байтами толком не работал, возможно, можно рассчёты как-то сократить?
- - -
P.S: M - это класс мидлет паскаля, я в виде либы для него писал. Через него обратился к getResourceAsStream().

Ответить

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и 5 гостей