[решено] Чтение XML, запись XML

[Akaiten]

Encoding записывается только в случае, если QXmlStreamWriter пишет в QIODevice.

[SABROG]

Создаю xml через QXmlStreamWriter, в качестве устройства передаю QByteArray (он не QIODevice). Без явной установки кодировки получаю "UTF-8", при Windows-1251:

Код

C++ (Qt)
    ...
    xml.setCodec("Windows-1251");
    xml.setAutoFormatting(true);
    xml.writeStartDocument();
    ...
 

Получаю в xml - "Windows-1251". Qt 4.6.1. Всё работает.

[sergek]

Encoding записывается только в случае, если QXmlStreamWriter пишет в QIODevice

Создаю xml через QXmlStreamWriter, в качестве устройства передаю QByteArray (он не QIODevice)

Вот где собака порылась! Из трех конструкторов QXmlStreamWriter с параметрами QIODevice, QByteArray и QString я выбрал тот, который мне был понятнее (последний). А он-то и работает кривовато. Просто заменил строку     

Код:

    QString outXml;
    QXmlStreamWriter writer(&outXml);

   
на

Код:

    QByteArray outXml;
    QXmlStreamWriter writer(&outXml);

   
и что хотел, получил.
Спасибо!

[warlock]

Возможно ли обновлять xml файл без полной его перезаписи? Т.е. обновить какуето запись?

[sergek]

  Коллеги, еще вопрос, если позволите.
  Нет ли какой-нибудь особенности преобразования прописной русской буквы "И" из UTF-8 с помощью QTextCodec? Проблема следующая. Имеется файл примерно такой (скопировано из QTextEdit):

Код:

<?xml version="1.0" encoding="UTF-8"?>
<ED Acc="11111��1111111111111"/>

Там, где кракозябры - это две буквы "И".
  Я его загружаю с помощью QTextStream с отключенным автоопределением кодировки, затем перекодирую в Unicode с использованием кодека QTextCodec::codecForName("UTF-8"). Получаю

Код:

<?xml version="1.0" encoding="UTF-8"?>
<ED Acc="11111�?�?1111111111111"/>

Замечу, что остальные русские буквы перекодируются нормально. Более того, если исходный файл в KOI8-R, ISO-8859-5, windows-1251, то все буквы перекодируются нормально.
  Если читать этот же файл с использованием QXmlSimpleReader, то значение атрибута передается правильно:

Код:

Acc="11111ИИ1111111111111"

(попутно замечу, что этот класс совместно с QXmlStreamWriter - очень неплохое решение для работы с XML, так что вопрос, с чего начался топик, решен в их пользу, библиотека почти готова, затормозил на демонстрационном примере.)
  Кодеки ForTr, ForLocale, ForCStrings установлены в "windows-1251".
  Такое ощущение, что я что-то не понимаю (и не только я - топики с кодировками тут обширные, я их полистал).
 
  На всякий случай, некоторые куски кода:

Код:

    QTextCodec *cp1251 = QTextCodec::codecForName("windows-1251");
    QTextCodec::setCodecForTr(cp1251);
    QTextCodec::setCodecForLocale(cp1251);
    QTextCodec::setCodecForCStrings(cp1251);

            QTextStream stream(&file);
            stream.setAutoDetectUnicode(false);
            QString text=stream.readAll();
            // это исходный текст
            textEdit->append(text); 

        QByteArray xml;
        xml.append(text);
        QTextCodec *codec = QTextCodec::codecForName("UTF-8");
        // это перекодированный
        textEdit->append(codec->toUnicode(xml));  

[SABROG]

Код

C++ (Qt)
QTextCodec::setCodecForLocale(cp1251);
...
QTextStream stream(&file);
            stream.setAutoDetectUnicode(false);
...
QString text=stream.readAll();
...
QTextCodec *codec = QTextCodec::codecForName("UTF-8");
// это перекодированный
textEdit->append(codec->toUnicode(xml));

Что вижу я из этого кода. Ставим локаль в cp1251, открываем поток, который берет текущий кодек локали (cp1251) и отключаем определение кодировок UTF-16 и UTF-32 через BOM (который не добавляют большинство текстовых редакторов). В строчке с stream.readAll() в text текст попадает уже в юникоде. cp1251->Unicode 4.0
Затем мы берем строку text (которая у нас уже в Unicode 4.0) и добавляем в QByteArray. Выбираем кодек UTF-8 и ...: выполняем преобразование Unicode 4.0 в Unicode 4.0, обманывая кодек, сказав ему, что у нас там UTF-8.
Но UTF8/16/32 и т.д != Unicode. UTF - представление кодировки, где тот же английский текст записывается как один байт на символ, в то время как в Unicode отводится 2 байта на любой символ.

В какой бы ты кодировке не грузил файл через QTextStream содержимое будет всегда конвертироваться как cp1251->Unicode, так как ты сам выбрал кодировку для локали. И не важно в какой кодировке сам файл, QTextStream не умеет определять кодировки налету. Поэтому либо вызывай QTextStream::setCodec(), которому подставляй кодировку в которой у тебя файл, либо в конструктор подставляй QString, предварительно считав содержимое из файла (QFile) и преобразовав кодировку вручную.

[sergek]

В строчке с stream.readAll() в text текст попадает уже в юникоде. cp1251->Unicode 4.0

Верно.

Затем мы берем строку text (которая у нас уже в Unicode 4.0) и добавляем в QByteArray. Выбираем кодек UTF-8 и ...: выполняем преобразование Unicode 4.0 в Unicode 4.0, обманывая кодек, сказав ему, что у нас там UTF-8

А это не так. Вы пропустили пару строк из моего поста:

Код:

QByteArray xml;
xml.append(text);

При выполнении этой операции неявно используется метод QString::toAscii (), который, в свою очередь использует codecForCStrings(). У меня все кодеки одинаковые, поэтому должно выполняться обратное преобразование Unicode->cp1251, и в xml текст должен быть в честном UTF-8.
Для всех других русских букв, кроме "И" это выполняется, попробуйте.

QTextStream не умеет определять кодировки налету

Если есть BOM, то умеет.

В общем, пока причина непонятна. Но то, что мне нужно, я получил - просто выкинул QTextStream за ненадобностью:

QFile file(fileName);
file.open(QFile::ReadOnly | QFile::Text);
QByteArray xml=file.readAll();

Таким образом, взаимная перекодировка устранена, глюков нет.
Спасибо за подсказки.

[SABROG]

В общем, пока причина непонятна.

Возможно происходит что-то о чем сказано здесь:

Warning: Some codecs do not preserve the characters in the ASCII range (0x00 to 0x7F). For example, the Japanese Shift-JIS encoding maps the backslash character (0x5A) to the Yen character. To avoid undesirable side-effects, we recommend avoiding such codecs with setCodecsForCString().

Для проверки верни QTextStream и просто вызови QByteArray::append(). А потом сохрани его содержимое в файл.

Я никогда не использовал глобальную установку кодеков вручную и делать этого никогда не буду и никому не советую.

[sergek]

У меня все кодеки одинаковые, поэтому должно выполняться обратное преобразование Unicode->cp1251, и в xml текст должен быть в честном UTF-8

Причина, более-менее, понятна - в неэквивалентности прямых и обратных преобразований. Наверное, можно выстроить эти цепочки, но я сделал по-другому. XML-файл загружаю в QByteArray, сохраняя кодировку. Затем определяю кодировку этого файла, используя QXmlSimpleReader преобразую исходный текст честным кодеком (соответствующим кодировке) в unicode - для его просмотра и редактирования. Когда нужен исходный текст, выполняю обратное преобразование из unicode в первоначальную кодировку. В общем, решение очевидное.

Я никогда не использовал глобальную установку кодеков вручную и делать этого никогда не буду и никому не советую

Прокомментируйте, пожалуйста. Например, чем плох вариант:

Код:

    QTextCodec * codec = QTextCodec::codecForLocale();

    QTextCodec::setCodecForTr(codec);
    QTextCodec::setCodecForCStrings(codec);

[SABROG]

Слово "вручную" означало в данном контексте "жестко заданную". В то время как codecForLocale() автоматическая, это я использую в своих приложениях и то для нормального вывода отладочной информации в консоль.

А вот это явно лишнее. Кодировка исходников может не совпадать с кодировкой локали.

Код:

QTextCodec::setCodecForTr(codec);
QTextCodec::setCodecForCStrings(codec);

[sergek]

Еще вопрос. Для определения кодировки исходного xml-файла в обработчике QXmlSimplReader я делаю

Код:

class CUfebsHandler : public QXmlDefaultHandler
{...

bool CUfebsHandler::processingInstruction ( const QString & target, const QString & data ){
    encoding="UTF-8";
    if(target=="xml"){
        int pos=data.indexOf("encoding");
        if(pos>=0){
            encoding=data.mid(pos).section('\'',1,1).trimmed();
        }
    }
    return true;
}

Остается ощущение, что это велосипед. Нет ли стандартных средств?

[SABROG]

Остается ощущение, что это велосипед. Нет ли стандартных средств?

Есть. Все классы использующие QXmlInputSource автоматически определяют кодировку, если они не могут её определить, то используется UTF-8 или UTF-16.

[sergek]

Все классы использующие QXmlInputSource автоматически определяют кодировку

Я в этом и не сомневался А выдают ли они ее наружу? Как в обработчиках получить значение encoding из декларации?

[SABROG]

Не выдают. Кодек хранится в указателе d_ptr (QXmlSimpleReaderPrivate)  private секции класса QXmlSimpleReader. Достучаться можно унаследовав QXmlSimpleReader через using.

[sergek]

Коллеги! Проект (библиотека для работы с xml-документами определенного формата), в связи с которым я и начал этот топик, почти завершен. Если есть желание, можно ознакомиться с ним по ссылке:
http://get.freesoft.ru/?id=106788
Архив включает скомпилированный демонстрационный пример для Windows.

Если влом тянуть весь проект (4.6 Мб), можно ознакомиться с документацией на него (руководство программиста):
http://get.freesoft.ru/?id=106789

Надеюсь, что вы найдете там кое-что полезное, тем более, что я попытался выработать некоторый общий подход к решению подобных задач. Если кто-то не сочтет за труд это прочитать и высказать свои суждения, буду весьма признателен.

Со своей стороны прошу all поделиться функцией формирования суммы прописью, которую можно было бы включить в библиотеку. Собственно, у меня есть такая, но я не знаю автора, и неудобно включать ее во фриварный софт.