Сжатие и распаковка файлов через GZipStream

[Gleb]

Здравствуйте! Возникла проблема при использовании System.IO.Compression.GZipStream: Сжатие потока происходит корректно, а вот распаковка никак не удаётся. Вот код для сжатия:

begin
Var Compressed:=System.IO.File.Create('Compressed.gz');
Var C:=new GZipStream(Compressed, System.IO.Compression.CompressionLevel.Fastest);
(System.IO.File.OpenRead('Data.dat')).CopyTo(C);
end.

Как распаковать такой файл? При этом для распаковки не желательно использовать внешний файл(для распакованных данных).

[Sun_Serega]

А у меня и сжатие не проходит.

begin
  var Compressed := System.IO.File.Create('Compressed.gz');
  var C := new System.IO.Compression.GZipStream(Compressed, System.IO.Compression.CompressionLevel.Fastest);
  (System.IO.File.OpenRead('json.txt')).CopyTo(C);
  Compressed.Flush;
end.

Создаёт Не читающийся архив.

Причём файла который я запаковывал, как видите, в нём нет.

[Gleb]

Он и не должен читаться обычным архиватором. Это просто данные, сжатые по определённому алгоритму, не содержащие данных о исходном файле. То есть сжать так несколько файлов невозможно. Для распаковки используется GZipStream.

[Sun_Serega]

Надо использовать C.Flush, похоже, вместо Compressed.Flush. Теперь хотя бы запаковалось. И кстати архиватор всё ещё читает этот файл без проблем. Ну разве что имя и расширение отсутствуют)). Ну то есть, я так понял, и все данные типа жанра .mp3 файлов тоже сотрёт.

[Sun_Serega]

Вот так работает:

function ReadGZip(C: System.IO.Compression.GZipStream): sequence of byte;
begin
  while true do
  begin
    var i := C.ReadByte;
    if i = -1 then break;
    yield i;
  end;
end;

begin
  
  var Compressed := System.IO.File.Create('Compressed.gz');
  var C := new System.IO.Compression.GZipStream(Compressed, System.IO.Compression.CompressionLevel.Fastest);
  (System.IO.File.OpenRead('json.txt')).CopyTo(C);
  C.Close;
  Compressed.Close;
  
  Compressed := System.IO.File.OpenRead('Compressed.gz');
  C := new System.IO.Compression.GZipStream(Compressed, System.IO.Compression.CompressionMode.Decompress);
  var a := ReadGZip(C).ToArray;
  System.IO.File.WriteAllBytes('json copy.txt', a);
  
end.

[Gleb]

Вроде всё понял, но что такое yield? А правильность файла после распаковки проверяли? То есть, совпадает ли содержимое распакованного файла и оригинала.

[Sun_Serega]

Фунции с yield это особые функции для создания последовательностей - алгоритмов. К примеру:

function f1:sequence of byte;
begin
  loop 10 do yield Random(256);
end;

begin
  var seq := f1();
  writeln(seq);
  writeln(seq);
end.

Выпишет 2 разных массива, потому что в seq хранится только алгоритм. Ну а в данном случае я использовал это только потому что заранее не известно количество байт. Я не уверен быстрее ли это чем список, но хотя бы удобнее. Почитайте справку про yield и yield sequence.

И да, я проверил - распаковка дала точную копию исходного файла.

[Gleb]

Спасибо! Если что, то это нужно для оптимизации хранения данных небольшой нейросети для распознавания рукописных цифр. Как доделаю - смогу здесь показать.

[Sun_Serega]

Я не уверен быстрее ли это чем список

Нет, я декомпилировал - ToArray в данном случае просто перебирает всю последовательность до конца, с помощью foreach и добавляет каждый элемент в списк-о-подобный класс (алгоритм добавления элементов тот же что и в List). Так только много лишних объектов создаёт и уничтожает (функция с yield это на самом деле тоже класс, она превращается в function f1:sequence of byte := new clyield#1, а потом ещё много классов - обёрток передают друг другу своё содержимое, при вызове ToArray).

[Gleb]

Объём данных у меня небольшой, порядка 40-45 КБ, поэтому скорость выполнения этой части кода будет составлять единицы миллисекунд. А вообще, благодаря Вашему примеру я нашёл у себя в коде ошибку, из-за которой распаковка происходила некорректно. Проблема проста: нужно всего лишь закрывать потоки.

[NRA]

Как говорится, в простых вещах вроде похода за хлебом в магазин нестандартно креативное мышление чаще всего бывает лишним, поэтому интересует пример сжатого файла как пака внешних разнотипных ресурсов (графика, звуки, текст), а если с доступом по паролю - вообще супер)

Эх, сначала думал, что глюк Диспетчера задач, проблема со счётчиками доступной памяти или нюансы со строками, а оказывается, что врождённый overhead классов платформы .NET + выравнивание адресов памяти и прочие ноу-хау раздувают крупные массивы данных в 3-5 и более раз. Поиски в сети подтвердили такой момент, но в основном сходятся, что это плата за готовенькие “вкусняшки”, как вынужденное зло “под ключ”, а для экономии нужно либо разбивать/масштабировать, использовать другие соответствующие решения (вплоть до C/Cpp), либо же писать свои “велосипедные” структуры…

Вряд ли я первый, поэтому интересует есть ли готовые упакованные структуры? Или как насчёт сжатия словаря или списка на миллион записей в памяти с индексной распаковкой “на лету” - пусть даже с подтормаживанием, не особо вариант?

[Sun_Serega]

Лично в паскаля для решения этих вопросов ничего нет. Ищите .dll-ки для .Net с нужным вам функционалом. Или сделайте сами, делать велосипеды не так больно, как это обычно изображают)) Ну а если серьёзно - это после изучения всех путей к магазину креативное мышление ни к чему. А пока есть варианты - может найтись какой то путь получше основной дороги. В общем сделать пару велосипедов в области которая вам нужна, но не до конца понятна - на самом деле полезно.