Metroid Prime 3: Corruption / PAK

Материал из ConsolWiki

PAK представляет собой контейнер (архив) для хранения файлов с возможностью использования сжатия. В качестве алгоритма сжатия используется LZO.
Каждый блок данных в файле выровнен по размеру «слова» 64 байта.

Структура файла

Секции

В архиве имеется несколько типов секций:

Перед началом таблицы секции указано количество записей в ней. В игре всегда используется три секции.
Запись таблицы секций выглядит так:

struct SectionRecord
{
    char   name[4];
    uint32 offset;
};

SectionRecord = packed record
begin
    name:   Array[0..3] of Char;
    offset: LongWord;
end;

Секции следуют друг за другом, их размеры округляются до 64-х байт из-за выравнивания. Смещение секции можно вычислить по сумме размеров заголовка, таблицы секций и предыдущих секций с учётом выравнивания.

Секция STRG

В начале секции находится 4 байта, в которых хранится количество заданных имён. Далее следует соответствующее количество записей вида:

struct NameRecord
{
    char  name[];
    char  type[4];
    uint8 hash[8];
};

1. ↑ Удобно использовать в качестве префикса или расширения имени файла.

Имена подавляющего большинства файлов в архивах не указаны, вместо этого для обращения к ним используется хеш имени. Хеш-функция не известна.

Секция RSHD

В начале секции находится 4 байта, в которых хранится количество файлов в контейнере. Далее следует соответствующее количество записей вида:

struct FileRecord
{
    uint32 packed;
    char   type[4];
    uint8  hash[8];
    uint32 size;
    uint32 offset;
};

FileRecord = packed record
begin
    fpacked: LongWord;
    ftype:   Array[0..3] of Char;
    hash:    Array[0..7] of Byte;
    size:    LongWord;
    offset:  LongWord;
end;

1. ↑ Если true (не равен нулю) - то сжатие используется, в противном случае - нет.
2. ↑ Можно рассматривать ещё и как ключ для связи с записями в секции имён.
3. ↑ Указан размер данных в том виде, в котором они хранятся в контейнере. Если файл сжат, то размер исходных данных указан в заголовке сжатых данных.

Секция DATA

В секции DATA хранятся непосредственно данные файлов в запакованном или исходном виде, в зависимости от того, указана ли компрессия в записи файла. Как и все данные, данные файлов выравниваются по размеру 64 байта.

Сжатые файлы

Заголовок сжатого файла имеет следующий вид:

struct CompressedHeader
{
    char   signature[4];
    uint32 type;
};

Заголовок потока сжатых данных выглядит таким образом:

struct StreamHeader
{
    unsigned flags    : 8;
    unsigned lzo_size : 24;
    uint32   file_size;
};

Сами сжатые файлы встречаются двух типов, при чём второй в игре используется только для текстур. Если в качестве типа архива указан 1, то используется первый, если 2 - то второй.

Тип 1

Структура сжатого файла первого типа выглядит так:

struct CompressedFileType1
{
    CompressedHeader compressed_header;
    StreamHeader     stream_header;
    uint8            stream_data[stream_header.lzo_size];
}

Тип 2

Второй тип сжатых файлов позволяет хранить некоторое количество данных из начала файла в несжатом виде. Таким образом можно, например, считывать заголовки файлов не прибегая к распаковке.
Структура сжатого файла второго типа выглядит так:

struct CompressedFileType2
{
    CompressedHeader compressed_header;
    uint32           unknown_1;             // size of uncompressed data?
    uint32           unknown_2;             // offset of compression start in file?
    uint8            uncompressed_data[12]; // uncompressed_data[unknown_1] ???
    StreamHeader     stream_header;
    uint8            stream_data[stream_header.lzo_size];
}

1. ↑ Исходя из того, что первые 12 байтов не запакованы, то можно предположить, что это как раз и есть размер этих данных.
2. ↑ Скорей всего, это смещение в файле, с которого начинается сжатие данных. Как ещё один вариант - это отступ до заголовка потока запакованных данных.
3. ↑ Если предыдущие предположения верны - то он указан в одном из предыдущих неизвестных значений.

Флаги

Поток сжатых данных

Поток сжатых данных состоит из множества блоков вида:

Структуру можно изобразить так:

Блоки данных кончаются тогда, когда суммарный размер содержащихся в них сжатых данных дойдёт до размера, указанного в заголовке потока сжатых данных. Как вариант - когда размер распакованных данных дойдёт до указанного в заголовке размера, но первый вариант предпочтительней и безопасней.

Пример кода распаковки потока сжатых данных на C++:

while(stream_size > 0)
{
    in->read(&chunk_size, 2);
    stream_size -= 2;
    in->read(buf, chunk_size);
    stream_size -= chunk_size;
    lzo_decompress(in_buf, chunk_size, out_buf, &size);
    out->write(out_buf, size);
}