Спец курс (Автоматизация процесса проектирования)/Практические задания 4
Перед выполнение ознакомиться с правилами оформления задания
Описание входного файла
- log-файлы для выполнения заданий находятся в архиве Файл:Run bash lab4.zip
run.log
Входной файл для задач представляет собой лог пакетов данных, передаваемых по PCIe протоколу между Host`ом и Device`ом. Поверх PCIe протокола передаются пакеты с командами и данными другого протокола - NVMe. Задания направлены на то, чтобы провести дополнительную обработку данных в логе, чтобы улучшить читаемость данных и ускорить анализ NVMe протокола.
Рассмотрим основные позиции в лог файле на следующем примере:
- В столбце 1 буквы T и R озаначают направление передачи данных, от хоста к девайсу (T) и от девайса к хосту (R) соответственно.
- В столбце 2 задаётся тип пакета: запрос на запись (MWr32, MWr64), запрос на чтение (MRd32, MRd64), ответ на запрос чтения (CplD).
- В столбце 3 задаётся номер запроса/ответа. Для запроса и ответа на него данный номер должен совпадать, как в примере.
- В поле 4 для запроса на запись или чтение будет указан адрес.
- В поле 5 для ответов на запрос чтения указывается количество байт. Для NVMe команд данное поле равно 64 байт.
- В поле 6 указывается количество двойных слов (4 байта) которые нужно прочитать или записать, в зависимости от запроса.
- В поле 7 указываются передаваемые данные. Данные записаны младшим байтом вперёд. Подробнее об этом описано в задании 1.
run.info
Дополнительный файл, который требуется в некоторых заданиях, содержит информацию о некоторых конфигурационных параметрах.
Общие требования к интерфейсу программ
- первый параметр обязательный - имя входного файла (может содержать путь к файлу). Если этот параметр не задан, то вывести сообщение о том, как использовать программу (usage)
- второй параметр необязательный - имя выходного файла. Если параметр не задан, то сформировать имя выходного файла из имени входного по шаблону: <имя_вх_файла>_out.<расширение_вх_файла>.
- Для заданий 2-6 добавить необязательный параметр, который может быть расположен вторым или третьим. Формат параметра "-info=<имя_файла>". Данный параметр использовать для передачи имени и пути к файлу run.info. Если этот файл не задан в командной строке, то использовать имя по умолчанию run.info.
Если входной файл не может быть открыт, либо выходной файл не может быть создан (если задан неправильный путь в командной строке), то вывести соответствующее сообщение об ошибке.
Задание 1. Разворот байт
Во входном файле (лог файл) строки с пометкой "(D)" включают данные - от одного до четырёх двойных слов (двойное слово (DWord) - 32 двоичных разряда, далее DW), заданных в шестнадцатеричной форме. Например:
0 (D) 80000d00 02000000 00000000 00000000 Some comments
Задача развернуть байты в каждом DW`е, как показано ниже
0 (D) 000d0080 00000002 00000000 00000000 Some comments
После данных в строке могут быть какие-либо текстовые комментарии, их необходимо перенести без изменений.
В файле есть строки с данными со слово "LittleEndian", в которых уже проведено данное преобразование, поэтому их не следует изменять. Например:
0 (D) 8020c011 LittleEndian
Остальные строки из входного файла перенести в выходной без изменений.
Задание 2. Распознавание Admin команд
Обработать входной лог файл, найти в логе пакеты с данными, которые задают NVMe команду и дополнить соответствующие строки с данными расшифровкой, записав в строке после данных имена и значения полей команды.
Пакет данных относящийся к команде имеет размер 64 байта, в заголовке пакета должно быть BC:0064. После строки заголовка следует 4 строки с данными, где в первом столбце - номер DWord`а данных пакета, второй столбец - маркер данных "(D)".
test_top 203865.00 203869.00 R MRd32 0x0100/01 355 0 0 0 0 0 0x40008080 f f 16 (H) 00008010 010001ff 40008080 ---- 0x3191b2b4 0xf87188a test_top 203897.00 203917.00 T CplD 0x0100/01 182 0 0 0 0 0 ID:0xffff Stat:SC BC:0064 16 (H) 4a008010 ffff0040 01000100 ---- 0 0xa94d0d83 0x37e1b7df 0 (D) 01000400 02000000 00000000 00000000 4 (D) 00000000 00000000 00900140 00000000 8 (D) 00c00140 00000000 0a000000 00000000 12 (D) 01000000 00000000 00000000 00000000
Данные в логе записываются слева направо - с младшего адреса. В приведённом примере байт 0 нулевого DWord`а равень 01, второй байт - 00, третий 04, четвертый байт - 00 и т.д. Далее идут четыре DWorda данных от младшего к старшему.
Расшифровка команды в спецификации NVMe 1.2.
- Figure 10: Command Dword 0
Bit | Description | ||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|
31:16 | Command Identifier (CID): This field specifies a unique identifier for the command when combined with the Submission Queue identifier. | ||||||||||
15:14 | PRP or SGL for Data Transfer (PSDT): This field specifies whether PRPs or SGLs are used for any data transfer associated with the command. PRPs shall be used for all Admin commands for NVMe over PCIe. SGLs shall be used for all Admin and I/O commands for NVMe over Fabrics. This field shall be set to 01b for NVMe over Fabrics 1.0 implementations. The definition is described in the table below.
If there is metadata that is not interleaved with the logical block data, as specified in the Format NVM command, then the Metadata Pointer (MPTR) field is used to point to the metadata. The definition of the Metadata Pointer field is dependent on the setting in this field. Refer to Figure 11. | ||||||||||
13:10 | Reserved | ||||||||||
09:08 | Fused Operation (FUSE): In a fused operation, a complex command is created by “fusing” together two simpler commands. Refer to section 4.10. This field specifies whether this command is part of a fused operation and if so, which command it is in the sequence.
| ||||||||||
07:00 | Opcode (OPC): This field specifies the opcode of the command to be executed. |
- Figure 11: Command Dword 0-15: Command Format – Admin Command Set
Bytes | Description | ||||||
---|---|---|---|---|---|---|---|
03:00 | Command Dword 0 (CDW0): This field is common to all commands and is defined in Figure 10. | ||||||
07:04 | Namespace Identifier (NSID): This field specifies the namespace that this command applies to. If the namespace is not used for the command, then this field shall be cleared to 0h. Setting this value to FFFFFFFFh causes the command to be applied to all namespaces attached to this controller, unless otherwise specified.
Specifying an inactive namespace ID in a command that uses the namespace ID shall cause the controller to abort the command with status Invalid Field in Command, unless otherwise specified. Specifying an invalid namespace ID in a command that uses the namespace ID shall cause the controller to abort the command with status Invalid Namespace or Format, unless otherwise specified. | ||||||
15:08 | Reserved | ||||||
23:16 | Metadata Pointer (MPTR): This field is valid only if the command has metadata that is not interleaved with the logical block data, as specified in the Format NVM command. This is a reserved field in NVMe over Fabrics.
If CDW0.PSDT is set to 00b, then this field shall contain the address of a contiguous physical buffer of metadata and shall be Dword aligned. If CDW0.PSDT is set to 01b, then this field shall contain the address of a contiguous physical buffer of metadata and shall be byte aligned. If CDW0.PSDT is set to 10b, then this field shall contain the address of an SGL segment containing exactly one SGL Descriptor and shall be Qword aligned. If the SGL segment is a Data Block descriptor, then it describes the entire data transfer. Refer to section 4.4. | ||||||
39:24 | Data Pointer (DPTR): This field specifies the data used in the command.
If CDW0.PSDT is set to 00b, then the definition of this field is:
If CDW0.PSDT is set to 01b or 10b, then the definition of this field is:
| ||||||
43:40 | Command Dword 10 (CDW10): This field is command specific Dword 10. | ||||||
47:44 | Command Dword 11 (CDW11): This field is command specific Dword 11. | ||||||
51:48 | Command Dword 12 (CDW12): This field is command specific Dword 12. | ||||||
55:52 | Command Dword 13 (CDW13): This field is command specific Dword 13. | ||||||
59:56 | Command Dword 14 (CDW14): This field is command specific Dword 14. | ||||||
63:60 | Command Dword 15 (CDW15): This field is command specific Dword 15. |
- Figure 40: Opcodes for Admin Commands
Opcode by Field | Combined Opcode2 | O/M1 | Namespace Identifier Used3 | Command | ||
---|---|---|---|---|---|---|
(07) | (06:02) | (01:00) | ||||
Generic Command | Function | Data Transfer4 | ||||
0b | 000 00b | 00b | 00h | M | No | Delete I/O Submission Queue |
0b | 000 00b | 01b | 01h | M | No | Create I/O Submission Queue |
0b | 000 00b | 10b | 02h | M | Yes | Get Log Page |
0b | 000 01b | 00b | 04h | M | No | Delete I/O Completion Queue |
0b | 000 01b | 01b | 05h | M | No | Create I/O Completion Queue |
0b | 000 01b | 10b | 06h | M | Yes | Identify |
0b | 000 10b | 00b | 08h | M | No | Abort |
0b | 000 10b | 01b | 09h | M | Yes | Set Features |
0b | 000 10b | 10b | 0Ah | M | Yes | Get Features |
0b | 000 11b | 00b | 0Ch | M | No | Asynchronous Event Request |
0b | 000 11b | 01b | 0Dh | O | Yes | Namespace Management |
0b | 001 00b | 00b | 10h | O | No | Firmware Commit |
0b | 001 00b | 01b | 11h | O | No | Firmware Image Download |
0b | 001 01b | 00b | 14h | O | Yes | Device Self-test |
0b | 001 01b | 01b | 15h | O | Yes | Namespace Attachment |
0b | 001 10b | 00b | 18h | NOTE 5 | No | Keep Alive |
0b | 001 10b | 01b | 19h | O | Yes | Directive Send |
0b | 001 10b | 10b | 1Ah | O | Yes | Directive Receive |
0b | 001 11b | 00b | 1Ch | O | No | Virtualization Management |
0b | 001 11b | 01b | 1Dh | O | No | NVMe-MI Send |
0b | 001 11b | 10b | 1Eh | O | No | NVMe-MI Receive |
0b | 111 11b | 00b | 7Ch | O | No | Doorbell Buffer Config |
0b | 111 11b | 11b | 7Fh | O | Refer to the NVMe over Fabrics specification. | |
I/O Command Set Specific | ||||||
1b | na | NOTE 4 | 80h – BFh | O | I/O Command Set specific | |
Vendor Specific | ||||||
1b | na | NOTE 4 | C0h – FFh | O | Vendor specific | |
NOTES:
|
- Figure 41: Opcodes for Admin Commands – NVM Command Set Specific
Opcode (07) | Opcode (06:02) | Opcode (01:00) | Opcode2 | O/M1 | Namespace Identifier Used3 | Command |
---|---|---|---|---|---|---|
Generic Command | Function | Data Transfer4 | ||||
1b | 000 00b | 00b | 80h | O | Yes | Format NVM |
1b | 000 00b | 01b | 81h | O | NOTE 5 | Security Send |
1b | 000 00b | 10b | 82h | O | NOTE 5 | Security Receive |
1b | 000 01b | 00b | 84h | O | No | Sanitize |
NOTES:
|
Например, строка с первыми четырьмя DWord`ами:
0 (D) 01000400 02000000 00000000 00000000
должна быть преобразована согласно таблицы 10 и 11 в следующую строку:
0 (D) 01000400 02000000 00000000 00000000 CMD=01, FUSE=00, PSDT=PRP, CID=0004, NSID=2
Распознавание Admin и IO команд
Для того чтобы определить админ команду нужно, проверить адрес по которому читается пакет данных. Диапазон адресов для админ команд необходимо прочитать из файла run.info:
118245000.00 ps 8 H00/C01 Reg Write (AQA) 0x0000_0024, 0x00ed_0001/4B ACQS=237, ASQS=1 118245000.00 ps 8 H00/C01 Reg Write (ACQ) 0x0000_0030, (see ACQ)/8B ACQ=0x0000_0000_4000_0000 118274000.00 ps 9 H00/C01 Reg Write (AQA) 0x0000_0024, 0x00ed_00b8/4B ACQS=237, ASQS=184 118274000.00 ps 9 H00/C01 Reg Write (ASQ) 0x0000_0028, (see ASQ)/8B ASQ=0x0000_0000_4000_1000
- Поле ACQ=0x0000_0000_4000_0000 - содержит адрес начала диапазона (hex)
- Поле ACQS=237 - содержит количество команд в диапазоне (по 64 байта) (dec). Размер диапазона 237 * 64 = 15168 (0х3B40)
Данные поля могут содержаться в нескольких строчках, следует использовать последнее встречающееся значение.
Для данного примера админ команды должны лежать в диапазоне от 0х4000_0000 до 0х4000_3B3F (включительно). Таким образом, в приведённом выше примере адрес 0x40008080 запроса на чтение команды не попадает в этот диапазон, что означает, что это не админ команда, а IO команда.
В данном задании нужна расшифровка следующих полей:
- DW0: CID, PSDT, FUSE, OPC
- DW1: NSID,
- DW4-5: MPTR
- DW6-7: PRP1
- DW8-9: PRP2
Задание 4. Распознавание Admin команд Identify, Format
Как определить Admin команды описано в задании 2
Identify
Админ команда Identify использует поля PRP Entry 1, PRP Entry 2, и DW 10. Все остальные поля не используются. В таблицах на Figure 86-89 в спецификации NVMe 1.2 дана расшифровка используемых полей.
- Figure 87: Identify – PRP Entry 1
- Figure 88: Identify – PRP Entry 2
- Figure 89: Identify – Command Dword 10
- Figure 86: Identify – Data Structure Returned
Для команды Identify нужна расшифровка следующих полей:
- DW10: CNTID, CNS
Format
Команда Format NVM использует поля в Command Dword 10, которые описаны в таблице
- Figure 138: Format NVM – Command Dword 10
Для команды Format нужна расшифровка следующих полей:
- DW10: SES, PIL, PI, MS, LBAF
Задание 3. Распознавание IO команд
Как определить IO команды описано в задании 2
Расшифровка значений кода команды (DW0.OPC) дана в таблице:
- Figure 149: Opcodes for NVM Commands
Opcode by Field | Combined Opcode2 | O/M1 | Command3 | ||
---|---|---|---|---|---|
(07) | (06:02) | (01:00) | |||
Standard Command | Function | Data Transfer5 | |||
0b | 000 00b | 00b | 00h | M | Flush |
0b | 000 00b | 01b | 01h | M | Write |
0b | 000 00b | 10b | 02h | M | Read |
0b | 000 01b | 00b | 04h | O | Write Uncorrectable |
0b | 000 01b | 01b | 05h | O | Compare |
0b | 000 10b | 00b | 08h | O | Write Zeroes |
0b | 000 10b | 01b | 09h | O | Dataset Management |
0b | 000 11b | 01b | 0Dh | O4 | Reservation Register |
0b | 000 11b | 10b | 0Eh | O4 | Reservation Report |
0b | 001 00b | 01b | 11h | O4 | Reservation Acquire |
0b | 001 01b | 01b | 15h | O4 | Reservation Release |
Vendor Specific | |||||
1b | na | NOTE 5 | 80h – FFh | O | Vendor specific |
NOTES:
|
В данном задании нужна расшифровка следующих полей:
- DW0: CID, PSDT, FUSE, OPC
- DW1: NSID,
- DW4-5: MPTR
- DW6-9:
- PRP1, PRP2 - если DW0.PSDT = 00b
- SGL1 - если CDW0.PSDT = 01b или 10b
Задание 5. Распознавание полей IO Read команды
Как определить IO команды описано в задании 2
Команда IO Read использует DW 10, DW 11, DW 12, DW 13, DW 14, и DW 15 fields. Если команда использует PRPs для передачи данных (DW0.PSDT=00b), тогда используются поля Metadata Pointer, PRP Entry 1, и PRP Entry 2. Если команда использует SGL (DW0.PSDT=01b или 10b) для передачи данных, то в этом случае задействованы поля Metadata SGL Segment Pointer и SGL Entry 1.
- Figure 170: Read – Metadata Pointer
Bit | Description |
---|---|
63:00 | Metadata Pointer (MPTR): This field contains the Metadata Pointer, if applicable. Refer to Figure 11 for the definition of this field. |
- Figure 171: Read – Data Pointer
Bit | Description |
---|---|
127:00 | Data Pointer (DPTR): This field specifies where data is transferred to. Refer to Figure 11 for the definition of this field. |
- Figure 172: Read – Command Dword 10 and Command Dword 11
Bit | Description |
---|---|
63:00 | Starting LBA (SLBA): This field indicates the 64-bit address of the first logical block to be read as part of the operation. Command Dword 10 contains bits 31:00; Command Dword 11 contains bits 63: 32. |
- Figure 173: Read – Command Dword 12
Bit | Description |
---|---|
31 | Limited Retry (LR): If set to ‘1’, the controller should apply limited retry efforts. If cleared to ‘0’, the controller should apply all available error recovery means to return the data to the host. |
30 | Force Unit Access (FUA): This field indicates that the data read shall be returned from non-volatile media. There is no implied ordering with other commands. |
29:26 | Protection Information Field (PRINFO): Specifies the protection information action and check field, as defined in Figure 196. |
25:16 | Reserved |
15:00 | Number of Logical Blocks (NLB): This field indicates the number of logical blocks to be read. This is a 0’s based value. |
- Figure 174: Read – Command Dword 13
Bit | Description | |||||||||||||||||||||||||||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
31:08 | Reserved | |||||||||||||||||||||||||||||||||||||||||||||||
07:00 | Dataset Management (DSM): This field indicates attributes for the LBA(s) being read.
|
- Figure 175: Read – Command Dword 14
Bit | Description |
---|---|
31:00 | Expected Initial Logical Block Reference Tag (EILBRT): This field specifies the Initial Logical Block Reference Tag expected value. This field is only used if the namespace is formatted to use end-to-end protection information. Refer to section 8.3. |
- Figure 176: Read – Command Dword 15
Bit | Description |
---|---|
31:16 | Expected Logical Block Application Tag Mask (ELBATM): This field specifies the Application Tag Mask expected value. This field is only used if the namespace is formatted to use end-to-end protection information. Refer to section 8.3. |
15:00 | Expected Logical Block Application Tag (ELBAT): This field specifies the Application Tag expected value. This field is only used if the namespace is formatted to use end-to-end protection information. Refer to section 8.3. |
Для команды Read нужна расшифровка следующих полей:
- DW10-11: SLBA
- DW12: LR, FUA, PRINFO.PRACT, PRINFO.PRCHK, NLB
- DW13: DSM.Incompressible, DCM.SR, DCM.AL, DCM.AF
- DW14: EILBRT
- DW15: ELBATM, ELBAT
Задание 6. Распознавание полей IO Write команды
Как определить IO команды описано в задании 2
Команда IO Write использует поля, расположенные в DW 10, DW 11, DW 12, DW 13, DW 14, и DW 15. Если команда использует PRPs для передачи данных (DW0.PSDT=00b), тогда используются поля Metadata Pointer, PRP Entry 1, и PRP Entry 2. Если команда использует SGL (DW0.PSDT=01b или 10b) для передачи данных, то в этом случае задействованы поля Metadata SGL Segment Pointer и SGL Entry 1.
В следующих таблицах в спецификации на NVMe 1.2 дана расшифровка используемых полей
- Figure 192: Write – Metadata Pointer
- Figure 193: Write – Data Pointer
- Figure 194: Write – Command Dword 10 and Command Dword 11
- Figure 195: Write – Command Dword 12
- Figure 196: Write – Command Dword 13
- Figure 197: Write – Command Dword 14
- Figure 198: Write – Command Dword 15
Для команды Write нужна расшифровка следующих полей:
- DW10-11: SLBA
- DW12: LR, FUA, PRINFO.PRACT, PRINFO.PRCHK, NLB
- DW13: DSM.Incompressible, DCM.SR, DCM.AL, DCM.AF
- DW14: ILBRT
- DW15: LBATM, LBAT