Coverage Cookbook/Executable Testplan Format/ru — различия между версиями

Текущая версия на 21:55, 20 мая 2013

Эта статья требует перевода на русский язык

A testplan is a document which captures the important features of a design and how they will be verified.

Motivation for Creating a Testplan

Functional Verification has been described as a major challenge in SoC Designs with many citing inadequate visibility into the verification process as a major factor contributing to this challenge. This lack of visibility impacts design quality, schedule predictability and cost (resource/tools/infrastructure). Typical questions that verification managers need answers to are: When are we done with verification? Are all critical requirements of the system verified? Are we using all verification resources adequately to meet project schedules?

By putting an executable plan in place that captures a prioritized list of our verification intent, we are able to do the following:

• Organize ourselves better. It is not possible to completely verify all states of a design however we can identify all critical, important and nice to have features, then put a plan in place where we ensure that all critical and some important features are fully verified within schedule. If schedule permits, other features can be verified as well
• During Day to Day execution of the Verification project, an executable plan can help give you insight into current status. Progress can now be tracked instantly because you can see exactly where you are relative to what you intended to verify. You can visualize this progress against Milestones, priority of feature, or even resource
• Helps manage function coverage closure as the project is being executed. Verification Engineers can focus their coverage closure efforts on the critical features that have been identified as holes, followed by important features and then by the nice to have features.

Создание тестового плана

Во многих случаях характеристики будут проверены в моделировании и записаны как проверенные, используя покрытие кода и функциональное покрытие. Тестовый план может также включать информацию о лаборатории и программное/аппаратное интеграционное тестирование. Для тестовых планов, которые включают в себя покрытие кода и функциональное покрытие, связь между тестовым планом и моделированием может быть автоматизирована. Чтобы выполнить тестовый план должен быть соблюден определенный формат документа. Формат, который Questa's Verification Management solution использует, описан ниже.

Запись тестового плана

Гибкость является ключевым фактором, когда речь идет о подключении тестового плана к симулятору. В случае Questa Verification Management существуют несколько различных форматов исходных документов. Единственным требованием является то, чтобы исходный документ можно было экспортировать в документ XML. Например, Microsoft Word, Microsoft Excel, OpenOffice Writer, OpenOffice Calc и Adobe FrameMaker могут легко вывести XML документ, который может быть обработан и сделан исполняемым. На самом деле, вполне приемлемо записать одну часть вашего тестового плана в Word, а другую в Excel. Эти различные секции могут быть затем объединены вместе, как описано ниже в разделе Повторное использование существующих тестовых планов.

Из различных вариантов входа таблицы являются наиболее распространенным и хорошо подходят типу данных, используемом в тестовом плане. Формат таблицы обеспечивает понятные и сжатые средства визуализации целей верификации. В остальной части этой статье будут описана необходимая информация для таблиц и как гибко добавлять дополнительную информацию для использования протяжении всего жизненного цикла тестового плана.

Содержание тестового плана

Запись требований к тестированию в план это процесс. Этот процесс определен в статье Спецификация для тестового плана. Процесс включает в себя тщательный анализ спецификаций, сотрудничество между архитектурными, проектными и верификационными командами и обзоры, помогающие убедиться, что ничего не упущено. Все требования, которые выходят из этого процесса должны быть записаны в тестовый план с некоторой необходимой структурой. Требуемая структура позволяет стать тестовому плану исполняемым и стать частью цикла верификации.

Требуемая структура плана

Для решения задачи верификации в Questa необходимо заполнить четыре различных параметра для записи каждого требования. Это Раздел, Название, Ссылка и Тип. Кроме того, другая информация понимается из box. Дополнительная информация по каждому требованию включает в себя Описание, Вес и Цель. Хотя эти дополнительные поля не являются обязательными, они используются в большинстве случаев. Questa's Verification Management solution также достаточно гибкая, что позволяет использовать поля, определенные пользователем.

Если мы посмотрим на обычно используемый формат полей в таблице, то можно заметить, что каждое поле представляет собой столбец в таблице.

Структура плана

Каждая строка в таблице соответствует требованию записанному в процессе создания тестового плана. Каждая колонка имеет особое значение в Questa's Verification Management solution.

Раздел и название

Столбцы Раздел и Название используются совместно для создания имен и иерархии в тестовом плане.

Раздел

Столбец раздел это, как правило, число, используемое для создания иерархии в рамках тестового плана и группы связанных с ним элементов тестового плана вместе в отношениями родитель/ребенок. В таблицах, пользователь отвечает за ввод этой информации. Обычно вы начнете нумерацию разделов с номера '1 'и продолжает последовательно. Подраздел этой секции будут обозначаться как "1,1" и так далее, где каждый дополнительный уровень иерархии будет представлен добавлением "." между номерами разделов.

Название

Столбец название используется для названий требований или особенностей проекта, которые должны быть верифицированы. Это название раздела тестового плана, которое появятся в Questa. Выбранное здесь имя должно иметь такое значение, чтобы оно было видимым во всем потоке.

Когда тестовый план экстрагируется Questa, он использует информацию из столбцов Раздел и Название для создания иерархического имени и уникальную метку для каждой строки тестового плана. Например, Раздел 1.1 будет иметь иерархическое имя /testplan/Parent_1/Child_1.

Описание

Столбец описание позволяет добавлять в таблицу более подробную информацию. Это могут быть ссылки на другие документы, чтобы позволить инженерам собирать больше информации или это может быть простое объяснение, почему эти требование нужны. Любой текст может быть записан в эту колонку. Технически это опционально, но на практике требование в тестовый план должны быть записаны в столбце Описание.

Ссылка и тип

Столбцы Ссылка и тип используются для указания покрытия кода или функционального покрытия элементов, которые будут связаны с требованиями. Требование может быть связано с несколькими различными метриками покрытия, включая метрики различных типов. Questa поддерживает ссылки на группы покрытия, точки покрытия, пересечения, утверждения, директивы покрытия, направленные тесты и типы метрик покрытия кода. Эти столбцы также позволяют импортировать другие тестовые планы, как описано в разделе Повторное использование существующих тестовых планов.

Ссылка

Это столбец, в котором вы указываете имя текущего объекта покрытия в базе данных покрытия, которая связана с соответствующий элементом тестового плана. Это может включать определенную группу покрытия, утверждение и т.д.

Тип

Это столбец, в котором вы указываете тип объекта покрытия, указанного в столбце Ссылка.

Вместе информация столбцов Ссылка и Тип используется для эффективного поиска соответствующих объектов покрытия в базе данных покрытия и создания связи между тестовым планом и определенными объектами покрытия. Эти столбцы дают возможность тестовому плану стать исполняемым.

Вес

В столбец Вес записывается целое число, которое отражает относительную важность текущего элемента тестового плана среди аналогичных элементов, в его родительский раздел тестового плана. Если не указано, то по умолчанию он равен 1. Когда покрытие для тестового плана вычисляется в Questa, которая использует "средневзвешенной" алгоритм расчета, эти веса учитывается. Для получения дополнительной информации о том, как Questa рассчитывает покрытие тестового плана смотрите документации на Questa Verification Management.

Кроме того, столбец Вес может быть использован для исключения частей тестового плана указанием его значения 0 для раздела/строки тестового плана, которые должны быть исключены.

Цель

В этом столбце указывается цель верификации для конкретного раздела тестового плана. Допустимые значения от 1 до 100, если не задано, то по умолчанию составляет 100. Questa использует эту информацию, чтобы определить точку, в которой раздел/элемент тестового плана считается покрытым. Это не зависит от того, каким образом рассчитывается покрытие.

Другие столбцы, используемые в Questa

Есть и другие специальные столбцы, которые могут быть использованы в покрытия тестового плана. Эти столбцы не являются обязательными, но если они присутствуют, то Questa использует их содержание.

Путь

При ссылке на конкретную группу покрытия, существует два варианта. Опционально полный иерархический путь к группе покрытия может быть добавлен в столбец Ссылка. Это работает очень хорошо, если только один элемент покрытия осуществляет доступ на этом уровне иерархии проекта. Однако, если несколько элементов покрытия в настоящее время связаны с таким же уровнем иерархии проекта, столбец Путь позволяет создать полностью квалифицированные ссылки для пути спецификации проекта, который будет добавлен в запись в столбце ссылка.

Нереализованные

Когда определяются тестовые планы, для требований является распространенным записываться туда, где соответствующие элементы покрытия еще не существует в тестовой программе или проекте. Чтобы справиться с этой ситуацией, требование может быть отмечено как нереализованное, добавив значение 'да' или число больше нуля в колонке Нереализованные. Это приведет к тому, что расчеты покрытия тестового плана точно отражают, что существует требование, которое еще не покрыто, показывая нулевое покрытие этого требования. По умолчанию предполагается, что покрытие требования реализовано, если этот столбец указан.

Столбцы определенные пользователем

Для обеспечения пользователям возможности записывать другую важную информацию, связанную с требованием, Questa's Verification Management solution позволяет использовать столбцы определенные пользователем. Это позволяет спецификации отслеживать все, что нужно. Он также может дать вам лучшую видимость в процессе верификации. Некоторые столбцы, которые обычно добавляют, включают требования, за которые инженер отвечает при тестировании и то, что является приоритетом требований или особенностью проекта.

Эти дополнительные столбцы помогают ответить на такие вопросы, как:

• Что я делаю с элементами высокого приоритета моего тестового плана?
• Где я относительно достижения этапов моего текущего проекта?
• Что я делаю в рамках моих ресурсов?

Таблица используемая в Примере функционального покрытия системного уровня добавляет Владелец и Приоритет как столбцы определенные пользователем.

Повторное использование существующих тестовых планов

Часто бывает полезно иметь возможность использовать существующие тестовые планы в другом контексте. Несколько общих ситуациях, когда это бывает полезным:

• Тестовые планы были разработаны на уровне блоков и должны быть включены в чип или тестовый план системного уровня.
• Тестовый план поставляется с частью IP или с верификацией IP. Например, протокол определенной верификации IP должен содержать полный тестовый план протокола, для обеспечения полной верификации протокола.
• Включение автоматически сгенерированных тестовых планов в наши подсистемы или в план SoC уровня. Например, для контроля над мощностью симуляций, симуляторы должны быть в состоянии создать тестовый план, чтобы быть полностью готовым к любому сценарию.
• Объединение тестовых планов записанных различным инструментарием редактирования в один главный тестовый план.

In these situations, existing testplans can be hierarchically imported into the top-level testplan being created, allowing for visualization of the full depth of the verification effort.

When creating such a testplan, the Type column will be given a value of "XML" to inform Questa that this section does not reference a coverage object, but rather it refers to another testplan document. The Link column will be used to specify the actual testplan file that contains the testplan being imported (via either a relative or full-path to the file).