ISO IEC TR 29119-11-2020 PDF

Полное наименование и описание

ISO/IEC TR 29119-11:2020 — Software and systems engineering — Software testing — Part 11: Guidelines on the testing of AI‑based systems. Технический отчет, дающий рекомендации по тестированию систем с компонентами искусственного интеллекта: описывает характерные свойства AI‑систем, основные проблемы тестирования (включая проблему тест‑оракла), варианты применимых подходов (black‑box и подходы к белому ящику для нейросетей), окружения и сценарии тестирования на разных этапах жизненного цикла.

Аннотация

Документ вводит понятие AI‑системы как системы, содержащей по крайней мере один AI‑компонент, и объясняет, какие свойства (например, недетерминированность, зависимость от больших наборов данных, неполная спецификация) создают новые вызовы при тестировании. Отчёт предлагает руководящие принципы по определению критериев приёмки, выбору методов проектирования тестов, организации тестовых сред и работе с данными и метриками для оценки качества AI‑поведения. Документ носит рекомендательный характер (Technical Report) и предназначен как справочник для практиков тестирования.

Общая информация

• Статус: Published (опубликован).
• Дата публикации: ноябрь 2020 (ISO указывает 2020‑11; некоторые национальные издатели/обложки указывают декабрь 2020).
• Организация-издатель: ISO/IEC (разработано в рамках JTC 1 / SC 7 как технический отчёт).
• ICS / категории: 35.080 (Software).
• Редакция / версия: Edition 1 (первая редакция, 2020).
• Количество страниц: в метаданных ISO указано 52 страницы; в некоторых национальных/торговых изданиях и в предварительных предложениях — около 60 страниц (вариации зависят от форматирования издателя).

Область применения

Руководство предназначено для организаций и специалистов, занимающихся проверкой и валидацией AI‑систем и AI‑компонентов: тест‑инженеров, менеджеров тестирования, разработчиков и архитекторов систем, а также специалистов по обеспечению качества и регуляторов. Применимо для тестирования AI‑функциональности на этапах разработки, приёмки и поддержки, а также для подготовки тестовых наборов и тестовой инфраструктуры с учётом особенностей данных и моделей. Документ даёт рекомендации, а не обязательные требования.

Ключевые темы и требования

• Описание характеристик AI‑систем (недетерминированность, чувствительность к данным, невозможность полного специфицирования ожидаемого поведения).
• Проблема тест‑оракла и подходы к её смягчению (ничего не утверждается как универсальное решение — предлагаются стратегии оценки и эвристики).
• Рекомендации по тестированию в жизненном цикле: от разработки до эксплуатации, включая валидацию данных, оценку производительности и устойчивости.
• Методы тест‑дизайна: адаптация black‑box подходов и введение белого ящика для нейросетевых компонентов.
• Организация тестовых сред, сценариев и наборов данных; внимание к воспроизводимости, репрезентативности и смещениям в данных.
• Рекомендации по выбору показателей качества, мониторингу и управлению рисками, связанными с AI‑поведением.

Применение и пользователи

Используется командами QA и тестирования в промышленных и исследовательских проектах с AI‑компонентами, профессионалами по проверке безопасности и надёжности, а также организациями, разрабатывающими корпоративные процессы тестирования. Может применяться при подготовке внутренних методик и при оценке соответствия поведения AI требованиям заказчика и регуляторным ожиданиям. Национальные органы стандартизации и профессиональные издатели также предлагают локальные публикации/адаптации отчёта для продажи и внедрения.

Связанные стандарты

Часть серии ISO/IEC 29119 (части 1–5 и дополнительные TR/TS части); тесно связана с другими документами по тестированию AI от ISO/IEC JTC 1 (включая последующие технические спецификации/технические отчёты по тестированию AI и документам SC 42). Для общей структуры и перекрёстных ссылок полезно учитывать остальные части 29119 и новые публикации по тестированию AI.

Ключевые слова

AI‑based systems; testing; test oracle; neural networks; test environment; test scenarios; test data; validation; verification; lifecycle; risk‑based testing.

FAQ

В: Что это за стандарт?

О: Технический отчёт ISO/IEC TR 29119-11:2020 — руководство по тестированию систем с элементами искусственного интеллекта; содержит рекомендации и практические указания, а не обязательные требования.

В: Что он регулирует?

О: Не «регулирует» в смысле нормативных требований — даёт руководящие принципы по определению критериев приёмки, проектированию тестов, организации окружений и работе с данными и метриками при тестировании AI‑компонентов.

В: Кто обычно использует?

О: Тест‑инженеры, менеджеры тестирования, разработчики и архитекторы систем, специалисты по качеству и аудиторы, а также национальные органы стандартизации и поставщики профессиональных услуг по тестированию.

В: Он актуален или заменён?

О: По состоянию на текущую проверку документ остаётся опубликованным (édition 1, 2020) и официально не заменён; однако область стандартов по тестированию AI активно развивается — появляются новые TS/TR/ISO‑документы и национальные адаптации, поэтому для критичных применений рекомендуется проверять текущий статус на страницах национального или международного издателя стандартов и учитывать более свежие публикации по тестированию AI.

В: Это часть серии?

О: Да — это дополнительная часть (Part 11) к серии ISO/IEC 29119 (Software testing). Серия включает основные части (1–5) и несколько дополнительных TR/TS частей, связанных с применением стандартов в специфичных контекстах (например, Agile, биометрия, AI и др.).

В: Какие ключевые слова?

О: AI‑systems, testing, test oracle, neural networks, test scenarios, test environment, test data, validation, risk‑based testing.