PDF de programación - ISO/IEC/IEEE 29119 El nuevo estándar internacional para pruebas de software

ISO/IEC/IEEE 29119
El nuevo estándar
internacional para pruebas
de software

Grupo de trabajo

AEN/CTN 71/SC7/GT26 – Ingeniería del Software y
Sistemas de Información – Pruebas del Software
http://in2test.lsi.uniovi.es/gt26/

Jornada difusión proyecto TESTEA
Zaragoza, 20 de Mayo de 2015

Grupo de Trabajo

AEN/CTN71/SC7/GT26 Pruebas de Software

Javier Tuya
Universidad de Oviedo
(coordinador del GT26)

Ramón Lema
Juan M. Valera
Clara García

Ewout van Driel
Serial Testers

José Marañón
Awnaba Software

Celestina
Bianco

Manuel Fdez.
Lidia Cruz

Mª José Escalona
Isabel Ramos

Xavier
Escudero

Total: 19 miembros,
13 organizaciones diferentes

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

2

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

© AENOR

3

ISO/AENOR Estructura de

Comités y Grupos de trabajo

 ISO/IEC & Organismos

 Comités ISO y Grupos de

nacionales

ISO

IEC

AENOR

JTC1

CTN71

SC7

SC7

WG26

GT26

Trabajo:
 ISO: International Organization

for Standarization

 JTC1: Tecnología de la

Información

 SC7: Ingeniería de Software y

Sistemas

 WG26: Pruebas de software
 Organismos nacionales (ES)

 AENOR: Asociación Española

de Normalización y Certificación

 GT26: Pruebas del Software
 http://in2test.lsi.uniovi.es/gt26/

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

4

Contenidos

 Estándares para pruebas y problemática
 Elaboración y estructura de ISO/IEC/IEEE

29119 Software Testing

 Parte 1 – Conceptos y definiciones
 Parte 2 – Modelo de procesos de pruebas
 Parte 3 – Documentación de pruebas
 Parte 4 – Técnicas de prueba
 Estado actual, futuro y conclusión

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

5

Qué son los estándares?

 “Set of mandatory requirements established by consensus and

maintained by a recognized body to prescribe a disciplined uniform
approach or specify a product, that is, mandatory conventions and
practices” (ISO/IEC 24765:2009 Systems and software engineering
vocabulary)

 Standards provide a body of knowledge that provides the basis for a

professional discipline

 Basis for:

 Communication – common terminology
 Professional qualifications
 Certification/compliance schemes
 Benchmark of ‘good industry practice’
 Contracts
 Interoperability and consistency……

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

6

Para qué un estándar para

Pruebas de software?

 Cuerpo de conocimiento como base

para esta disciplina profesional
 Alto grado de acuerdo internacional
 Adaptable (Tayloring)

 Cliente:

 Confianza en el proveedor
 Benchmark para “buena” práctica industrial
 Vinculación contractual

 Proveedor:

 Comunicación – terminología común
 Certificación/Acreditación, marketing
 Cualificación professional, formación
 Mejora continua, Interoperabilidad, consistencia…

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

7

Qué estándares para Pruebas

de Software podríamos usar?

 Estándares BSI

 BS 7925-1, SW Testing: Part 1-Vocabulary
 BS 7925-2, SW Testing: Part 2-Software Component Testing

 Estándares IEEE testing:

 IEEE Std 829, Software Test Documentation
 IEEE Std 1008, Software Unit Testing

 Estándares sectoriales
 Cuerpo de conocimiento y metodologías, p.e.

 ISTQB
 TMap Next®

 Otros estándares de tipo general: ISO/IEC 12207, 15289

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

8

Qué problemas plantean

algunos de estos estándares?

 IEEE & BSI Standards

 IEEE 829: documentación (proceso implícito)
 IEEE 1008: pruebas unitarias
 BS 7925-1 & 2: pruebas unitarias

 Aspectos clave sin cubrir para un estándar de propósito

general:
 Pruebas no unitarias (integración, sistema, aceptación)
 Modelo de procesos explíctio
 Aspectos organizativos y gestión del proyecto. Riesgos
 Visión más completa de técnicas de prueba

 Definiciones en conflicto, procesos y procedimientos
 Qué estándar seguir?

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

9

ISO/IEC/IEEE 29119 Software

Testing - Inicio

 Propuesta de proyecto 29119 de ISO: Feb 2007
 Alcance: “This project will produce a software testing
standard applicable to all types of software products
and software-intensive systems”

 Propósito: “to unify and integrate the currently

fragmented corpus of normative literature regarding
testing that is currently offered by three distinct
standards-makers: BSI, IEEE, and ISO/IEC JTC 1/SC
7. The result of the project will be a consistent, unified
treatment adopted by all three organizations”

 Cuatro partes (Conceptos, procesos,

documentación, diseño de pruebas)

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

10

ISO/IEC/IEEE 29119 Software

Testing - Estructura

Parte 1

Conceptos y Definiciones

BS 7925-1

Parte 4

Parte 2

Parte 3

Procesos

Documentación

Técnicas de

Prueba

BS 7925-2

Parte 5

33063

20246

Pruebas

Dirigidas por

Palabras Clave

Evaluación de

Procesos

Revisión de

Productos de

Trabajo

IEEE 829

IEEE 1028

ISO/IEC/IEEE 29119 - Elaboración

Working Draft (WD)
Committee Draft (CD)
Draft International Standard (DIS)
Final Draft International Standard (FDIS)
International Standard

Partes 1, 2 & 3
Partes 1, 2 & 3

Parte 4
Parte 4

Parte 5
Parte 5

FDISFDIS

DISDIS

CD3CD3

CD2CD2

CD3CD3

CD2CD2

CD1CD1

DIS1DIS1

DIS2DIS2

FDISFDIS

WDWD

May
13

CDCD

May
14

DISDIS

May
15

WDWD

CD1CD1

WDWD

…

May
10

May
11

May
12

ISO/IEC/IEEE 29119 – Pruebas de software

Parte 1 – Conceptos y Definiciones

 Términos y definiciones

 prueba estática y dinámica, base de prueba, tipo de prueba,

subproceso de prueba …

 Conceptos sobre pruebas de software:

 Las pruebas de software en las organizaciones
 Los procesos de prueba en los ciclos de vidas (visión

general)

 Pruebas basadas en riesgos
 Subprocesos de prueba
 Estrategias de prueba
 Automatización de las pruebas
 Problemas en la gestión

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

13

Parte 1 – Conceptos y Definiciones

 Anexos:

 ANEXO A. El papel de las pruebas en la verificación y la

validación

 ANEXO B. Métricas
 ANEXO C. Pruebas en diferentes modelos de ciclo de vida

(Desarrollo ágil, Desarrollo secuencial, Desarrollo evolutivo)

 ANEXO D. Ejemplos de subprocesos de prueba detallados

(Aceptación, Desarrollo, Integración, Personalización, Regresión, etc.)

 ANEXO E. Roles y responsabilidades en el testing

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

14

Parte 2 - Modelo de Procesos

de pruebas

Procesos de prueba de la organización

Procesos de gestión de las pruebas

Planificación

Control y

seguimiento

Finalización

Procesos de pruebas dinámicas

Diseño e

Gestión del

Implement.

entorno

Ejecución

Reporte de
incidencias

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

15

P2 Especificación pruebas

de la organización

Especificación de pruebas de la organización
Especificación de pruebas de la organización

Política de pruebas

Estrategia(s) de

pruebas

Objetivos
Alcance

Organización

Principios gobernantes

Procesos

Responsables

Productos
Técnicas

Herramientas

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

16

P2 Procesos de Gestión

Procesos de Pruebas de la Organización

Política

y estrategia de pruebas

Realimentación para la política
y estrategia de pruebas

Actualizaciones del
Plan

Plan

Planificación

Procesos de Gestión de pruebas

Control y

seguimiento

Resultados

Finalización

Informe de
Finalización

Métricas

Plan, Directrices
de Control

Plan, Informe del estado
Informe de finalización,
Métricas

Plan, Directrices
de Control

Procesos de

Gestión de Pruebas

Plan, Directrices
de Control

Métricas

Procesos de Pruebas

Dinámicas

Procesos de Pruebas

Dinámicas

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

17

P2 Aplicación recursiva

de procesos - Ejemplo

Gestión de las pruebas

de la organización

Política de pruebas
Estrategia de pruebas de la organización

Gestión de las pruebas

del proyecto

Plan de pruebas del proyecto

Gestión de

pruebas
estáticas

P.d.P.
estáticas

Gestión de

pruebas

de sistema
P.d.P.
de sistema

Gestión de

pruebas

Gestión de

pruebas

...

de usabilidad

de aceptación

P.d.P.
de usabilidad

P.d.P.
de aceptación

Pruebas
estáticas

Pruebas

de sistema

Pruebas

Pruebas

de usabilidad

de aceptación



Pruebas estáticas (revisiones, análisis estático…): cubierto por otras normas, p.e. IEEE 1012, 1028

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

...

18

P2 Procesos de Gestión

Alcance

Entender el

Contexto (TP1)

Calendario del plan de pruebas

Organizar el

Plan de

Pruebas (TP2)

Identificar y

Analizar

Riesgos (TP3)

Planificación

Plan de
Pruebas

Comunicar

Plan de

Pruebas (TP9)

Consenso del
plan de pruebas

(TP8)

Aprobación Plan
de Pruebas

Registrar el

Plan de

Pruebas (TP7)

Borrador Plan
de Pruebas

Análisis de
Riesgos

Identificar las
mitigaciones

de riesgos (TP4)

Enfoque de Mitigación

Diseñar la

Estrategia de
Pruebas (TP5)

Determinar
personal y

calendario (TP6)

Estrategia de Prueba

Calendario y
Perfil del Personal

AEN/CTN 71/SC7/GT26 - AENOR

ISO/IEC/IEEE 29119 – Pruebas de software

19

P2 Procesos de Gestión

Alcance

Entender el

Contexto (TP1)

Calendario del plan de pruebas

Organizar el

Plan de

Pruebas (TP2)

Identificar y

Analizar

Riesgos (TP3)

Planificación

Plan de
Pruebas

Comunicar

Plan de

Pruebas (TP9)

Consenso del
plan de pruebas

(TP8)

Aprobación Plan
de Pruebas

Registrar el

Plan de

Pruebas (TP7)

Borrador Plan
de Pruebas

Análisis de
Riesgos

Identificar
mitigación

de riesgos (TP4)

Determinar
personal y

calendario (TP6)

Calendario y