source: tol/tol_tests/how_to.html @ e112b49

1941-docker-image-to-testdevel
Last change on this file since e112b49 was d6f042d, checked in by Víctor de Buen <vdebuen@…>, 18 years ago

standarrd tol tests

git-svn-id: ​https://www.tol-project.org/svn/tolp/trunk@18 be4846ae-f051-483a-831f-b64e7d08527f
  • Property mode set to 100644
File size: 14.4 KB
Line 
1<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
2<HTML>
3<HEAD>
4        <META HTTP-EQUIV="CONTENT-TYPE" CONTENT="text/html; charset=windows-1252">
5        <TITLE></TITLE>
6        <META NAME="GENERATOR" CONTENT="OpenOffice.org 2.2  (Win32)">
7        <META NAME="AUTHOR" CONTENT="V&iacute;ctor de Buen Remiro">
8        <META NAME="CREATED" CONTENT="20070702;14482265">
9        <META NAME="CHANGEDBY" CONTENT="V&iacute;ctor de Buen Remiro">
10        <META NAME="CHANGED" CONTENT="20070702;16463998">
11        <STYLE TYPE="text/css">
12        <!--
13                @page { size: 21cm 29.7cm; margin: 2cm }
14                P { margin-bottom: 0.21cm }
15        -->
16        </STYLE>
17</HEAD>
18<BODY LANG="es-ES" DIR="LTR">
19<H1>TOL TESTS</H1>
20<P ALIGN=JUSTIFY STYLE="margin-bottom: 0cm">En esta p&aacute;gina se
21explica c&oacute;mo se ejecutan y se comprueban los tests de la
22bater&iacute;a est&aacute;ndar de chequeo de versiones de TOL, para
23que quede constancia y por si alg&uacute;n desarrollador a&uacute;n
24no domina este tema, pues es muy importante pasarlos siempre que se
25suban cambios al CVS para una nueva release, tanto del head como de
26la versi&oacute;n oficial.</P>
27<P ALIGN=JUSTIFY STYLE="margin-bottom: 0cm"><BR>
28</P>
29<OL>
30        <LI><P STYLE="margin-bottom: 0cm">El primer paso es obviamente
31        bajarse del cvs el repositorio tol_tests correspondiente a la rama
32        de tol a evaluar (head, 1.1.5 o lo que toque). Dentro de ese
33        directorio hay un subdirectorio para cada programa o aplicaci&oacute;n
34        a chequear, tol, toltcl, etc.; los cuales contienen a su vez
35        paquetes de tests organizados en una estructura de directorios de
36        profundidad arbitraria. Cualquier fichero de nombre test.tol dentro
37        de esa jerarqu&iacute;a ser&aacute; considerado como un test. Los
38        paquetes se agrupan virtualmente en bater&iacute;as independientes
39        de paquetes tests que se ejecutan secuencialmente mediante archivos
40        tol de definici&oacute;n de bater&iacute;as.
41        </P>
42        <LI><P STYLE="margin-bottom: 0cm">Si el tol que queremos probar est&aacute;
43        ubicado en <FONT COLOR="#ff0000"><FONT FACE="courier new, monospace">&lt;release_path&gt;</FONT></FONT>
44        la orden gen&eacute;rica para correr una bater&iacute;a de tests de
45        tol definida en un fichero <FONT COLOR="#ff0000"><FONT FACE="courier new, monospace">&lt;batery_path_name&gt;</FONT></FONT><FONT COLOR="#3333ff"><FONT FACE="courier new, monospace">.tol</FONT></FONT>;
46        entonces debemos correr la orden <FONT COLOR="#ff0000"><FONT FACE="courier new, monospace">&lt;release_path&gt;</FONT></FONT><FONT COLOR="#3333ff"><FONT FACE="courier new, monospace">/tol&quot;
47        -v </FONT></FONT><FONT COLOR="#ff0000"><FONT FACE="courier new, monospace">&lt;batery_path_name&gt;</FONT></FONT><FONT COLOR="#3333ff"><FONT FACE="courier new, monospace">.tol</FONT></FONT>
48                </P>
49        <LI><P>Las bater&iacute;as disponibles actualmente son
50        </P>
51        <OL>
52                <LI><P STYLE="margin-bottom: 0cm"><FONT COLOR="#3333ff"><FONT FACE="courier new, monospace">tol_tests/tol/_tolTester.tol</FONT></FONT>
53                : bater&iacute;a de los paquetes de tests obligatorios que deben
54                pasarse sin errores forzosamente. Ubic&aacute;ndose en <FONT COLOR="#3333ff"><FONT FACE="courier new, monospace">tol_tests/</FONT></FONT>
55                se debe ejecutar la orden
56                </P>
57                <P STYLE="margin-bottom: 0cm"><FONT COLOR="#ff0000"><FONT FACE="courier new, monospace">&lt;release_path&gt;</FONT></FONT><FONT COLOR="#3333ff"><FONT FACE="courier new, monospace">/tol&quot;
58                -v tol/_tolTester.tol</FONT></FONT> &nbsp;
59                </P>
60                <LI><P STYLE="margin-bottom: 0cm"><FONT COLOR="#3333ff"><FONT FACE="courier new, monospace">tol_tests/tol/_tolTester.tol</FONT></FONT>
61                : bater&iacute;a de los paquetes de tests que ocasionalmente dan
62                errores conocidos pero a&uacute;n sin arreglar. Si se dan errores
63                se puede continuar pero hay que comunicarlo al grupo TDT para que
64                el autor del test lo revise. Ubic&aacute;ndose en <FONT COLOR="#3333ff"><FONT FACE="courier new, monospace">tol_tests/</FONT></FONT>
65                se debe ejecutar la orden
66                </P>
67                <P STYLE="margin-bottom: 0cm"><FONT COLOR="#ff0000"><FONT FACE="courier new, monospace">&lt;release_path&gt;</FONT></FONT><FONT COLOR="#3333ff"><FONT FACE="courier new, monospace">/tol&quot;
68                -v tol/_tolTester_knownbugs.tol</FONT></FONT>
69                </P>
70        </OL>
71        <LI><P>Durante la ejecuci&oacute;n de la bater&iacute;a por la
72        consola se da tan s&oacute;lo una l&iacute;nea por test ejecutado
73        con el grado de calidad (<FONT COLOR="#993300"><FONT FACE="courier new, monospace">Quality</FONT></FONT>)
74        en porcentaje y el tiempo empleado. Cuando <FONT COLOR="#993300"><FONT FACE="courier new, monospace">Quality=0%</FONT></FONT>
75        se ha producido un error. Cuando <FONT COLOR="#993300"><FONT FACE="courier new, monospace">Quality=100%
76        </FONT></FONT>es que todo haya funcionado perfectamente pero a veces
77        los resultados no son deterministas sino que tienen componentes
78        aleatorios por lo que la calidad no tien porqu&eacute; ser el 100% a
79        pesar de haber funcionado todo bien. Los resultados de calidad baja
80        pero positiva dan lugar a warnings y es conveniente avisar al autor
81        del test. lo mismo que si hay errores que no sepa uno a qu&eacute;
82        se pueden deber. Por ejemplo este es un ejemplo de salida en windows
83        donde se ha dado un error
84        </P>
85        <PRE>        <FONT COLOR="#993300"><FONT FACE="courier new, monospace">BuildTOL_WIN32_1.1.5\tol_tests&gt;&quot;..\ActiveTOL\bin\tol.exe&quot; -v tol/_tolTester.tol</FONT></FONT>
86<FONT COLOR="#993300">        <FONT FACE="courier new, monospace">Initializing</FONT></FONT><FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">TOL OIS: versi&oacute;n implementada: 02.03</FONT></FONT>
87<FONT COLOR="#993300">        <FONT FACE="courier new, monospace">Cargando la libreria estandar de TOL</FONT></FONT><FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">C:/projects-c++/bayes/BuildTOL_WIN32_1.1.5/ActiveTOL/bin/initlibrary/_inittol.tol</FONT></FONT>       
88<FONT COLOR="#993300">        <FONT FACE="courier new, monospace">OIS:</FONT></FONT><FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">Cargando el m&oacute;dulo InitLibrary::_lib.tol</FONT></FONT> <FONT COLOR="#993300"><FONT FACE="courier new, monospace">Ha</FONT></FONT><FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">sido incluido el fichero</FONT></FONT>
89<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">BuildTOL_WIN32_1.1.5/ActiveTOL/bin/initlibrary/_inittol.tol [0.391</FONT></FONT><FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">sec.]</FONT></FONT>
90<FONT COLOR="#993300">        El </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">fichero de volcado de salida se ubica en</FONT></FONT> <FONT COLOR="#993300"><FONT FACE="courier new, monospace">G:/Documents</FONT></FONT><FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">and Settings/vdebuen/Datos de</FONT></FONT><FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">programa/tol/tests_results/test_current.log</FONT></FONT>
91<FONT COLOR="#993300">        <FONT COLOR="#993300"><FONT FACE="courier new, monospace">Version </FONT></FONT><FONT FACE="courier new, monospace">de TOL : v1.1.5 b.13 2007-07-02 10:28:28 i686-win</FONT></FONT>
92        <FONT COLOR="#993300"><FONT FACE="courier new, monospace">Sistema</FONT></FONT><FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">operativo : WINDOWS</FONT></FONT> <FONT COLOR="#993300"><FONT FACE="courier new, monospace">Compilador</FONT></FONT><FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">: MSVC_1400</FONT></FONT>
93<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">ReportTester of battery Bugzilla(1 times)</FONT></FONT>
94<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">Running test Bugzilla/bug_000001 iteration 1 of 1 ... Quality= 100.00% in</FONT></FONT><FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">0.140 seconds</FONT></FONT>
95<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">Running test Bugzilla/bug_000002 iteration 1 of 1 ... Quality=  70.00%</FONT></FONT><FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">in 0.031 seconds</FONT></FONT>
96<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">Running test Bugzilla/bug_000003 iteration 1 of 1 ... Quality=  20.00%</FONT></FONT><FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">in 0.141 seconds</FONT></FONT>
97<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">Running test Bugzilla/bug_000004 iteration 1 of 1 ... Quality= </FONT></FONT><FONT COLOR="#993300">  </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">0.00% in 0.204 seconds</FONT></FONT>
98<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">Running test Bugzilla/bug_000005 iteration 1 of 1 ...</FONT></FONT>
99        </PRE><P>
100        La &uacute;ltima l&iacute;nea acabada en puntos suspensivos indica
101        que el test est&aacute; en ejecuci&oacute;n. Al final de cada
102        paquete se da un resumen parcial de los resultados del mismo que
103        ofrece este aspecto
104        </P>
105        <PRE>        <FONT COLOR="#993300"><FONT FACE="courier new, monospace">Statistics</FONT></FONT><FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">for tests battery [TestVolumeMedium/ARIMA/FunEstimate(5 times)]</FONT></FONT>        <FONT COLOR="#993300"> </FONT>
106<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">tests number = 5</FONT></FONT> <FONT COLOR="#993300"> </FONT>
107<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">minQuality   = 100.00%</FONT></FONT> <FONT COLOR="#993300"> </FONT>
108<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">avgQuality   = 100.00%</FONT></FONT> <FONT COLOR="#993300"> </FONT>
109<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">unkQuality   = 0.00%</FONT></FONT>
110<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">avgErrors</FONT></FONT><FONT COLOR="#993300">    </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">= 0.000000</FONT></FONT> <FONT COLOR="#993300"> </FONT>
111<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">avgWarnings  = 1.200000</FONT></FONT> <FONT COLOR="#993300"> </FONT>
112<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">avgObjects   = 2900.800000</FONT></FONT>
113<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">avgSeconds</FONT></FONT><FONT COLOR="#993300">   </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">= 4.772000</FONT></FONT> </PRE><P>
114        Al final de la bater&iacute;a se da elresumen total.
115        </P>
116        <PRE>        <FONT COLOR="#cc6600"><FONT FACE="courier new, monospace">Statistics</FONT></FONT><FONT COLOR="#cc6600"> </FONT><FONT COLOR="#cc6600"><FONT FACE="courier new, monospace">for tests battery [ALL MERGED]</FONT></FONT>
117<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">tests</FONT></FONT><FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">number = 25</FONT></FONT>
118<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">minQuality   = 78.61%</FONT></FONT>
119<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">avgQuality</FONT></FONT><FONT COLOR="#993300">   </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">= 97.97%</FONT></FONT>
120<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">unkQuality</FONT></FONT><FONT COLOR="#993300">   </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">= 100.00%</FONT></FONT> <FONT COLOR="#993300"> </FONT>
121<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">avgErrors    = 0.000000</FONT></FONT> <FONT COLOR="#993300"> </FONT>
122<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">avgWarnings  = 2.880000</FONT></FONT> <FONT COLOR="#993300"> </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">avgObjects</FONT></FONT>
123<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">avgObjects   = -1127.280000</FONT></FONT>
124<FONT COLOR="#993300">        </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">avgSeconds</FONT></FONT><FONT COLOR="#993300">   </FONT><FONT COLOR="#993300"><FONT FACE="courier new, monospace">= 10.208920</FONT></FONT>     </PRE><P STYLE="margin-bottom: 0cm">
125        En ambos casos el principal dato es que se cumpla <FONT COLOR="#993300"><FONT FACE="courier new, monospace">minQuality
126        &gt; 0</FONT></FONT></P>
127        <LI><P>Al final de la ejecuci&oacute;n se pueden ver los resultados
128        y los logs de los tests realizados en el directorio
129        </P>
130        <P><FONT COLOR="#ff0000"><FONT FACE="courier new, monospace">&lt;TOL_APP_DATA_HOME&gt;</FONT></FONT><FONT COLOR="#3333ff"><FONT FACE="courier new, monospace">/tests_results/</FONT></FONT><FONT COLOR="#ff0000"><FONT FACE="courier new, monospace">test_YYYY_MM_DD_HH_MM</FONT></FONT>
131                </P>
132        <P>donde <FONT COLOR="#ff0000"><FONT FACE="courier new, monospace">&lt;APP_DATA_HOME&gt;
133        </FONT></FONT>es en windows: <FONT COLOR="#3333ff"><FONT FACE="courier new, monospace">%APPDATA%/tol</FONT></FONT><FONT COLOR="#ff0000">
134        </FONT>y en linux: <FONT COLOR="#3333ff"><FONT FACE="courier new, monospace">$HOME/.tol</FONT></FONT>
135        y <FONT COLOR="#ff0000"><FONT FACE="courier new, monospace">YYYY_MM_DD_HH_MM</FONT></FONT>
136        se refiere a la fecha y la hora hasta el minuto de comienzo de la
137        sesi&oacute;n de chequeo. Dentro de ese directorio habr&aacute; un
138        directorio para cada paquete de tests por el que se puede navegar
139        para encontrar los diferentes informes y ficheros de logs.
140        </P>
141        <LI><P>Si se quiere ejecutar un test concreto para el que se ha
142        visto un problema s&oacute;lo es necesario compilar el fichero con
143        el &uacute;nico requisito de cargar previamente la initlibrary (o
144        stdlib), y da lo mismo hacerlo con tol o con tolbase, a no ser que
145        se trate de un test de tcl.</P>
146</OL>
147<P><BR><BR>
148</P>
149</BODY>
150</HTML>
Note: See TracBrowser for help on using the repository browser.