Ahora que va a salir el tan esperado Tutorial de numpyro creo que es momento de empezar una serie de post sobre lo que estoy aprendiendo con numpyro
Lo primero que se me ocurre decir de numpyro es que va muy bien, es muy rápido y es relativamente sencillo. Su velocidad se debe al uso de jax , una librería de google que ha tomado una parte pequeña de numpy y la ha optimizado, gran parte de su desempeño se debe a xla Acdelerated Linear Algebra. Gracias a xla se están entrenando algunos de los modelos de LLM.
numpyro es un dsl de programación probabilística, es decir, para hacer cosas bayesianas y ahora mismo es el estado del arte para este tema, al menos en lo concerniente a velocidad. Con numpyro he tardado en obtener las posterioris de un modelo sencillo con unas 20 mil filas en torno a 6 o 7 minutos mientras que con Stan se tardaba 1 hora. Así que con el uso de numpyro ya no puedo decir a algún amigo bayesiano aquello de “si, lo bayesiano está muy bien, pero se acaba el universo antes de que tengas tus 4 cadenas MCMC”.
En mi post de pluralista comentaba el siguiente ejemplo
Diagrama causal:
library(tidyverse)
library(dagitty)
library(ggdag)
library(patchwork)
library(reticulate) # para poder convertir de R a python y a la inversa
g <- dagitty("dag{
M -> D ;
B2 -> D;
B1 -> M;
U -> M;
U -> D
}")
coords <-
list(
x = c(B1 = 1, M = 2, U = 3.5, D = 5, B2 = 6),
y = c(B1 = 0, M = 0, U = 1, D = 0, B2 = 0)
)
coordinates(g) <- coords
ggdag(g) +
theme_void()
Y simulaba unos valores, reproduciendo el DAG anterior, añadiendo los valores de una variable de confusión que luego no puedo usar en el ajuste puesto que el ejemplo trata de que existe una variable de confusión no observada.
set.seed(1908)
N <- 1000 # número de pares, 1000 madres y 1000 hijas
U <- rnorm(N,0,1) # Simulamos el confounder
# orden de nacimiento y
B1 <- rbinom(N,size=1,prob=0.5) # 50% de madres nacieeron en primer lugar
M <- rnorm( N , 2 * B1 + U )
B2 <- rbinom(N,size=1,prob=0.5) # 50% son las primogénitas
D <- rnorm( N , 2 * B2 + U + 0 * M )En el post comentaba que si queremos ajustar el efecto global (o el directo ) de M sobre D , habría que condicionar por U , tal y como nos ha enseñado Pearl. Pero tanto Gelman como Richard McElreath nos ilustran en que si ajustamos el modelo generativo al completo no hay problema en condicionar por un collider (en los casos en que Pearl dice que no se puede) o incluso por una variable no observada. Condicionar en un marco bayesiano no es lo mismo que condicionar en el marco de modelos no bayesianos.
adjustmentSets(g, exposure = "M", outcome = "D", effect = "total" )
#> { U }
adjustmentSets(g, exposure = "M", outcome = "D", effect = "direct" )
#> { U }
ggdag_adjustment_set(g, exposure = "M", outcome = "D", effect = "direct")
En este orden de cosas, ¿como ajustamos este DAG con numpyro?
Librerías necesarias
import numpy as np
import jax
import jax.numpy as jnp
import numpyro
import numpyro.distributions as dist
from numpyro.infer import MCMC, NUTS, Predictive
import pandas as pd
from matplotlib import pyplot as plt
import seaborn as sn
numpyro.set_platform("cpu")
numpyro.set_host_device_count(4)
jax.local_device_count()
#> 4Uso reticulate para pasar las variables simuladas a pyhon.
dat_list = dict(
id = np.array(range(0,1000)),
D = np.array(r.D), # con r. accedo a lo que está en el enviromment de R ,
M = np.array(r.M),
B1 = np.array(r.B1),
B2 = np.array(r.B2)
)
# vemos los 4 primeros valores de D por ejemplo
dat_list['D'][0:4]
#> array([ 2.56309969, 1.46316491, 0.68597284, -0.24294441])Pues siguiendo como ajustamos el DAG con ulam lo hacemos ahora con numpyro
Es relativamente faćil, lo único qeu hay que tener cuidado porque la variable U no observada la simulamos dentro del modelo y que tiene que tener de dimensión el número de datos que tenemos, es decir, 1000.
Luego en la parte de
mu1 = a1 + b * B1 + k * U[id]
mu2 = a2 + b * B2 + m * M + k * U[id]vemos que metemos el id que no es más que un índice para saber que observación se trata . Es decir, tener un dato perdido ( o todos en el caso de U ) se reduce a estimar tantos parámetros como datos perdidos tengo. Es un pensamiento interesante, un dato perdido se puede ver como un parámetro que hay que estimar.
Y el resto de la definición que tenemos en el modelo es igual de sencilla que cuándo lo hacía en el post original, al fin y al cabo esto es sólo sintaxis.
def model(id,D, M, B1, B2):
# variable no observada
U = numpyro.sample("U", dist.Normal(0, 1), sample_shape= D.shape)
# Prior coeficientes
a1 = numpyro.sample("a1", dist.Normal(0, 0.5))
a2 = numpyro.sample("a2", dist.Normal(0, 0.5))
m = numpyro.sample("m", dist.Normal(0, 0.5))
b1 = numpyro.sample("b1", dist.Normal(0, 0.5))
b2 = numpyro.sample("b2", dist.Normal(0, 0.5))
p = numpyro.sample("p", dist.Beta(2, 2))
k = numpyro.sample("k", dist.Exponential(1))
sigma1 = numpyro.sample("sigma1", dist.Exponential(1))
sigma2 = numpyro.sample("sigma2", dist.Exponential(1))
# verosimilitud
B1_obs = numpyro.sample("B1_obs", dist.Bernoulli(probs = p), obs = B1 )
B2_obs = numpyro.sample("B2_obs", dist.Bernoulli(probs = p), obs = B2 )
# transformed parameters
mu1 = a1 + b1 * B1 + k * U[id]
mu2 = a2 + b2 * B2 + m * M + k * U[id]
M_obs = numpyro.sample("M_obs", dist.Normal(mu1, sigma1), obs = M)
D_obs = numpyro.sample("D_obs", dist.Normal(mu2, sigma2), obs = D)y nada, vamos a ajustar.
# Ajusto
mcmc = MCMC(NUTS(model), num_warmup=500, num_samples=2500, num_chains=4)
# fijaros qeu en dat_list en ningún momento está la variable no observada U, pero
# en el modelo si se tiene en cuenta
mcmc.run(jax.random.PRNGKey(0), **dat_list)
#>
0%| | 0/3000 [00:00<?, ?it/s]
Compiling.. : 0%| | 0/3000 [00:00<?, ?it/s]
#>
0%| | 0/3000 [00:00<?, ?it/s][A
#>
Compiling.. : 0%| | 0/3000 [00:00<?, ?it/s][A
#>
#>
0%| | 0/3000 [00:00<?, ?it/s][A[A
#>
#>
Compiling.. : 0%| | 0/3000 [00:00<?, ?it/s][A[A
#>
#>
#>
0%| | 0/3000 [00:00<?, ?it/s][A[A[A
#>
#>
#>
Compiling.. : 0%| | 0/3000 [00:00<?, ?it/s][A[A[A
#>
#>
#>
Running chain 3: 0%| | 0/3000 [00:06<?, ?it/s][A[A[A
#>
#>
Running chain 2: 0%| | 0/3000 [00:06<?, ?it/s][A[A
Running chain 0: 0%| | 0/3000 [00:06<?, ?it/s]
#>
Running chain 1: 0%| | 0/3000 [00:06<?, ?it/s][A
#>
Running chain 1: 5%|5 | 150/3000 [00:07<00:14, 197.29it/s][A
#>
#>
#>
Running chain 3: 5%|5 | 150/3000 [00:07<00:14, 192.17it/s][A[A[A
#>
#>
Running chain 2: 5%|5 | 150/3000 [00:07<00:16, 175.63it/s][A[A
#>
Running chain 1: 10%|# | 300/3000 [00:07<00:07, 382.57it/s][A
#>
#>
#>
Running chain 3: 10%|# | 300/3000 [00:07<00:07, 373.19it/s][A[A[A
Running chain 0: 5%|5 | 150/3000 [00:07<00:17, 162.13it/s]
#>
#>
Running chain 2: 10%|# | 300/3000 [00:07<00:08, 335.26it/s][A[A
#>
Running chain 1: 15%|#5 | 450/3000 [00:07<00:04, 531.64it/s][A
#>
#>
#>
Running chain 3: 15%|#5 | 450/3000 [00:07<00:04, 537.20it/s][A[A[A
Running chain 0: 10%|# | 300/3000 [00:07<00:08, 320.42it/s]
#>
#>
Running chain 2: 15%|#5 | 450/3000 [00:08<00:05, 478.20it/s][A[A
#>
#>
#>
Running chain 3: 20%|## | 600/3000 [00:08<00:03, 664.78it/s][A[A[A
Running chain 0: 15%|#5 | 450/3000 [00:08<00:05, 482.19it/s]
#>
Running chain 1: 20%|## | 600/3000 [00:08<00:04, 591.33it/s][A
#>
#>
Running chain 2: 20%|## | 600/3000 [00:08<00:03, 632.06it/s][A[A
#>
#>
#>
Running chain 3: 25%|##5 | 750/3000 [00:08<00:02, 822.05it/s][A[A[A
Running chain 0: 20%|## | 600/3000 [00:08<00:04, 599.32it/s]
#>
#>
#>
Running chain 3: 30%|### | 900/3000 [00:08<00:02, 934.54it/s][A[A[A
#>
Running chain 1: 25%|##5 | 750/3000 [00:08<00:03, 645.28it/s][A
#>
#>
Running chain 2: 30%|### | 900/3000 [00:08<00:02, 872.87it/s][A[A
Running chain 0: 25%|##5 | 750/3000 [00:08<00:03, 679.54it/s]
#>
#>
#>
Running chain 3: 35%|###5 | 1050/3000 [00:08<00:01, 1020.07it/s][A[A[A
#>
#>
Running chain 2: 35%|###5 | 1050/3000 [00:08<00:02, 966.75it/s][A[A
#>
Running chain 1: 30%|### | 900/3000 [00:08<00:03, 691.37it/s][A
Running chain 0: 30%|### | 900/3000 [00:08<00:02, 753.08it/s]
#>
#>
#>
Running chain 3: 45%|####5 | 1350/3000 [00:08<00:01, 1168.10it/s][A[A[A
#>
#>
Running chain 2: 40%|#### | 1200/3000 [00:08<00:01, 944.09it/s][A[A
#>
Running chain 1: 35%|###5 | 1050/3000 [00:08<00:02, 725.91it/s][A
Running chain 0: 35%|###5 | 1050/3000 [00:08<00:02, 799.45it/s]
#>
#>
#>
Running chain 3: 50%|##### | 1500/3000 [00:08<00:01, 1126.99it/s][A[A[A
#>
#>
Running chain 2: 45%|####5 | 1350/3000 [00:08<00:01, 967.83it/s][A[A
#>
Running chain 1: 40%|#### | 1200/3000 [00:08<00:02, 747.38it/s][A
Running chain 0: 40%|#### | 1200/3000 [00:08<00:02, 805.48it/s]
#>
#>
#>
Running chain 3: 60%|###### | 1800/3000 [00:08<00:00, 1271.76it/s][A[A[A
#>
#>
Running chain 2: 55%|#####5 | 1650/3000 [00:08<00:01, 1138.21it/s][A[A
#>
Running chain 1: 45%|####5 | 1350/3000 [00:09<00:02, 771.97it/s][A
Running chain 0: 45%|####5 | 1350/3000 [00:09<00:01, 829.49it/s]
#>
#>
#>
Running chain 3: 65%|######5 | 1950/3000 [00:09<00:00, 1273.00it/s][A[A[A
#>
#>
Running chain 2: 60%|###### | 1800/3000 [00:09<00:01, 1187.49it/s][A[A
Running chain 0: 50%|##### | 1500/3000 [00:09<00:01, 830.23it/s]
#>
#>
#>
Running chain 3: 70%|####### | 2100/3000 [00:09<00:00, 1144.14it/s][A[A[A
#>
Running chain 1: 50%|##### | 1500/3000 [00:09<00:01, 756.05it/s][A
#>
#>
Running chain 2: 65%|######5 | 1950/3000 [00:09<00:00, 1121.13it/s][A[A
#>
#>
#>
Running chain 3: 75%|#######5 | 2250/3000 [00:09<00:00, 1130.74it/s][A[A[A
#>
#>
Running chain 2: 70%|####### | 2100/3000 [00:09<00:00, 1137.82it/s][A[A
Running chain 0: 55%|#####5 | 1650/3000 [00:09<00:01, 851.76it/s]
#>
Running chain 1: 55%|#####5 | 1650/3000 [00:09<00:01, 758.15it/s][A
#>
#>
#>
Running chain 3: 80%|######## | 2400/3000 [00:09<00:00, 1178.24it/s][A[A[A
#>
#>
Running chain 2: 75%|#######5 | 2250/3000 [00:09<00:00, 1059.20it/s][A[A
Running chain 0: 60%|###### | 1800/3000 [00:09<00:01, 861.45it/s]
#>
#>
#>
Running chain 3: 85%|########5 | 2550/3000 [00:09<00:00, 1244.56it/s][A[A[A
#>
Running chain 1: 60%|###### | 1800/3000 [00:09<00:01, 774.94it/s][A
#>
#>
Running chain 2: 80%|######## | 2400/3000 [00:09<00:00, 1140.27it/s][A[A
#>
#>
#>
Running chain 3: 90%|######### | 2700/3000 [00:09<00:00, 1282.87it/s][A[A[A
Running chain 0: 65%|######5 | 1950/3000 [00:09<00:01, 819.33it/s]
#>
#>
Running chain 2: 85%|########5 | 2550/3000 [00:09<00:00, 1175.97it/s][A[A
#>
#>
#>
Running chain 3: 95%|#########5| 2850/3000 [00:09<00:00, 1317.20it/s][A[A[A
#>
Running chain 1: 65%|######5 | 1950/3000 [00:09<00:01, 770.49it/s][A
#>
#>
#>
Running chain 3: 100%|##########| 3000/3000 [00:09<00:00, 1230.50it/s][A[A[A
Running chain 0: 70%|####### | 2100/3000 [00:09<00:01, 818.74it/s]
#>
#>
Running chain 2: 90%|######### | 2700/3000 [00:09<00:00, 1074.69it/s][A[A
#>
Running chain 1: 70%|####### | 2100/3000 [00:10<00:01, 778.59it/s][A
#>
#>
Running chain 2: 95%|#########5| 2850/3000 [00:10<00:00, 1147.26it/s][A[A
Running chain 0: 75%|#######5 | 2250/3000 [00:10<00:00, 852.80it/s]
#>
Running chain 1: 75%|#######5 | 2250/3000 [00:10<00:00, 816.51it/s][A
#>
#>
Running chain 2: 100%|##########| 3000/3000 [00:10<00:00, 1150.86it/s][A[A
Running chain 0: 80%|######## | 2400/3000 [00:10<00:00, 847.21it/s]
#>
Running chain 1: 80%|######## | 2400/3000 [00:10<00:00, 809.55it/s][A
Running chain 0: 85%|########5 | 2550/3000 [00:10<00:00, 910.19it/s]
#>
Running chain 1: 85%|########5 | 2550/3000 [00:10<00:00, 830.15it/s][A
Running chain 0: 90%|######### | 2700/3000 [00:10<00:00, 988.98it/s]
Running chain 0: 95%|#########5| 2850/3000 [00:10<00:00, 1005.88it/s]
#>
Running chain 1: 90%|######### | 2700/3000 [00:10<00:00, 859.81it/s][A
Running chain 0: 100%|##########| 3000/3000 [00:10<00:00, 1062.46it/s]
#>
Running chain 1: 95%|#########5| 2850/3000 [00:10<00:00, 881.31it/s][A
#>
Running chain 1: 100%|##########| 3000/3000 [00:11<00:00, 878.21it/s][A
Running chain 0: 100%|##########| 3000/3000 [00:11<00:00, 272.13it/s]
#>
Running chain 1: 100%|##########| 3000/3000 [00:11<00:00, 272.14it/s]
#>
Running chain 2: 100%|##########| 3000/3000 [00:11<00:00, 272.14it/s]
#>
Running chain 3: 100%|##########| 3000/3000 [00:11<00:00, 272.14it/s]Y vemos que lo que en Stan tardaba unos 18 segundos, en numpyro se queda en unos 10. No parece mucha mejora, pero cuando aumenta el número de datos y la complejidad del modelo se nota y mucho.
Bien, veamos el resumen del modelo . El resumen muestra también los valores estimados para la variable no observada
# si pongo exclude_deterministic=True no veo las estimaciones de mu1 y mu2.
mcmc.print_summary(exclude_deterministic=False)
#>
#> mean std median 5.0% 95.0% n_eff r_hat
#> U[0] 0.50 0.60 0.49 -0.48 1.46 12860.51 1.00
#> U[1] 0.22 0.58 0.22 -0.76 1.13 12871.14 1.00
#> U[2] -0.58 0.59 -0.57 -1.58 0.35 13943.01 1.00
#> U[3] -0.34 0.58 -0.35 -1.33 0.58 13443.15 1.00
#> U[4] -0.51 0.59 -0.52 -1.42 0.49 11688.25 1.00
#> U[5] -0.75 0.59 -0.75 -1.72 0.24 15168.33 1.00
#> U[6] 1.11 0.60 1.13 0.13 2.12 8250.75 1.00
#> U[7] -0.44 0.58 -0.43 -1.33 0.57 12422.57 1.00
#> U[8] 0.74 0.59 0.73 -0.19 1.71 10471.35 1.00
#> U[9] 0.12 0.58 0.12 -0.85 1.06 12241.08 1.00
#> U[10] -0.23 0.59 -0.23 -1.18 0.77 9734.89 1.00
#> U[11] 1.28 0.58 1.27 0.35 2.25 12928.53 1.00
#> U[12] -0.44 0.58 -0.44 -1.41 0.48 15420.94 1.00
#> U[13] 1.33 0.59 1.33 0.38 2.32 11126.21 1.00
#> U[14] 0.92 0.59 0.91 -0.07 1.88 13056.45 1.00
#> U[15] -0.06 0.60 -0.06 -1.09 0.88 10528.39 1.00
#> U[16] 0.81 0.59 0.81 -0.15 1.79 12663.62 1.00
#> U[17] 0.18 0.58 0.18 -0.77 1.13 15376.88 1.00
#> U[18] -0.62 0.59 -0.62 -1.56 0.36 12924.49 1.00
#> U[19] 0.88 0.58 0.89 -0.13 1.78 14485.13 1.00
#> U[20] -1.08 0.60 -1.09 -2.08 -0.13 9141.35 1.00
#> U[21] 0.39 0.60 0.39 -0.55 1.41 12648.56 1.00
#> U[22] 0.59 0.58 0.59 -0.35 1.56 13053.85 1.00
#> U[23] -1.46 0.60 -1.46 -2.43 -0.45 9105.82 1.00
#> U[24] -0.77 0.59 -0.77 -1.72 0.19 15243.37 1.00
#> U[25] -0.49 0.59 -0.50 -1.47 0.47 11294.14 1.00
#> U[26] -1.31 0.58 -1.31 -2.23 -0.35 14659.16 1.00
#> U[27] -1.54 0.60 -1.54 -2.53 -0.56 7438.22 1.00
#> U[28] 0.28 0.59 0.28 -0.67 1.28 12669.26 1.00
#> U[29] -1.25 0.60 -1.25 -2.27 -0.32 10963.02 1.00
#> U[30] 0.15 0.59 0.15 -0.83 1.10 10448.26 1.00
#> U[31] 1.17 0.60 1.17 0.13 2.10 8396.85 1.00
#> U[32] 0.49 0.58 0.49 -0.46 1.42 14968.57 1.00
#> U[33] -0.30 0.59 -0.30 -1.27 0.64 12644.12 1.00
#> U[34] 0.01 0.59 0.01 -0.96 0.98 11198.40 1.00
#> U[35] -1.31 0.58 -1.32 -2.31 -0.39 10300.60 1.00
#> U[36] -0.49 0.59 -0.50 -1.43 0.48 12618.59 1.00
#> U[37] -0.11 0.60 -0.11 -1.10 0.87 11842.77 1.00
#> U[38] 1.20 0.59 1.20 0.24 2.17 10367.93 1.00
#> U[39] -0.47 0.59 -0.47 -1.45 0.50 15461.71 1.00
#> U[40] -0.08 0.59 -0.07 -1.08 0.87 10930.57 1.00
#> U[41] -0.63 0.58 -0.63 -1.55 0.38 12890.26 1.00
#> U[42] -0.61 0.58 -0.62 -1.54 0.36 11702.50 1.00
#> U[43] 0.43 0.59 0.43 -0.52 1.41 13690.63 1.00
#> U[44] 0.49 0.59 0.49 -0.47 1.45 11238.50 1.00
#> U[45] -0.03 0.59 -0.04 -0.97 0.96 11840.42 1.00
#> U[46] -1.69 0.59 -1.70 -2.69 -0.77 14033.04 1.00
#> U[47] 0.10 0.59 0.11 -0.88 1.05 11824.14 1.00
#> U[48] -0.18 0.59 -0.19 -1.15 0.77 8511.45 1.00
#> U[49] 0.37 0.60 0.37 -0.59 1.37 12087.98 1.00
#> U[50] -0.56 0.58 -0.56 -1.52 0.37 13209.47 1.00
#> U[51] 0.06 0.58 0.06 -0.86 1.03 12666.16 1.00
#> U[52] -0.10 0.59 -0.09 -1.07 0.84 12525.88 1.00
#> U[53] 0.13 0.59 0.14 -0.80 1.13 11189.64 1.00
#> U[54] 0.05 0.59 0.06 -0.94 0.99 12382.78 1.00
#> U[55] 0.27 0.59 0.27 -0.69 1.25 10025.66 1.00
#> U[56] 0.14 0.59 0.14 -0.83 1.07 14000.12 1.00
#> U[57] 0.14 0.59 0.15 -0.76 1.16 10683.09 1.00
#> U[58] -0.36 0.58 -0.35 -1.35 0.55 10952.31 1.00
#> U[59] -0.30 0.58 -0.30 -1.21 0.70 13582.04 1.00
#> U[60] -0.02 0.59 -0.02 -1.01 0.92 12206.84 1.00
#> U[61] -0.90 0.60 -0.90 -1.85 0.09 13165.60 1.00
#> U[62] 0.58 0.59 0.58 -0.42 1.51 11896.14 1.00
#> U[63] 0.04 0.60 0.05 -0.94 1.02 10098.42 1.00
#> U[64] 0.09 0.58 0.08 -0.88 1.04 14011.39 1.00
#> U[65] 0.03 0.59 0.04 -0.93 0.99 11286.75 1.00
#> U[66] 1.12 0.59 1.13 0.13 2.07 11269.78 1.00
#> U[67] -1.26 0.58 -1.26 -2.21 -0.32 12066.69 1.00
#> U[68] 0.35 0.59 0.35 -0.66 1.30 13870.54 1.00
#> U[69] 1.19 0.58 1.19 0.28 2.17 12341.05 1.00
#> U[70] -0.48 0.59 -0.49 -1.48 0.45 12404.10 1.00
#> U[71] -0.71 0.57 -0.71 -1.63 0.24 11986.85 1.00
#> U[72] -0.89 0.58 -0.89 -1.81 0.07 13666.83 1.00
#> U[73] 1.23 0.59 1.23 0.25 2.17 12336.82 1.00
#> U[74] -0.18 0.59 -0.18 -1.12 0.81 12545.44 1.00
#> U[75] 1.26 0.58 1.26 0.30 2.19 12844.00 1.00
#> U[76] -0.20 0.59 -0.20 -1.17 0.76 11698.53 1.00
#> U[77] -0.21 0.58 -0.21 -1.16 0.74 12358.45 1.00
#> U[78] 0.45 0.60 0.45 -0.52 1.45 12103.07 1.00
#> U[79] 1.15 0.59 1.15 0.22 2.14 9660.98 1.00
#> U[80] -1.14 0.59 -1.14 -2.10 -0.17 13378.12 1.00
#> U[81] -1.22 0.58 -1.23 -2.17 -0.27 12092.24 1.00
#> U[82] 0.32 0.59 0.32 -0.64 1.29 13847.49 1.00
#> U[83] -2.13 0.58 -2.13 -3.09 -1.20 11433.13 1.00
#> U[84] -0.39 0.58 -0.39 -1.39 0.52 13003.93 1.00
#> U[85] 0.17 0.61 0.18 -0.83 1.16 12147.86 1.00
#> U[86] -0.70 0.58 -0.69 -1.66 0.26 13247.53 1.00
#> U[87] -0.88 0.58 -0.88 -1.89 0.02 13375.80 1.00
#> U[88] 0.64 0.60 0.64 -0.33 1.63 14753.49 1.00
#> U[89] -1.10 0.59 -1.10 -2.06 -0.14 13158.03 1.00
#> U[90] 0.88 0.59 0.88 -0.10 1.82 13778.42 1.00
#> U[91] -1.01 0.59 -1.01 -1.98 -0.05 11237.97 1.00
#> U[92] 0.01 0.59 0.02 -0.98 0.96 13643.96 1.00
#> U[93] -0.69 0.60 -0.69 -1.67 0.30 13084.90 1.00
#> U[94] -0.00 0.59 -0.00 -1.01 0.93 12732.53 1.00
#> U[95] 0.81 0.57 0.81 -0.11 1.79 12694.11 1.00
#> U[96] -0.33 0.59 -0.33 -1.31 0.62 15692.59 1.00
#> U[97] -1.09 0.59 -1.09 -2.07 -0.10 12472.36 1.00
#> U[98] -1.22 0.59 -1.23 -2.20 -0.28 8838.72 1.00
#> U[99] -1.11 0.58 -1.11 -2.10 -0.17 10466.06 1.00
#> U[100] -0.83 0.59 -0.82 -1.80 0.15 11928.80 1.00
#> U[101] -0.49 0.58 -0.49 -1.43 0.46 14035.03 1.00
#> U[102] -0.66 0.59 -0.66 -1.64 0.28 14393.13 1.00
#> U[103] 0.19 0.59 0.18 -0.82 1.14 7924.52 1.00
#> U[104] 0.89 0.57 0.89 -0.05 1.82 11962.30 1.00
#> U[105] 0.73 0.58 0.72 -0.16 1.74 12317.05 1.00
#> U[106] -0.57 0.58 -0.56 -1.51 0.40 11928.89 1.00
#> U[107] -0.23 0.59 -0.23 -1.21 0.75 11338.78 1.00
#> U[108] 0.04 0.58 0.04 -0.95 0.97 13271.67 1.00
#> U[109] 0.40 0.58 0.39 -0.52 1.35 10169.48 1.00
#> U[110] 0.51 0.57 0.51 -0.47 1.40 13637.87 1.00
#> U[111] 1.12 0.59 1.12 0.19 2.12 11497.25 1.00
#> U[112] -0.11 0.58 -0.11 -1.06 0.84 13513.47 1.00
#> U[113] 1.31 0.59 1.31 0.37 2.30 9924.64 1.00
#> U[114] -0.81 0.58 -0.81 -1.78 0.15 12868.99 1.00
#> U[115] -1.03 0.58 -1.03 -1.98 -0.07 14744.68 1.00
#> U[116] 1.32 0.58 1.31 0.38 2.29 12470.25 1.00
#> U[117] 0.88 0.59 0.89 -0.12 1.83 12804.00 1.00
#> U[118] -1.09 0.59 -1.09 -2.01 -0.09 10777.46 1.00
#> U[119] 0.90 0.60 0.90 -0.05 1.91 9138.98 1.00
#> U[120] 0.74 0.59 0.74 -0.27 1.67 10310.43 1.00
#> U[121] -0.18 0.58 -0.18 -1.18 0.73 11969.19 1.00
#> U[122] 1.94 0.59 1.95 1.00 2.93 11160.77 1.00
#> U[123] 1.50 0.60 1.50 0.49 2.44 10927.63 1.00
#> U[124] 1.16 0.58 1.17 0.20 2.13 12306.13 1.00
#> U[125] -0.38 0.59 -0.38 -1.33 0.61 10683.76 1.00
#> U[126] -0.34 0.59 -0.34 -1.36 0.60 14485.48 1.00
#> U[127] 0.93 0.59 0.93 -0.06 1.88 12883.29 1.00
#> U[128] -0.24 0.59 -0.24 -1.19 0.74 12373.53 1.00
#> U[129] 0.11 0.58 0.11 -0.85 1.06 15170.94 1.00
#> U[130] -0.90 0.59 -0.91 -1.95 -0.01 15306.65 1.00
#> U[131] 0.48 0.59 0.48 -0.51 1.41 13110.90 1.00
#> U[132] -0.19 0.58 -0.19 -1.17 0.77 13913.09 1.00
#> U[133] -1.25 0.59 -1.24 -2.21 -0.27 13904.50 1.00
#> U[134] 0.15 0.59 0.15 -0.84 1.11 10850.29 1.00
#> U[135] -0.67 0.60 -0.67 -1.63 0.34 14721.89 1.00
#> U[136] 0.38 0.59 0.38 -0.66 1.30 10986.46 1.00
#> U[137] -0.89 0.59 -0.89 -1.86 0.07 10068.80 1.00
#> U[138] 0.47 0.58 0.47 -0.47 1.45 13443.37 1.00
#> U[139] -0.90 0.60 -0.91 -1.92 0.04 13741.88 1.00
#> U[140] 1.10 0.59 1.10 0.14 2.08 11619.80 1.00
#> U[141] 1.66 0.59 1.66 0.71 2.66 11570.02 1.00
#> U[142] 0.27 0.60 0.27 -0.73 1.23 13717.42 1.00
#> U[143] -1.63 0.60 -1.64 -2.61 -0.67 9427.97 1.00
#> U[144] -0.04 0.59 -0.03 -0.99 0.96 11811.20 1.00
#> U[145] -0.29 0.60 -0.29 -1.20 0.76 13313.65 1.00
#> U[146] -0.92 0.58 -0.93 -1.86 0.06 12563.63 1.00
#> U[147] 0.12 0.59 0.12 -0.86 1.07 13182.98 1.00
#> U[148] -0.39 0.58 -0.39 -1.38 0.53 13617.31 1.00
#> U[149] -0.90 0.58 -0.90 -1.83 0.05 14978.40 1.00
#> U[150] 0.05 0.59 0.05 -0.91 1.03 12645.81 1.00
#> U[151] -1.28 0.59 -1.28 -2.25 -0.33 13428.76 1.00
#> U[152] 0.06 0.59 0.04 -0.89 1.06 11111.32 1.00
#> U[153] 1.22 0.58 1.23 0.27 2.18 12885.03 1.00
#> U[154] -0.17 0.59 -0.18 -1.15 0.80 11530.06 1.00
#> U[155] 0.37 0.58 0.36 -0.60 1.30 13530.66 1.00
#> U[156] 2.09 0.58 2.09 1.15 3.05 13852.77 1.00
#> U[157] 0.49 0.60 0.48 -0.48 1.50 9804.98 1.00
#> U[158] 1.15 0.57 1.15 0.22 2.10 11514.93 1.00
#> U[159] -0.35 0.59 -0.34 -1.34 0.59 13028.59 1.00
#> U[160] 1.36 0.59 1.36 0.36 2.29 10520.79 1.00
#> U[161] 0.30 0.59 0.30 -0.62 1.30 11782.84 1.00
#> U[162] -0.85 0.59 -0.85 -1.79 0.13 14349.73 1.00
#> U[163] 0.40 0.59 0.40 -0.55 1.39 12865.53 1.00
#> U[164] 0.95 0.58 0.95 -0.01 1.88 14255.03 1.00
#> U[165] -0.30 0.58 -0.30 -1.22 0.70 12373.07 1.00
#> U[166] 0.15 0.58 0.15 -0.80 1.12 14312.39 1.00
#> U[167] 0.26 0.60 0.26 -0.73 1.25 12285.91 1.00
#> U[168] -0.39 0.58 -0.39 -1.30 0.59 12002.92 1.00
#> U[169] -0.07 0.57 -0.07 -1.03 0.87 15105.86 1.00
#> U[170] -0.05 0.59 -0.04 -1.00 0.93 8541.24 1.00
#> U[171] 1.08 0.59 1.09 0.10 2.06 13168.95 1.00
#> U[172] 0.40 0.58 0.40 -0.59 1.33 10106.27 1.00
#> U[173] -0.25 0.58 -0.25 -1.18 0.73 14602.68 1.00
#> U[174] -0.11 0.58 -0.11 -1.10 0.80 11096.23 1.00
#> U[175] 0.24 0.58 0.25 -0.68 1.21 11934.20 1.00
#> U[176] -0.58 0.59 -0.58 -1.55 0.37 13756.38 1.00
#> U[177] 1.09 0.59 1.09 0.17 2.10 11548.47 1.00
#> U[178] -0.58 0.59 -0.58 -1.54 0.42 12597.36 1.00
#> U[179] -0.01 0.59 -0.01 -0.98 0.97 13612.65 1.00
#> U[180] 1.14 0.60 1.14 0.18 2.15 12123.83 1.00
#> U[181] 0.93 0.59 0.93 -0.05 1.88 11352.85 1.00
#> U[182] -0.00 0.59 -0.00 -0.96 0.96 12502.24 1.00
#> U[183] -0.16 0.60 -0.16 -1.11 0.86 10178.72 1.00
#> U[184] -0.37 0.58 -0.37 -1.35 0.54 12734.02 1.00
#> U[185] 0.65 0.58 0.65 -0.27 1.64 12631.99 1.00
#> U[186] -1.47 0.59 -1.46 -2.44 -0.50 11059.01 1.00
#> U[187] -0.67 0.59 -0.66 -1.67 0.27 9788.89 1.00
#> U[188] -0.33 0.59 -0.34 -1.31 0.61 12356.98 1.00
#> U[189] 0.63 0.59 0.64 -0.34 1.58 13301.83 1.00
#> U[190] -0.24 0.59 -0.24 -1.20 0.74 10879.36 1.00
#> U[191] 0.13 0.58 0.13 -0.83 1.07 13282.46 1.00
#> U[192] -0.20 0.59 -0.20 -1.21 0.75 9960.53 1.00
#> U[193] 0.28 0.59 0.28 -0.65 1.27 13071.30 1.00
#> U[194] -0.12 0.59 -0.12 -1.04 0.90 14620.62 1.00
#> U[195] 1.17 0.59 1.17 0.18 2.11 9312.39 1.00
#> U[196] 0.26 0.59 0.26 -0.72 1.22 11501.06 1.00
#> U[197] -0.84 0.59 -0.84 -1.81 0.12 12769.89 1.00
#> U[198] -0.49 0.59 -0.49 -1.41 0.52 13427.34 1.00
#> U[199] -0.70 0.59 -0.69 -1.68 0.24 13431.23 1.00
#> U[200] 0.38 0.59 0.38 -0.59 1.35 11132.34 1.00
#> U[201] -0.03 0.58 -0.04 -0.96 0.94 12539.79 1.00
#> U[202] -0.16 0.58 -0.17 -1.07 0.85 13512.13 1.00
#> U[203] -0.14 0.59 -0.14 -1.10 0.82 12450.76 1.00
#> U[204] 0.13 0.58 0.14 -0.85 1.05 12175.55 1.00
#> U[205] -1.35 0.59 -1.35 -2.31 -0.38 12687.69 1.00
#> U[206] -0.03 0.59 -0.03 -0.96 0.94 12114.60 1.00
#> U[207] -0.78 0.59 -0.79 -1.78 0.13 12476.86 1.00
#> U[208] 0.04 0.59 0.04 -0.84 1.08 14123.41 1.00
#> U[209] -0.25 0.58 -0.25 -1.23 0.68 14388.18 1.00
#> U[210] 0.03 0.60 0.02 -0.95 1.02 8139.46 1.00
#> U[211] 0.35 0.59 0.35 -0.62 1.34 11449.96 1.00
#> U[212] 0.07 0.59 0.07 -0.85 1.07 10400.93 1.00
#> U[213] 1.96 0.59 1.96 0.96 2.91 11961.33 1.00
#> U[214] 0.12 0.58 0.12 -0.85 1.03 13457.63 1.00
#> U[215] 0.70 0.60 0.71 -0.28 1.70 11104.02 1.00
#> U[216] 0.09 0.58 0.10 -0.90 1.03 12337.94 1.00
#> U[217] -1.03 0.57 -1.04 -1.94 -0.06 12580.81 1.00
#> U[218] 1.31 0.58 1.31 0.33 2.24 11447.63 1.00
#> U[219] -0.83 0.60 -0.84 -1.80 0.14 13151.71 1.00
#> U[220] -0.84 0.59 -0.84 -1.78 0.16 13722.77 1.00
#> U[221] 0.20 0.60 0.21 -0.79 1.18 13758.94 1.00
#> U[222] -0.77 0.58 -0.78 -1.69 0.21 10855.41 1.00
#> U[223] -0.70 0.59 -0.70 -1.67 0.27 12255.26 1.00
#> U[224] -0.33 0.59 -0.33 -1.27 0.63 12311.16 1.00
#> U[225] -0.28 0.58 -0.27 -1.26 0.62 12315.86 1.00
#> U[226] 0.28 0.58 0.27 -0.67 1.24 14780.88 1.00
#> U[227] -0.10 0.59 -0.09 -1.04 0.90 9898.39 1.00
#> U[228] 1.06 0.59 1.06 0.08 2.03 11553.76 1.00
#> U[229] 0.37 0.59 0.37 -0.61 1.34 10324.40 1.00
#> U[230] -0.34 0.59 -0.35 -1.28 0.63 12025.01 1.00
#> U[231] -0.37 0.59 -0.38 -1.37 0.53 13633.08 1.00
#> U[232] -0.16 0.58 -0.16 -1.10 0.80 12826.48 1.00
#> U[233] 0.90 0.57 0.90 -0.01 1.87 12082.30 1.00
#> U[234] -0.19 0.58 -0.19 -1.12 0.81 13799.25 1.00
#> U[235] 1.21 0.60 1.21 0.20 2.18 10358.07 1.00
#> U[236] 2.40 0.58 2.40 1.45 3.37 7544.78 1.00
#> U[237] 0.20 0.58 0.20 -0.75 1.15 14363.50 1.00
#> U[238] -1.04 0.59 -1.04 -1.99 -0.06 16554.52 1.00
#> U[239] -1.11 0.60 -1.11 -2.05 -0.12 12873.16 1.00
#> U[240] -0.15 0.59 -0.15 -1.12 0.81 8565.71 1.00
#> U[241] 0.55 0.59 0.55 -0.39 1.54 13030.71 1.00
#> U[242] -0.64 0.58 -0.64 -1.60 0.31 13221.54 1.00
#> U[243] 0.08 0.59 0.08 -0.90 1.04 11692.27 1.00
#> U[244] 0.28 0.59 0.28 -0.66 1.28 12858.59 1.00
#> U[245] 0.72 0.59 0.73 -0.24 1.70 12500.04 1.00
#> U[246] -0.73 0.59 -0.73 -1.66 0.26 12717.40 1.00
#> U[247] 0.08 0.60 0.07 -0.88 1.07 12960.24 1.00
#> U[248] -0.53 0.59 -0.53 -1.55 0.38 13319.87 1.00
#> U[249] 0.77 0.58 0.78 -0.19 1.71 13274.38 1.00
#> U[250] -1.24 0.59 -1.25 -2.16 -0.25 13571.58 1.00
#> U[251] 0.59 0.59 0.58 -0.42 1.52 10683.81 1.00
#> U[252] -1.11 0.59 -1.12 -2.10 -0.15 8364.42 1.00
#> U[253] -0.46 0.59 -0.46 -1.39 0.58 12855.43 1.00
#> U[254] 1.03 0.60 1.03 0.04 2.00 9939.35 1.00
#> U[255] 0.51 0.58 0.51 -0.46 1.44 12773.67 1.00
#> U[256] -0.80 0.60 -0.80 -1.74 0.23 11032.24 1.00
#> U[257] -0.58 0.59 -0.58 -1.55 0.38 15300.66 1.00
#> U[258] 1.92 0.58 1.92 0.99 2.89 12025.58 1.00
#> U[259] -0.28 0.58 -0.28 -1.18 0.74 12904.97 1.00
#> U[260] 0.02 0.60 0.02 -0.96 1.00 12452.41 1.00
#> U[261] -1.71 0.58 -1.71 -2.66 -0.73 14107.61 1.00
#> U[262] 1.06 0.59 1.07 0.06 2.00 11191.22 1.00
#> U[263] 0.30 0.60 0.29 -0.69 1.27 7406.29 1.00
#> U[264] -0.26 0.58 -0.26 -1.25 0.66 12780.44 1.00
#> U[265] -0.25 0.58 -0.24 -1.21 0.67 12804.31 1.00
#> U[266] 1.07 0.58 1.07 0.10 2.01 13126.02 1.00
#> U[267] -0.36 0.60 -0.36 -1.33 0.64 13683.62 1.00
#> U[268] 0.15 0.60 0.15 -0.89 1.08 13740.85 1.00
#> U[269] 0.32 0.57 0.33 -0.61 1.27 11606.54 1.00
#> U[270] 0.96 0.58 0.96 -0.01 1.90 11056.35 1.00
#> U[271] -0.23 0.58 -0.23 -1.20 0.71 12784.81 1.00
#> U[272] 1.56 0.58 1.56 0.55 2.47 12928.06 1.00
#> U[273] 0.52 0.59 0.51 -0.49 1.47 11668.35 1.00
#> U[274] 0.16 0.59 0.16 -0.83 1.09 11545.89 1.00
#> U[275] 1.46 0.59 1.45 0.53 2.45 12078.51 1.00
#> U[276] 0.21 0.58 0.22 -0.71 1.21 14120.93 1.00
#> U[277] 1.81 0.58 1.82 0.88 2.80 12174.92 1.00
#> U[278] -0.24 0.58 -0.24 -1.14 0.78 12455.34 1.00
#> U[279] -0.64 0.59 -0.65 -1.62 0.30 12811.67 1.00
#> U[280] -0.28 0.59 -0.29 -1.24 0.70 11894.67 1.00
#> U[281] 0.24 0.59 0.24 -0.73 1.20 13934.58 1.00
#> U[282] 0.03 0.59 0.04 -0.93 1.00 13446.72 1.00
#> U[283] 0.35 0.57 0.35 -0.58 1.30 12492.87 1.00
#> U[284] 0.54 0.58 0.54 -0.41 1.52 12001.27 1.00
#> U[285] -0.56 0.58 -0.56 -1.48 0.40 11657.50 1.00
#> U[286] -0.79 0.58 -0.79 -1.74 0.18 12871.04 1.00
#> U[287] 0.19 0.59 0.20 -0.76 1.16 12924.71 1.00
#> U[288] -1.36 0.58 -1.36 -2.31 -0.39 15304.16 1.00
#> U[289] 1.95 0.59 1.95 0.96 2.92 11218.10 1.00
#> U[290] 0.17 0.59 0.17 -0.80 1.14 10590.40 1.00
#> U[291] -1.13 0.60 -1.13 -2.10 -0.14 6834.80 1.00
#> U[292] -1.07 0.58 -1.07 -2.06 -0.14 13923.23 1.00
#> U[293] -0.24 0.59 -0.24 -1.21 0.72 13592.64 1.00
#> U[294] -1.08 0.59 -1.08 -2.02 -0.08 13524.68 1.00
#> U[295] -0.08 0.58 -0.08 -1.02 0.86 11756.73 1.00
#> U[296] -1.27 0.59 -1.27 -2.25 -0.32 12176.58 1.00
#> U[297] 0.55 0.59 0.55 -0.42 1.51 12442.86 1.00
#> U[298] 0.94 0.60 0.94 -0.03 1.94 13583.01 1.00
#> U[299] -0.35 0.58 -0.36 -1.34 0.56 13882.18 1.00
#> U[300] -0.29 0.58 -0.28 -1.25 0.64 12070.29 1.00
#> U[301] -0.77 0.59 -0.78 -1.74 0.21 12006.59 1.00
#> U[302] -0.42 0.58 -0.42 -1.36 0.53 11897.29 1.00
#> U[303] 0.84 0.59 0.84 -0.14 1.80 11475.28 1.00
#> U[304] 0.02 0.58 0.02 -0.96 0.94 12353.85 1.00
#> U[305] -1.12 0.58 -1.13 -2.09 -0.19 12172.69 1.00
#> U[306] -0.94 0.59 -0.94 -1.92 0.01 12668.70 1.00
#> U[307] -0.84 0.58 -0.85 -1.82 0.10 8248.82 1.00
#> U[308] 0.63 0.59 0.63 -0.31 1.63 11022.01 1.00
#> U[309] -1.39 0.59 -1.39 -2.36 -0.40 11446.68 1.00
#> U[310] -0.08 0.59 -0.08 -1.04 0.92 12137.85 1.00
#> U[311] 0.01 0.59 0.01 -0.94 1.02 9753.12 1.00
#> U[312] -0.24 0.58 -0.24 -1.19 0.72 8412.05 1.00
#> U[313] -0.32 0.58 -0.32 -1.23 0.69 12094.94 1.00
#> U[314] -1.03 0.58 -1.04 -2.00 -0.08 13199.30 1.00
#> U[315] 0.07 0.59 0.08 -0.88 1.05 13115.95 1.00
#> U[316] -1.89 0.59 -1.89 -2.83 -0.88 12321.19 1.00
#> U[317] 0.72 0.60 0.72 -0.25 1.73 14303.69 1.00
#> U[318] 1.10 0.60 1.10 0.13 2.11 7664.78 1.00
#> U[319] 1.00 0.59 1.00 0.02 1.97 11615.20 1.00
#> U[320] -0.49 0.58 -0.49 -1.43 0.47 8733.67 1.00
#> U[321] -0.82 0.59 -0.82 -1.76 0.15 13258.53 1.00
#> U[322] -0.24 0.58 -0.24 -1.20 0.71 13118.09 1.00
#> U[323] 0.46 0.58 0.46 -0.45 1.43 10230.53 1.00
#> U[324] 0.87 0.59 0.88 -0.10 1.81 10055.12 1.00
#> U[325] 0.03 0.58 0.04 -0.90 0.99 13478.46 1.00
#> U[326] -0.37 0.59 -0.37 -1.37 0.55 11370.02 1.00
#> U[327] 0.13 0.58 0.14 -0.79 1.14 13399.86 1.00
#> U[328] 0.27 0.58 0.27 -0.72 1.19 11489.27 1.00
#> U[329] -1.42 0.60 -1.42 -2.44 -0.46 12674.05 1.00
#> U[330] -0.28 0.59 -0.28 -1.24 0.67 13391.06 1.00
#> U[331] -0.84 0.60 -0.85 -1.83 0.13 12969.87 1.00
#> U[332] 0.73 0.58 0.72 -0.21 1.70 9327.25 1.00
#> U[333] -0.83 0.58 -0.82 -1.81 0.08 13521.97 1.00
#> U[334] 0.77 0.58 0.76 -0.22 1.67 13779.84 1.00
#> U[335] -0.03 0.59 -0.04 -1.00 0.93 13258.84 1.00
#> U[336] -0.67 0.60 -0.67 -1.68 0.29 9515.27 1.00
#> U[337] -0.41 0.59 -0.41 -1.41 0.53 12407.53 1.00
#> U[338] 0.05 0.59 0.04 -0.95 0.99 11437.37 1.00
#> U[339] -1.11 0.60 -1.12 -2.07 -0.12 8116.53 1.00
#> U[340] -0.13 0.58 -0.13 -1.07 0.83 15405.20 1.00
#> U[341] 0.23 0.58 0.23 -0.72 1.19 9983.91 1.00
#> U[342] 0.69 0.60 0.69 -0.26 1.72 12528.65 1.00
#> U[343] 0.02 0.60 0.02 -0.98 0.98 9499.49 1.00
#> U[344] 2.43 0.59 2.44 1.43 3.37 9620.44 1.00
#> U[345] 0.50 0.59 0.51 -0.44 1.50 13613.61 1.00
#> U[346] 0.66 0.59 0.67 -0.33 1.61 10430.11 1.00
#> U[347] 0.53 0.58 0.52 -0.44 1.48 13696.29 1.00
#> U[348] 0.11 0.59 0.11 -0.88 1.06 12143.06 1.00
#> U[349] 0.66 0.57 0.66 -0.22 1.64 12472.91 1.00
#> U[350] -0.52 0.59 -0.53 -1.43 0.51 8613.52 1.00
#> U[351] 0.75 0.57 0.76 -0.21 1.66 13631.38 1.00
#> U[352] -1.90 0.59 -1.91 -2.87 -0.96 12857.42 1.00
#> U[353] -0.14 0.59 -0.14 -1.14 0.80 12752.39 1.00
#> U[354] 0.04 0.58 0.05 -0.92 0.96 12365.87 1.00
#> U[355] 0.70 0.58 0.71 -0.27 1.64 13293.08 1.00
#> U[356] -0.03 0.59 -0.02 -1.00 0.94 12399.13 1.00
#> U[357] 1.04 0.60 1.04 -0.00 1.97 9946.34 1.00
#> U[358] 0.83 0.61 0.83 -0.21 1.81 9919.16 1.00
#> U[359] 0.33 0.60 0.33 -0.68 1.31 5532.99 1.00
#> U[360] 0.34 0.58 0.34 -0.60 1.29 13596.44 1.00
#> U[361] -0.37 0.58 -0.38 -1.31 0.56 12242.07 1.00
#> U[362] -0.57 0.58 -0.57 -1.50 0.38 11309.66 1.00
#> U[363] -0.91 0.58 -0.91 -1.91 -0.01 12271.88 1.00
#> U[364] 0.35 0.58 0.36 -0.64 1.26 12653.10 1.00
#> U[365] 1.09 0.59 1.10 0.08 2.00 10599.77 1.00
#> U[366] -0.12 0.60 -0.13 -1.12 0.84 12461.51 1.00
#> U[367] -0.73 0.58 -0.73 -1.64 0.27 13220.86 1.00
#> U[368] -0.07 0.59 -0.06 -1.07 0.88 11894.29 1.00
#> U[369] 0.51 0.57 0.51 -0.44 1.42 12089.61 1.00
#> U[370] 0.09 0.59 0.09 -0.89 1.03 12338.97 1.00
#> U[371] 0.23 0.59 0.23 -0.74 1.20 12326.06 1.00
#> U[372] 0.26 0.57 0.26 -0.65 1.24 13746.78 1.00
#> U[373] -1.74 0.58 -1.74 -2.69 -0.79 13217.61 1.00
#> U[374] 0.94 0.59 0.94 -0.04 1.87 13286.25 1.00
#> U[375] 0.06 0.58 0.06 -0.89 1.02 11834.92 1.00
#> U[376] -0.81 0.59 -0.81 -1.78 0.15 11200.35 1.00
#> U[377] -0.55 0.59 -0.55 -1.54 0.39 13532.42 1.00
#> U[378] 0.16 0.59 0.15 -0.80 1.12 11956.09 1.00
#> U[379] 1.12 0.58 1.12 0.13 2.04 12594.93 1.00
#> U[380] 0.39 0.58 0.39 -0.56 1.35 11367.18 1.00
#> U[381] -0.27 0.57 -0.26 -1.19 0.66 12903.09 1.00
#> U[382] -0.73 0.58 -0.73 -1.66 0.25 12222.95 1.00
#> U[383] 1.15 0.60 1.15 0.17 2.10 12792.96 1.00
#> U[384] -0.67 0.59 -0.66 -1.62 0.34 10580.35 1.00
#> U[385] 1.01 0.58 1.02 0.07 1.98 10839.79 1.00
#> U[386] 0.25 0.59 0.24 -0.70 1.21 11055.16 1.00
#> U[387] 0.66 0.61 0.66 -0.35 1.65 8521.55 1.00
#> U[388] 0.35 0.57 0.35 -0.60 1.27 11991.65 1.00
#> U[389] -0.44 0.58 -0.44 -1.39 0.50 13551.91 1.00
#> U[390] 0.43 0.59 0.43 -0.51 1.41 13205.40 1.00
#> U[391] 0.42 0.59 0.41 -0.53 1.41 12147.62 1.00
#> U[392] 0.27 0.59 0.27 -0.69 1.23 10853.26 1.00
#> U[393] -0.13 0.59 -0.14 -1.07 0.85 12444.05 1.00
#> U[394] 0.07 0.60 0.07 -0.95 1.03 11183.61 1.00
#> U[395] -0.45 0.59 -0.45 -1.42 0.52 10406.10 1.00
#> U[396] 0.17 0.59 0.16 -0.78 1.15 13547.67 1.00
#> U[397] 1.24 0.61 1.23 0.24 2.24 7921.25 1.00
#> U[398] -1.77 0.57 -1.77 -2.70 -0.83 16355.62 1.00
#> U[399] 0.81 0.59 0.81 -0.16 1.78 12846.81 1.00
#> U[400] 0.24 0.59 0.23 -0.69 1.25 9787.17 1.00
#> U[401] -0.08 0.58 -0.08 -1.05 0.87 12999.88 1.00
#> U[402] 0.73 0.58 0.73 -0.21 1.69 13454.55 1.00
#> U[403] 1.15 0.58 1.15 0.21 2.09 11408.58 1.00
#> U[404] -0.43 0.60 -0.44 -1.47 0.52 12336.51 1.00
#> U[405] 0.51 0.60 0.52 -0.48 1.51 11158.67 1.00
#> U[406] 0.69 0.59 0.69 -0.27 1.65 8711.94 1.00
#> U[407] 1.41 0.60 1.41 0.44 2.42 12849.57 1.00
#> U[408] -1.20 0.59 -1.21 -2.14 -0.21 14740.91 1.00
#> U[409] -0.26 0.58 -0.26 -1.21 0.69 11003.77 1.00
#> U[410] 0.18 0.59 0.18 -0.78 1.15 11036.82 1.00
#> U[411] -0.74 0.59 -0.74 -1.70 0.24 10431.76 1.00
#> U[412] 0.46 0.60 0.45 -0.53 1.45 8007.81 1.00
#> U[413] 0.21 0.60 0.21 -0.80 1.15 12222.35 1.00
#> U[414] -1.52 0.62 -1.53 -2.49 -0.47 9486.41 1.00
#> U[415] 0.42 0.60 0.43 -0.60 1.37 10751.20 1.00
#> U[416] 0.08 0.60 0.08 -0.92 1.02 10155.81 1.00
#> U[417] 0.92 0.58 0.92 -0.01 1.89 14106.48 1.00
#> U[418] 1.03 0.59 1.04 0.04 1.97 10104.92 1.00
#> U[419] -0.87 0.58 -0.87 -1.83 0.07 12832.60 1.00
#> U[420] -0.70 0.59 -0.70 -1.68 0.26 10601.15 1.00
#> U[421] -1.12 0.59 -1.12 -2.08 -0.14 12851.73 1.00
#> U[422] -0.26 0.58 -0.26 -1.20 0.70 12830.76 1.00
#> U[423] 1.63 0.59 1.62 0.65 2.58 11922.33 1.00
#> U[424] -1.91 0.58 -1.91 -2.87 -0.99 14552.48 1.00
#> U[425] 1.20 0.59 1.19 0.21 2.17 11042.18 1.00
#> U[426] 1.84 0.59 1.84 0.87 2.80 13401.04 1.00
#> U[427] -1.19 0.60 -1.19 -2.15 -0.18 11839.04 1.00
#> U[428] -1.75 0.59 -1.75 -2.73 -0.78 13746.05 1.00
#> U[429] 0.14 0.59 0.14 -0.88 1.07 13384.92 1.00
#> U[430] -0.31 0.58 -0.32 -1.26 0.67 11674.92 1.00
#> U[431] -0.77 0.58 -0.77 -1.76 0.17 13262.43 1.00
#> U[432] -1.38 0.59 -1.37 -2.35 -0.40 12342.40 1.00
#> U[433] -1.33 0.59 -1.34 -2.32 -0.40 14373.06 1.00
#> U[434] 0.98 0.60 0.98 -0.01 1.92 12318.99 1.00
#> U[435] -0.40 0.58 -0.40 -1.34 0.58 11703.87 1.00
#> U[436] -0.26 0.58 -0.26 -1.23 0.66 13971.77 1.00
#> U[437] 0.77 0.60 0.78 -0.22 1.72 9286.14 1.00
#> U[438] -1.47 0.60 -1.47 -2.41 -0.48 13094.42 1.00
#> U[439] -0.08 0.58 -0.07 -1.03 0.86 13435.51 1.00
#> U[440] -1.34 0.58 -1.34 -2.30 -0.38 12984.85 1.00
#> U[441] -0.22 0.61 -0.22 -1.22 0.78 11339.79 1.00
#> U[442] -0.05 0.60 -0.05 -1.03 0.95 10156.91 1.00
#> U[443] -0.09 0.59 -0.09 -1.07 0.85 12431.54 1.00
#> U[444] -0.77 0.60 -0.76 -1.76 0.23 10669.00 1.00
#> U[445] 0.41 0.57 0.42 -0.49 1.39 13644.38 1.00
#> U[446] 1.26 0.58 1.25 0.35 2.27 10647.88 1.00
#> U[447] -1.92 0.61 -1.92 -2.90 -0.92 9504.32 1.00
#> U[448] -0.12 0.59 -0.12 -1.10 0.86 13051.01 1.00
#> U[449] 0.31 0.60 0.31 -0.62 1.33 12514.50 1.00
#> U[450] 1.43 0.58 1.43 0.49 2.39 13456.22 1.00
#> U[451] 1.00 0.57 1.00 0.02 1.89 11559.73 1.00
#> U[452] -1.59 0.59 -1.59 -2.58 -0.64 9653.87 1.00
#> U[453] 0.41 0.59 0.41 -0.53 1.41 14173.97 1.00
#> U[454] -0.42 0.59 -0.42 -1.37 0.53 9499.98 1.00
#> U[455] 0.74 0.58 0.75 -0.23 1.66 9384.40 1.00
#> U[456] 0.29 0.58 0.30 -0.69 1.22 13214.30 1.00
#> U[457] 0.49 0.59 0.49 -0.49 1.44 13305.41 1.00
#> U[458] -0.28 0.60 -0.28 -1.27 0.66 13703.11 1.00
#> U[459] -0.40 0.58 -0.39 -1.33 0.60 12742.78 1.00
#> U[460] 0.81 0.58 0.81 -0.16 1.73 13145.57 1.00
#> U[461] -0.70 0.59 -0.70 -1.67 0.28 13865.46 1.00
#> U[462] 0.20 0.59 0.20 -0.80 1.12 10691.42 1.00
#> U[463] 0.37 0.58 0.37 -0.59 1.31 14398.92 1.00
#> U[464] -0.69 0.60 -0.70 -1.64 0.35 10816.96 1.00
#> U[465] -0.41 0.59 -0.42 -1.35 0.59 13068.95 1.00
#> U[466] -0.63 0.59 -0.63 -1.60 0.35 12661.12 1.00
#> U[467] -1.22 0.59 -1.22 -2.20 -0.28 11509.65 1.00
#> U[468] 0.31 0.57 0.31 -0.65 1.22 13620.26 1.00
#> U[469] -0.28 0.58 -0.28 -1.28 0.62 11093.25 1.00
#> U[470] 0.20 0.58 0.20 -0.74 1.18 12344.95 1.00
#> U[471] 0.12 0.60 0.12 -0.85 1.12 14343.69 1.00
#> U[472] -0.88 0.59 -0.88 -1.84 0.10 13781.89 1.00
#> U[473] 0.45 0.58 0.45 -0.51 1.38 14220.89 1.00
#> U[474] 0.21 0.58 0.21 -0.79 1.12 14064.46 1.00
#> U[475] 0.33 0.58 0.33 -0.65 1.25 11517.17 1.00
#> U[476] -0.44 0.57 -0.45 -1.39 0.48 11939.92 1.00
#> U[477] -0.12 0.58 -0.12 -1.08 0.82 11535.72 1.00
#> U[478] -1.02 0.59 -1.03 -1.98 -0.07 13389.66 1.00
#> U[479] -1.96 0.59 -1.96 -2.92 -0.97 12265.09 1.00
#> U[480] -0.41 0.59 -0.42 -1.36 0.57 9788.78 1.00
#> U[481] -0.35 0.59 -0.35 -1.35 0.58 13504.08 1.00
#> U[482] -0.17 0.59 -0.18 -1.15 0.78 9224.85 1.00
#> U[483] 0.43 0.59 0.43 -0.59 1.35 12573.96 1.00
#> U[484] -1.75 0.59 -1.76 -2.69 -0.74 12957.91 1.00
#> U[485] -0.52 0.60 -0.52 -1.49 0.48 9686.98 1.00
#> U[486] 0.60 0.58 0.60 -0.38 1.54 12152.93 1.00
#> U[487] 1.25 0.59 1.26 0.27 2.19 12661.34 1.00
#> U[488] 1.01 0.59 1.02 0.04 1.97 12799.68 1.00
#> U[489] -0.58 0.59 -0.58 -1.53 0.40 12203.01 1.00
#> U[490] -0.70 0.59 -0.70 -1.65 0.30 8913.30 1.00
#> U[491] -2.54 0.59 -2.54 -3.54 -1.60 14101.97 1.00
#> U[492] 0.95 0.59 0.96 -0.03 1.90 10656.72 1.00
#> U[493] 0.96 0.58 0.96 -0.02 1.92 12597.25 1.00
#> U[494] -0.62 0.60 -0.63 -1.60 0.37 11538.90 1.00
#> U[495] 0.57 0.58 0.57 -0.39 1.56 13765.70 1.00
#> U[496] -0.42 0.58 -0.43 -1.38 0.52 11830.30 1.00
#> U[497] 0.26 0.58 0.27 -0.71 1.20 11293.71 1.00
#> U[498] 0.84 0.59 0.84 -0.11 1.80 12403.20 1.00
#> U[499] 1.28 0.58 1.29 0.31 2.23 14402.89 1.00
#> U[500] -0.32 0.59 -0.33 -1.31 0.60 9758.22 1.00
#> U[501] -0.25 0.59 -0.25 -1.20 0.73 13770.03 1.00
#> U[502] -0.79 0.58 -0.79 -1.78 0.12 13172.57 1.00
#> U[503] -1.46 0.56 -1.45 -2.39 -0.55 15181.34 1.00
#> U[504] -1.39 0.59 -1.39 -2.33 -0.40 10216.67 1.00
#> U[505] 0.20 0.60 0.21 -0.79 1.15 12407.52 1.00
#> U[506] 0.75 0.57 0.75 -0.20 1.68 12067.76 1.00
#> U[507] 1.11 0.59 1.12 0.11 2.05 9159.21 1.00
#> U[508] -0.55 0.59 -0.55 -1.50 0.42 12372.61 1.00
#> U[509] -0.57 0.57 -0.58 -1.46 0.43 10299.20 1.00
#> U[510] -0.81 0.57 -0.80 -1.77 0.13 14652.82 1.00
#> U[511] -1.10 0.59 -1.11 -2.04 -0.08 14029.27 1.00
#> U[512] -0.39 0.59 -0.39 -1.38 0.54 11427.16 1.00
#> U[513] -0.45 0.59 -0.45 -1.40 0.55 12796.08 1.00
#> U[514] -0.04 0.59 -0.03 -0.99 0.95 12190.68 1.00
#> U[515] -0.05 0.60 -0.05 -1.05 0.90 11292.64 1.00
#> U[516] -0.15 0.59 -0.15 -1.09 0.85 11743.15 1.00
#> U[517] -1.07 0.59 -1.07 -2.01 -0.06 9000.28 1.00
#> U[518] -0.50 0.58 -0.50 -1.50 0.42 13325.82 1.00
#> U[519] -0.23 0.58 -0.22 -1.18 0.73 13809.36 1.00
#> U[520] 0.57 0.60 0.57 -0.41 1.55 12545.69 1.00
#> U[521] -0.40 0.59 -0.40 -1.40 0.52 11252.15 1.00
#> U[522] 1.63 0.58 1.64 0.68 2.59 11041.84 1.00
#> U[523] -0.19 0.57 -0.19 -1.13 0.73 12881.47 1.00
#> U[524] -0.22 0.59 -0.22 -1.12 0.78 12379.76 1.00
#> U[525] 1.14 0.59 1.15 0.15 2.09 12905.90 1.00
#> U[526] -0.07 0.59 -0.07 -1.02 0.92 14284.69 1.00
#> U[527] 1.09 0.58 1.09 0.17 2.08 11165.32 1.00
#> U[528] -0.71 0.59 -0.70 -1.70 0.25 14146.24 1.00
#> U[529] -0.66 0.58 -0.67 -1.63 0.29 14276.23 1.00
#> U[530] 0.97 0.58 0.99 0.04 1.95 14085.96 1.00
#> U[531] -0.09 0.59 -0.10 -1.07 0.87 13267.12 1.00
#> U[532] 1.83 0.59 1.82 0.88 2.78 13247.83 1.00
#> U[533] -0.22 0.59 -0.22 -1.19 0.76 11543.46 1.00
#> U[534] 0.92 0.58 0.93 -0.04 1.84 10059.31 1.00
#> U[535] -0.98 0.60 -0.98 -1.95 -0.00 11535.46 1.00
#> U[536] -1.21 0.60 -1.22 -2.15 -0.19 9075.58 1.00
#> U[537] 0.25 0.59 0.25 -0.66 1.28 12240.71 1.00
#> U[538] 1.23 0.59 1.23 0.24 2.18 12795.25 1.00
#> U[539] -0.34 0.59 -0.34 -1.32 0.64 11372.96 1.00
#> U[540] -0.55 0.59 -0.55 -1.49 0.44 15017.37 1.00
#> U[541] -1.41 0.60 -1.42 -2.38 -0.41 11793.10 1.00
#> U[542] 1.55 0.60 1.55 0.55 2.51 11007.70 1.00
#> U[543] 1.51 0.58 1.51 0.58 2.50 12449.36 1.00
#> U[544] 0.17 0.59 0.17 -0.82 1.12 13829.54 1.00
#> U[545] 0.68 0.58 0.68 -0.19 1.72 13208.38 1.00
#> U[546] 0.04 0.58 0.05 -0.94 0.98 13139.22 1.00
#> U[547] -0.73 0.59 -0.73 -1.70 0.22 13067.44 1.00
#> U[548] 1.05 0.60 1.06 0.08 2.04 9932.12 1.00
#> U[549] 0.79 0.60 0.80 -0.24 1.76 11270.32 1.00
#> U[550] -0.43 0.58 -0.43 -1.41 0.50 12783.71 1.00
#> U[551] 1.94 0.59 1.93 0.98 2.90 13426.83 1.00
#> U[552] -0.76 0.59 -0.76 -1.71 0.21 13991.64 1.00
#> U[553] -0.12 0.59 -0.11 -1.07 0.86 10254.58 1.00
#> U[554] -0.82 0.59 -0.82 -1.80 0.12 13332.22 1.00
#> U[555] 0.78 0.59 0.78 -0.20 1.73 11886.46 1.00
#> U[556] -0.26 0.60 -0.26 -1.20 0.75 11896.32 1.00
#> U[557] 0.77 0.59 0.77 -0.22 1.73 13816.35 1.00
#> U[558] -0.30 0.59 -0.30 -1.23 0.68 14020.21 1.00
#> U[559] 1.62 0.59 1.63 0.66 2.62 13149.90 1.00
#> U[560] 1.53 0.59 1.54 0.56 2.48 14112.68 1.00
#> U[561] 1.19 0.57 1.19 0.24 2.10 11032.19 1.00
#> U[562] 0.49 0.59 0.49 -0.50 1.43 8911.21 1.00
#> U[563] 0.22 0.59 0.22 -0.78 1.18 10122.46 1.00
#> U[564] 0.32 0.58 0.32 -0.63 1.29 13641.73 1.00
#> U[565] 0.22 0.57 0.23 -0.71 1.14 12037.45 1.00
#> U[566] 0.15 0.59 0.15 -0.80 1.12 11211.73 1.00
#> U[567] -2.01 0.59 -2.02 -2.98 -1.05 12184.60 1.00
#> U[568] -1.72 0.59 -1.72 -2.67 -0.73 11628.55 1.00
#> U[569] 0.14 0.59 0.14 -0.84 1.09 12749.36 1.00
#> U[570] -1.35 0.59 -1.35 -2.32 -0.40 9137.02 1.00
#> U[571] 1.87 0.60 1.87 0.88 2.83 11329.97 1.00
#> U[572] -0.20 0.59 -0.20 -1.18 0.78 11542.83 1.00
#> U[573] -0.78 0.59 -0.77 -1.76 0.16 12822.03 1.00
#> U[574] 1.46 0.59 1.47 0.44 2.39 13244.25 1.00
#> U[575] 0.19 0.59 0.18 -0.79 1.15 11483.00 1.00
#> U[576] 0.29 0.59 0.29 -0.70 1.26 13614.14 1.00
#> U[577] 0.11 0.59 0.11 -0.87 1.07 12950.37 1.00
#> U[578] 0.80 0.57 0.80 -0.09 1.78 14573.06 1.00
#> U[579] -0.49 0.58 -0.48 -1.49 0.42 12991.66 1.00
#> U[580] -1.62 0.59 -1.62 -2.56 -0.64 12195.17 1.00
#> U[581] -0.80 0.58 -0.80 -1.75 0.15 13906.27 1.00
#> U[582] -0.26 0.58 -0.26 -1.22 0.69 12594.05 1.00
#> U[583] -0.26 0.59 -0.26 -1.20 0.73 16095.47 1.00
#> U[584] -0.27 0.59 -0.27 -1.26 0.67 12130.10 1.00
#> U[585] -0.42 0.58 -0.42 -1.36 0.56 14090.59 1.00
#> U[586] 0.14 0.59 0.14 -0.86 1.08 13292.05 1.00
#> U[587] 0.57 0.60 0.57 -0.42 1.55 12871.18 1.00
#> U[588] 1.11 0.59 1.11 0.15 2.06 10841.67 1.00
#> U[589] 0.88 0.59 0.89 -0.07 1.86 12166.82 1.00
#> U[590] 0.94 0.58 0.93 -0.05 1.84 11710.67 1.00
#> U[591] -0.13 0.59 -0.13 -1.09 0.84 14762.65 1.00
#> U[592] 1.00 0.60 1.01 0.03 1.98 10940.15 1.00
#> U[593] 0.64 0.58 0.63 -0.35 1.59 12058.88 1.00
#> U[594] 0.85 0.59 0.85 -0.14 1.79 10580.93 1.00
#> U[595] -0.11 0.57 -0.12 -1.05 0.82 12914.79 1.00
#> U[596] -0.91 0.58 -0.91 -1.85 0.05 16036.00 1.00
#> U[597] -0.04 0.60 -0.04 -1.03 0.95 13950.67 1.00
#> U[598] -0.29 0.59 -0.29 -1.23 0.67 12969.37 1.00
#> U[599] 1.56 0.59 1.56 0.62 2.58 13727.98 1.00
#> U[600] 0.50 0.57 0.50 -0.47 1.40 12593.65 1.00
#> U[601] 0.38 0.59 0.39 -0.55 1.38 14369.76 1.00
#> U[602] 0.80 0.58 0.80 -0.11 1.76 11591.84 1.00
#> U[603] -0.48 0.59 -0.48 -1.44 0.51 13491.33 1.00
#> U[604] 0.18 0.58 0.17 -0.79 1.11 11519.48 1.00
#> U[605] -1.13 0.60 -1.14 -2.10 -0.12 14111.74 1.00
#> U[606] -0.65 0.58 -0.66 -1.57 0.31 12445.59 1.00
#> U[607] -0.30 0.59 -0.29 -1.27 0.67 12959.59 1.00
#> U[608] -1.59 0.60 -1.59 -2.61 -0.65 14391.90 1.00
#> U[609] 0.38 0.59 0.37 -0.55 1.38 11794.54 1.00
#> U[610] 0.12 0.58 0.12 -0.83 1.07 12847.28 1.00
#> U[611] 0.41 0.58 0.41 -0.58 1.35 14560.69 1.00
#> U[612] -0.87 0.58 -0.87 -1.86 0.05 13966.40 1.00
#> U[613] 1.04 0.58 1.05 0.06 1.99 12395.25 1.00
#> U[614] -1.21 0.61 -1.22 -2.16 -0.20 8226.24 1.00
#> U[615] -0.69 0.59 -0.69 -1.64 0.28 13433.42 1.00
#> U[616] 0.11 0.58 0.12 -0.84 1.07 11015.20 1.00
#> U[617] 1.68 0.59 1.68 0.72 2.64 11268.38 1.00
#> U[618] 0.32 0.58 0.32 -0.65 1.26 12029.81 1.00
#> U[619] 0.42 0.59 0.42 -0.51 1.42 14806.23 1.00
#> U[620] 0.63 0.58 0.63 -0.33 1.57 14123.87 1.00
#> U[621] 0.07 0.59 0.08 -0.90 1.02 12143.11 1.00
#> U[622] -0.12 0.59 -0.12 -1.12 0.79 11559.07 1.00
#> U[623] -0.50 0.59 -0.51 -1.41 0.54 11697.86 1.00
#> U[624] 0.76 0.58 0.77 -0.19 1.71 8430.68 1.00
#> U[625] 0.61 0.58 0.61 -0.33 1.58 12780.25 1.00
#> U[626] -1.07 0.60 -1.07 -2.05 -0.08 15134.25 1.00
#> U[627] -1.28 0.59 -1.28 -2.26 -0.32 12161.10 1.00
#> U[628] -0.53 0.60 -0.53 -1.47 0.47 11278.93 1.00
#> U[629] 1.24 0.59 1.24 0.24 2.18 13359.84 1.00
#> U[630] -1.03 0.59 -1.03 -1.95 0.00 14178.34 1.00
#> U[631] -0.97 0.59 -0.96 -1.99 -0.04 12720.45 1.00
#> U[632] 0.82 0.60 0.82 -0.17 1.81 13179.87 1.00
#> U[633] -1.12 0.60 -1.13 -2.09 -0.13 13341.54 1.00
#> U[634] -1.02 0.60 -1.03 -2.01 -0.06 12347.75 1.00
#> U[635] 0.91 0.57 0.91 0.01 1.87 12928.51 1.00
#> U[636] 0.75 0.58 0.75 -0.18 1.71 14234.57 1.00
#> U[637] 1.43 0.59 1.43 0.46 2.42 11153.05 1.00
#> U[638] -0.15 0.58 -0.15 -1.10 0.81 14543.76 1.00
#> U[639] 0.53 0.58 0.53 -0.40 1.50 14435.54 1.00
#> U[640] -1.14 0.58 -1.14 -2.12 -0.20 12462.42 1.00
#> U[641] -0.61 0.59 -0.60 -1.61 0.33 12702.63 1.00
#> U[642] -1.11 0.59 -1.11 -2.08 -0.17 12690.25 1.00
#> U[643] 0.35 0.58 0.35 -0.62 1.29 12795.18 1.00
#> U[644] -0.03 0.59 -0.02 -0.98 0.96 16243.42 1.00
#> U[645] 0.56 0.59 0.56 -0.42 1.53 11992.17 1.00
#> U[646] 1.44 0.59 1.44 0.54 2.48 13103.01 1.00
#> U[647] -0.20 0.60 -0.20 -1.16 0.79 10841.14 1.00
#> U[648] -0.38 0.58 -0.39 -1.38 0.52 13604.52 1.00
#> U[649] -0.02 0.59 -0.01 -0.96 0.97 14556.01 1.00
#> U[650] -0.21 0.59 -0.20 -1.15 0.80 12335.62 1.00
#> U[651] -0.05 0.59 -0.06 -1.03 0.90 13313.91 1.00
#> U[652] 0.27 0.58 0.26 -0.64 1.26 13279.55 1.00
#> U[653] 1.12 0.58 1.12 0.19 2.08 10875.21 1.00
#> U[654] -0.65 0.58 -0.66 -1.59 0.31 12440.61 1.00
#> U[655] -0.39 0.60 -0.39 -1.39 0.58 12919.09 1.00
#> U[656] 1.19 0.58 1.19 0.24 2.14 11960.76 1.00
#> U[657] -0.51 0.57 -0.51 -1.44 0.44 11525.22 1.00
#> U[658] -1.68 0.58 -1.68 -2.66 -0.73 10853.40 1.00
#> U[659] 0.80 0.60 0.81 -0.23 1.76 13624.81 1.00
#> U[660] -1.45 0.60 -1.45 -2.48 -0.51 13487.80 1.00
#> U[661] -0.30 0.59 -0.30 -1.31 0.63 11555.96 1.00
#> U[662] -0.51 0.58 -0.51 -1.46 0.46 11536.04 1.00
#> U[663] -0.76 0.58 -0.77 -1.74 0.17 12931.27 1.00
#> U[664] -1.15 0.59 -1.16 -2.10 -0.19 11891.74 1.00
#> U[665] 0.90 0.58 0.90 -0.03 1.90 14469.25 1.00
#> U[666] 0.58 0.59 0.59 -0.40 1.53 13261.87 1.00
#> U[667] 0.45 0.58 0.45 -0.49 1.41 13281.13 1.00
#> U[668] 0.34 0.59 0.35 -0.67 1.25 13348.07 1.00
#> U[669] 0.02 0.59 0.03 -0.96 0.97 14517.16 1.00
#> U[670] 0.22 0.59 0.22 -0.74 1.19 12305.68 1.00
#> U[671] -0.54 0.58 -0.53 -1.50 0.41 13543.98 1.00
#> U[672] -0.27 0.59 -0.27 -1.23 0.70 11962.37 1.00
#> U[673] -0.94 0.59 -0.94 -1.92 0.03 12195.95 1.00
#> U[674] 0.66 0.58 0.67 -0.33 1.56 11780.59 1.00
#> U[675] 0.82 0.61 0.83 -0.11 1.88 12765.54 1.00
#> U[676] 0.22 0.59 0.22 -0.72 1.19 11646.20 1.00
#> U[677] -1.35 0.59 -1.35 -2.28 -0.36 12263.00 1.00
#> U[678] -0.69 0.58 -0.69 -1.66 0.24 11258.36 1.00
#> U[679] 0.93 0.62 0.94 -0.12 1.93 5521.87 1.00
#> U[680] -0.35 0.60 -0.35 -1.31 0.64 14167.62 1.00
#> U[681] -0.17 0.58 -0.17 -1.12 0.79 13494.86 1.00
#> U[682] -0.33 0.59 -0.33 -1.29 0.65 11924.16 1.00
#> U[683] 0.97 0.58 0.96 0.00 1.90 13208.64 1.00
#> U[684] -0.46 0.58 -0.46 -1.39 0.50 11686.21 1.00
#> U[685] 0.11 0.58 0.11 -0.84 1.06 12962.51 1.00
#> U[686] -0.55 0.58 -0.56 -1.54 0.38 13831.88 1.00
#> U[687] 0.29 0.57 0.29 -0.69 1.19 11764.48 1.00
#> U[688] -0.74 0.60 -0.75 -1.73 0.24 11925.40 1.00
#> U[689] 0.02 0.59 0.02 -0.92 0.98 13950.75 1.00
#> U[690] 1.12 0.60 1.12 0.13 2.08 12709.14 1.00
#> U[691] -0.16 0.59 -0.16 -1.15 0.77 14532.80 1.00
#> U[692] 0.84 0.59 0.84 -0.09 1.84 13909.94 1.00
#> U[693] 0.24 0.59 0.25 -0.74 1.20 13988.05 1.00
#> U[694] 1.03 0.59 1.04 0.05 1.98 14919.09 1.00
#> U[695] -0.15 0.58 -0.16 -1.11 0.77 12812.88 1.00
#> U[696] 0.73 0.60 0.72 -0.23 1.73 11344.47 1.00
#> U[697] 0.57 0.60 0.57 -0.40 1.56 12248.67 1.00
#> U[698] -0.40 0.59 -0.41 -1.34 0.57 12979.71 1.00
#> U[699] -0.37 0.59 -0.37 -1.37 0.58 11964.69 1.00
#> U[700] 0.73 0.59 0.74 -0.23 1.67 13417.28 1.00
#> U[701] 1.50 0.60 1.50 0.49 2.45 12526.30 1.00
#> U[702] 0.34 0.58 0.34 -0.59 1.32 11231.11 1.00
#> U[703] 0.19 0.58 0.19 -0.77 1.13 12636.94 1.00
#> U[704] -0.10 0.59 -0.10 -1.08 0.85 11403.26 1.00
#> U[705] -1.03 0.58 -1.03 -1.98 -0.05 10596.41 1.00
#> U[706] -1.34 0.60 -1.33 -2.33 -0.37 13211.95 1.00
#> U[707] -0.30 0.59 -0.30 -1.28 0.64 12286.46 1.00
#> U[708] 0.49 0.58 0.50 -0.46 1.45 11634.29 1.00
#> U[709] -0.66 0.58 -0.66 -1.60 0.31 11759.81 1.00
#> U[710] 0.03 0.59 0.03 -0.92 0.99 11969.39 1.00
#> U[711] -0.33 0.57 -0.33 -1.24 0.64 12516.63 1.00
#> U[712] -0.63 0.58 -0.63 -1.57 0.33 13298.55 1.00
#> U[713] 0.51 0.59 0.50 -0.45 1.50 13096.07 1.00
#> U[714] 0.08 0.59 0.08 -0.91 1.01 15385.56 1.00
#> U[715] -1.08 0.58 -1.09 -1.99 -0.08 11438.61 1.00
#> U[716] 0.50 0.60 0.50 -0.46 1.49 13092.63 1.00
#> U[717] 0.57 0.58 0.56 -0.45 1.46 12830.47 1.00
#> U[718] -1.00 0.59 -1.01 -1.97 -0.01 11560.26 1.00
#> U[719] 0.98 0.59 0.98 0.04 1.97 14042.18 1.00
#> U[720] -0.17 0.58 -0.16 -1.16 0.72 13736.40 1.00
#> U[721] -0.04 0.60 -0.04 -0.99 0.97 11880.10 1.00
#> U[722] -1.12 0.58 -1.12 -2.08 -0.18 11778.21 1.00
#> U[723] 0.87 0.60 0.88 -0.14 1.83 10972.97 1.00
#> U[724] 0.48 0.59 0.48 -0.46 1.49 12709.96 1.00
#> U[725] -0.08 0.57 -0.08 -0.99 0.90 14409.50 1.00
#> U[726] -0.05 0.57 -0.06 -0.99 0.89 11637.55 1.00
#> U[727] 0.47 0.59 0.48 -0.47 1.47 13168.31 1.00
#> U[728] -0.32 0.61 -0.33 -1.29 0.70 11983.78 1.00
#> U[729] -0.21 0.59 -0.21 -1.21 0.73 14285.12 1.00
#> U[730] 0.11 0.57 0.11 -0.83 1.06 12453.43 1.00
#> U[731] 1.21 0.59 1.20 0.26 2.19 13479.40 1.00
#> U[732] 0.37 0.58 0.36 -0.59 1.31 12953.29 1.00
#> U[733] -0.97 0.58 -0.98 -1.90 0.02 12962.94 1.00
#> U[734] -0.46 0.59 -0.46 -1.35 0.58 13727.35 1.00
#> U[735] -0.37 0.59 -0.36 -1.33 0.62 12303.72 1.00
#> U[736] -0.19 0.59 -0.19 -1.12 0.79 12913.78 1.00
#> U[737] 0.35 0.58 0.35 -0.61 1.30 13250.25 1.00
#> U[738] 0.26 0.58 0.26 -0.66 1.24 13599.53 1.00
#> U[739] -1.64 0.59 -1.64 -2.56 -0.62 13427.57 1.00
#> U[740] -0.17 0.58 -0.16 -1.09 0.79 14381.48 1.00
#> U[741] -1.03 0.59 -1.03 -2.00 -0.06 14213.48 1.00
#> U[742] -0.80 0.59 -0.81 -1.76 0.18 12132.65 1.00
#> U[743] 0.53 0.58 0.53 -0.40 1.50 14150.36 1.00
#> U[744] 0.18 0.58 0.17 -0.80 1.10 12122.25 1.00
#> U[745] -1.39 0.59 -1.38 -2.36 -0.43 9659.47 1.00
#> U[746] -1.34 0.58 -1.34 -2.29 -0.39 11830.58 1.00
#> U[747] 0.50 0.59 0.50 -0.53 1.40 12857.09 1.00
#> U[748] 0.56 0.58 0.57 -0.39 1.53 11945.49 1.00
#> U[749] -0.15 0.58 -0.15 -1.12 0.78 14011.60 1.00
#> U[750] -0.18 0.59 -0.18 -1.15 0.78 12365.52 1.00
#> U[751] -0.03 0.58 -0.03 -1.02 0.90 13040.24 1.00
#> U[752] 0.63 0.58 0.64 -0.30 1.61 13639.99 1.00
#> U[753] -0.20 0.59 -0.20 -1.15 0.77 8052.56 1.00
#> U[754] -0.38 0.60 -0.39 -1.36 0.62 12504.20 1.00
#> U[755] 1.37 0.59 1.37 0.40 2.35 11863.09 1.00
#> U[756] -1.07 0.59 -1.07 -2.03 -0.08 12919.17 1.00
#> U[757] -1.58 0.59 -1.59 -2.60 -0.65 9069.29 1.00
#> U[758] 0.21 0.58 0.20 -0.72 1.19 12854.63 1.00
#> U[759] -0.21 0.59 -0.21 -1.15 0.78 12442.30 1.00
#> U[760] 0.26 0.59 0.25 -0.70 1.23 12271.16 1.00
#> U[761] -0.14 0.59 -0.15 -1.09 0.82 9949.49 1.00
#> U[762] -0.44 0.59 -0.43 -1.41 0.53 12624.94 1.00
#> U[763] -0.03 0.60 -0.03 -1.02 0.96 11105.15 1.00
#> U[764] 0.89 0.60 0.89 -0.12 1.83 12758.92 1.00
#> U[765] -1.32 0.59 -1.32 -2.26 -0.35 11339.76 1.00
#> U[766] -0.63 0.59 -0.63 -1.60 0.34 10904.68 1.00
#> U[767] 0.94 0.59 0.95 -0.01 1.95 10779.38 1.00
#> U[768] -0.29 0.58 -0.30 -1.28 0.62 12933.22 1.00
#> U[769] 0.51 0.59 0.52 -0.45 1.46 8965.17 1.00
#> U[770] -1.06 0.57 -1.06 -2.03 -0.15 12241.49 1.00
#> U[771] -0.38 0.60 -0.37 -1.37 0.60 11181.49 1.00
#> U[772] -0.76 0.59 -0.76 -1.74 0.21 10374.46 1.00
#> U[773] 0.56 0.58 0.56 -0.41 1.50 14334.64 1.00
#> U[774] -1.19 0.58 -1.19 -2.14 -0.22 12683.36 1.00
#> U[775] -0.14 0.58 -0.14 -1.13 0.81 12980.08 1.00
#> U[776] 0.54 0.60 0.54 -0.42 1.54 11477.96 1.00
#> U[777] -0.87 0.60 -0.87 -1.82 0.12 12900.75 1.00
#> U[778] 0.46 0.60 0.47 -0.49 1.46 11131.66 1.00
#> U[779] -0.04 0.59 -0.05 -1.01 0.90 13731.50 1.00
#> U[780] -0.65 0.59 -0.65 -1.63 0.27 12139.39 1.00
#> U[781] -0.15 0.59 -0.15 -1.13 0.82 11249.00 1.00
#> U[782] -0.86 0.59 -0.87 -1.82 0.12 10948.69 1.00
#> U[783] -1.08 0.58 -1.08 -2.03 -0.13 10607.14 1.00
#> U[784] 0.41 0.59 0.40 -0.52 1.39 13336.31 1.00
#> U[785] -0.27 0.59 -0.28 -1.19 0.75 11995.32 1.00
#> U[786] 0.06 0.58 0.07 -0.90 1.02 12808.13 1.00
#> U[787] 1.24 0.60 1.25 0.29 2.26 14210.87 1.00
#> U[788] -1.74 0.59 -1.74 -2.71 -0.78 14278.58 1.00
#> U[789] -0.39 0.58 -0.39 -1.35 0.55 11918.33 1.00
#> U[790] -0.16 0.59 -0.15 -1.14 0.80 10797.06 1.00
#> U[791] -0.36 0.59 -0.36 -1.35 0.58 13674.96 1.00
#> U[792] -0.39 0.58 -0.39 -1.37 0.54 13495.43 1.00
#> U[793] 0.60 0.59 0.60 -0.37 1.57 10249.55 1.00
#> U[794] 0.81 0.60 0.81 -0.23 1.74 10047.28 1.00
#> U[795] 1.59 0.59 1.60 0.63 2.57 12656.69 1.00
#> U[796] 0.12 0.57 0.11 -0.81 1.07 14759.71 1.00
#> U[797] -0.59 0.59 -0.60 -1.55 0.39 15234.20 1.00
#> U[798] -0.52 0.58 -0.52 -1.45 0.47 11961.21 1.00
#> U[799] -0.29 0.59 -0.28 -1.27 0.65 11363.52 1.00
#> U[800] -0.13 0.60 -0.13 -1.12 0.86 11855.32 1.00
#> U[801] -0.33 0.58 -0.33 -1.29 0.62 15013.59 1.00
#> U[802] -1.15 0.60 -1.14 -2.17 -0.18 11781.22 1.00
#> U[803] 0.63 0.59 0.64 -0.33 1.59 13116.52 1.00
#> U[804] 0.20 0.59 0.21 -0.77 1.14 11598.55 1.00
#> U[805] 0.06 0.58 0.06 -0.87 1.02 13977.51 1.00
#> U[806] 0.37 0.59 0.36 -0.61 1.31 10452.07 1.00
#> U[807] 0.56 0.57 0.56 -0.36 1.54 14833.72 1.00
#> U[808] -1.02 0.59 -1.02 -1.99 -0.07 13223.11 1.00
#> U[809] -1.46 0.59 -1.46 -2.43 -0.50 11971.97 1.00
#> U[810] 0.80 0.59 0.81 -0.17 1.78 9773.12 1.00
#> U[811] 0.58 0.59 0.58 -0.36 1.54 13153.27 1.00
#> U[812] 1.24 0.58 1.24 0.27 2.19 11276.10 1.00
#> U[813] -0.71 0.58 -0.72 -1.69 0.22 12363.30 1.00
#> U[814] 0.24 0.57 0.24 -0.70 1.18 13283.51 1.00
#> U[815] 0.65 0.60 0.65 -0.30 1.64 11343.30 1.00
#> U[816] 0.18 0.58 0.18 -0.81 1.09 13008.89 1.00
#> U[817] -0.22 0.59 -0.21 -1.12 0.80 13729.62 1.00
#> U[818] 0.23 0.58 0.24 -0.76 1.16 11536.73 1.00
#> U[819] -0.20 0.58 -0.19 -1.16 0.76 13636.70 1.00
#> U[820] 0.67 0.58 0.68 -0.25 1.64 12038.22 1.00
#> U[821] 0.01 0.57 0.02 -0.93 0.93 12973.23 1.00
#> U[822] -0.20 0.57 -0.20 -1.10 0.75 13588.41 1.00
#> U[823] 0.67 0.60 0.67 -0.29 1.67 12961.93 1.00
#> U[824] -0.05 0.58 -0.05 -1.02 0.87 11440.29 1.00
#> U[825] -0.99 0.59 -0.99 -1.99 -0.05 9902.70 1.00
#> U[826] -1.12 0.60 -1.12 -2.12 -0.14 12517.76 1.00
#> U[827] -1.63 0.58 -1.63 -2.59 -0.68 11952.17 1.00
#> U[828] 1.56 0.59 1.56 0.59 2.51 13664.23 1.00
#> U[829] 0.99 0.58 0.99 0.02 1.95 12636.73 1.00
#> U[830] -1.23 0.59 -1.23 -2.20 -0.28 10209.23 1.00
#> U[831] -0.77 0.59 -0.77 -1.73 0.20 15087.36 1.00
#> U[832] 0.63 0.59 0.63 -0.38 1.57 14691.65 1.00
#> U[833] 0.03 0.58 0.03 -0.89 1.01 14178.70 1.00
#> U[834] -0.13 0.59 -0.14 -1.08 0.86 12249.07 1.00
#> U[835] 0.59 0.59 0.59 -0.43 1.51 13578.09 1.00
#> U[836] 0.37 0.60 0.36 -0.57 1.38 13043.05 1.00
#> U[837] 0.31 0.57 0.31 -0.61 1.26 11478.04 1.00
#> U[838] -0.82 0.59 -0.82 -1.75 0.18 13747.26 1.00
#> U[839] 1.29 0.58 1.29 0.36 2.23 14354.43 1.00
#> U[840] -0.10 0.59 -0.09 -1.06 0.87 13892.96 1.00
#> U[841] -1.54 0.60 -1.54 -2.51 -0.54 13262.77 1.00
#> U[842] 0.13 0.59 0.12 -0.87 1.06 12080.94 1.00
#> U[843] -0.17 0.59 -0.17 -1.15 0.79 13723.58 1.00
#> U[844] 0.32 0.59 0.32 -0.64 1.29 14400.19 1.00
#> U[845] 0.04 0.58 0.04 -0.91 0.99 12070.64 1.00
#> U[846] -0.16 0.59 -0.16 -1.14 0.82 8626.14 1.00
#> U[847] 0.12 0.58 0.12 -0.80 1.10 10268.37 1.00
#> U[848] -0.52 0.58 -0.52 -1.46 0.42 11188.02 1.00
#> U[849] 0.39 0.60 0.39 -0.61 1.37 10431.49 1.00
#> U[850] 1.52 0.59 1.52 0.51 2.47 11547.84 1.00
#> U[851] -1.97 0.60 -1.97 -2.98 -1.02 10995.34 1.00
#> U[852] 0.01 0.58 0.01 -0.95 0.96 13027.37 1.00
#> U[853] -1.65 0.59 -1.65 -2.59 -0.65 15045.21 1.00
#> U[854] 0.18 0.60 0.18 -0.79 1.16 14380.81 1.00
#> U[855] -0.75 0.58 -0.74 -1.71 0.21 14646.04 1.00
#> U[856] -0.54 0.59 -0.55 -1.50 0.44 12638.16 1.00
#> U[857] -0.28 0.59 -0.28 -1.26 0.67 14096.09 1.00
#> U[858] -0.26 0.58 -0.26 -1.22 0.69 12444.06 1.00
#> U[859] 0.53 0.60 0.53 -0.44 1.55 14019.03 1.00
#> U[860] -0.87 0.59 -0.88 -1.83 0.10 11203.44 1.00
#> U[861] -0.70 0.59 -0.72 -1.63 0.29 11127.68 1.00
#> U[862] 1.20 0.58 1.19 0.27 2.19 13078.93 1.00
#> U[863] 1.24 0.58 1.23 0.29 2.20 13047.31 1.00
#> U[864] 0.43 0.58 0.42 -0.52 1.36 11825.89 1.00
#> U[865] -0.03 0.58 -0.02 -0.96 0.96 14911.16 1.00
#> U[866] 0.75 0.59 0.75 -0.26 1.68 11577.88 1.00
#> U[867] -0.15 0.58 -0.15 -1.12 0.79 12893.93 1.00
#> U[868] 0.08 0.58 0.08 -0.90 1.02 12283.35 1.00
#> U[869] 0.61 0.59 0.61 -0.32 1.61 14164.51 1.00
#> U[870] -1.02 0.60 -1.03 -2.05 -0.06 10982.40 1.00
#> U[871] 0.25 0.60 0.25 -0.75 1.21 12148.07 1.00
#> U[872] -0.14 0.58 -0.14 -1.07 0.81 14142.04 1.00
#> U[873] 1.05 0.58 1.05 0.12 2.03 12686.14 1.00
#> U[874] -0.58 0.59 -0.58 -1.51 0.41 13148.46 1.00
#> U[875] 0.39 0.60 0.39 -0.57 1.37 12107.63 1.00
#> U[876] -0.77 0.58 -0.77 -1.73 0.19 13604.79 1.00
#> U[877] 0.39 0.59 0.39 -0.55 1.37 11225.53 1.00
#> U[878] 1.19 0.59 1.19 0.27 2.19 12859.41 1.00
#> U[879] -0.78 0.59 -0.78 -1.79 0.14 12561.92 1.00
#> U[880] -0.23 0.59 -0.23 -1.20 0.71 11720.42 1.00
#> U[881] 0.00 0.59 0.00 -0.98 0.95 10783.17 1.00
#> U[882] -0.65 0.60 -0.66 -1.64 0.29 12781.39 1.00
#> U[883] 1.08 0.59 1.09 0.14 2.07 11271.23 1.00
#> U[884] -0.82 0.59 -0.82 -1.79 0.11 10766.62 1.00
#> U[885] 0.61 0.59 0.61 -0.34 1.59 12671.88 1.00
#> U[886] -0.19 0.58 -0.20 -1.13 0.75 12337.52 1.00
#> U[887] 0.38 0.59 0.37 -0.60 1.34 12451.74 1.00
#> U[888] -0.49 0.59 -0.48 -1.48 0.47 12131.36 1.00
#> U[889] -0.23 0.59 -0.23 -1.19 0.73 11902.83 1.00
#> U[890] 0.18 0.58 0.17 -0.75 1.18 14856.25 1.00
#> U[891] -0.08 0.59 -0.07 -1.05 0.88 15044.39 1.00
#> U[892] 1.14 0.58 1.15 0.16 2.09 9600.08 1.00
#> U[893] 0.22 0.58 0.22 -0.71 1.19 13299.69 1.00
#> U[894] -1.91 0.60 -1.92 -2.89 -0.93 11706.63 1.00
#> U[895] -1.62 0.59 -1.61 -2.61 -0.68 11747.83 1.00
#> U[896] 0.04 0.59 0.03 -0.96 0.97 10040.22 1.00
#> U[897] -0.36 0.58 -0.37 -1.33 0.57 11797.92 1.00
#> U[898] -0.64 0.59 -0.64 -1.67 0.26 14673.66 1.00
#> U[899] 0.26 0.59 0.26 -0.72 1.22 12863.56 1.00
#> U[900] -0.96 0.59 -0.97 -1.94 -0.00 12851.43 1.00
#> U[901] 0.10 0.60 0.10 -0.89 1.08 13087.47 1.00
#> U[902] -0.79 0.60 -0.79 -1.80 0.16 12059.18 1.00
#> U[903] -0.59 0.58 -0.59 -1.48 0.42 11874.58 1.00
#> U[904] 0.97 0.58 0.97 0.01 1.90 13192.80 1.00
#> U[905] 0.10 0.58 0.10 -0.88 1.04 14119.12 1.00
#> U[906] -0.47 0.60 -0.47 -1.44 0.52 12169.03 1.00
#> U[907] -0.41 0.60 -0.41 -1.37 0.59 12734.92 1.00
#> U[908] -0.22 0.60 -0.21 -1.20 0.79 13882.34 1.00
#> U[909] 0.47 0.59 0.47 -0.49 1.42 12193.58 1.00
#> U[910] 0.35 0.59 0.35 -0.63 1.30 13537.50 1.00
#> U[911] -1.06 0.58 -1.05 -2.03 -0.14 12435.29 1.00
#> U[912] 0.61 0.58 0.62 -0.35 1.56 11625.48 1.00
#> U[913] 0.16 0.59 0.16 -0.79 1.14 12443.07 1.00
#> U[914] -0.58 0.59 -0.59 -1.58 0.35 13396.17 1.00
#> U[915] -0.29 0.60 -0.30 -1.30 0.67 9966.67 1.00
#> U[916] 0.97 0.58 0.97 0.03 1.92 11737.92 1.00
#> U[917] -0.75 0.60 -0.75 -1.72 0.25 11770.67 1.00
#> U[918] 0.54 0.59 0.54 -0.46 1.52 15692.14 1.00
#> U[919] -1.00 0.59 -1.01 -1.94 0.01 8610.11 1.00
#> U[920] 0.19 0.58 0.19 -0.75 1.18 13303.70 1.00
#> U[921] 0.96 0.58 0.96 0.03 1.93 14315.07 1.00
#> U[922] 0.20 0.59 0.20 -0.78 1.14 10544.62 1.00
#> U[923] 1.44 0.58 1.43 0.49 2.42 12403.20 1.00
#> U[924] 0.70 0.58 0.70 -0.20 1.69 14658.35 1.00
#> U[925] 1.16 0.60 1.16 0.18 2.15 11994.38 1.00
#> U[926] 0.85 0.58 0.85 -0.09 1.82 15237.50 1.00
#> U[927] -0.76 0.59 -0.76 -1.71 0.21 10134.26 1.00
#> U[928] 1.05 0.59 1.06 0.06 2.01 11215.76 1.00
#> U[929] -0.24 0.59 -0.23 -1.21 0.74 9164.47 1.00
#> U[930] 0.54 0.58 0.53 -0.42 1.49 11564.10 1.00
#> U[931] -0.67 0.59 -0.67 -1.60 0.33 13877.97 1.00
#> U[932] 0.77 0.59 0.77 -0.24 1.69 12011.27 1.00
#> U[933] 0.23 0.59 0.23 -0.75 1.17 13068.34 1.00
#> U[934] 1.58 0.58 1.58 0.64 2.53 12223.93 1.00
#> U[935] -0.24 0.60 -0.24 -1.17 0.78 11304.33 1.00
#> U[936] 0.30 0.60 0.31 -0.67 1.29 12863.41 1.00
#> U[937] -0.74 0.59 -0.74 -1.68 0.25 12982.29 1.00
#> U[938] -0.02 0.59 -0.02 -0.97 0.95 13541.41 1.00
#> U[939] -0.50 0.59 -0.50 -1.46 0.48 12883.27 1.00
#> U[940] -0.81 0.58 -0.81 -1.76 0.14 13165.92 1.00
#> U[941] -0.48 0.58 -0.49 -1.41 0.48 13979.24 1.00
#> U[942] 1.78 0.58 1.79 0.80 2.73 14024.36 1.00
#> U[943] 0.88 0.60 0.88 -0.12 1.84 11993.43 1.00
#> U[944] 0.74 0.60 0.74 -0.26 1.70 14228.20 1.00
#> U[945] 0.35 0.59 0.35 -0.57 1.34 11251.19 1.00
#> U[946] -0.39 0.58 -0.39 -1.36 0.53 12276.39 1.00
#> U[947] 0.48 0.59 0.48 -0.53 1.40 11715.89 1.00
#> U[948] 1.18 0.59 1.18 0.26 2.19 11371.76 1.00
#> U[949] 1.73 0.60 1.73 0.71 2.66 12723.34 1.00
#> U[950] 2.82 0.60 2.82 1.88 3.83 8890.82 1.00
#> U[951] -0.73 0.58 -0.73 -1.68 0.22 11916.12 1.00
#> U[952] 1.95 0.58 1.96 1.00 2.89 13048.36 1.00
#> U[953] -0.33 0.58 -0.34 -1.26 0.64 12824.61 1.00
#> U[954] 1.05 0.57 1.05 0.08 1.96 11992.68 1.00
#> U[955] -0.34 0.59 -0.33 -1.28 0.66 13954.68 1.00
#> U[956] 0.23 0.58 0.23 -0.71 1.18 13758.78 1.00
#> U[957] -1.48 0.58 -1.49 -2.45 -0.54 11316.99 1.00
#> U[958] -0.58 0.60 -0.58 -1.58 0.38 11935.67 1.00
#> U[959] -0.33 0.58 -0.34 -1.24 0.64 12510.94 1.00
#> U[960] -0.19 0.58 -0.19 -1.14 0.76 12086.79 1.00
#> U[961] 0.71 0.61 0.71 -0.29 1.71 13449.14 1.00
#> U[962] -0.78 0.59 -0.77 -1.70 0.25 12452.61 1.00
#> U[963] 0.35 0.60 0.34 -0.65 1.31 12980.81 1.00
#> U[964] -1.60 0.59 -1.61 -2.54 -0.61 11376.19 1.00
#> U[965] 0.25 0.59 0.25 -0.76 1.19 13332.58 1.00
#> U[966] 0.86 0.58 0.86 -0.11 1.80 11166.35 1.00
#> U[967] 0.33 0.59 0.33 -0.62 1.31 11491.01 1.00
#> U[968] -0.17 0.58 -0.16 -1.12 0.77 11585.04 1.00
#> U[969] 0.43 0.58 0.43 -0.52 1.39 13740.37 1.00
#> U[970] 0.86 0.58 0.85 -0.08 1.83 11582.33 1.00
#> U[971] 0.53 0.59 0.53 -0.45 1.50 9096.17 1.00
#> U[972] -1.02 0.60 -1.02 -1.98 -0.03 12193.37 1.00
#> U[973] -0.28 0.59 -0.28 -1.20 0.72 9240.19 1.00
#> U[974] 0.71 0.59 0.71 -0.20 1.73 12943.65 1.00
#> U[975] -0.50 0.58 -0.50 -1.45 0.45 14639.88 1.00
#> U[976] 0.33 0.59 0.34 -0.67 1.26 12165.45 1.00
#> U[977] 0.41 0.58 0.41 -0.52 1.40 10229.29 1.00
#> U[978] -0.47 0.58 -0.47 -1.45 0.47 14130.64 1.00
#> U[979] 0.63 0.59 0.64 -0.36 1.58 11353.03 1.00
#> U[980] -0.39 0.58 -0.38 -1.37 0.54 13252.09 1.00
#> U[981] -0.67 0.58 -0.67 -1.60 0.31 13049.74 1.00
#> U[982] 1.59 0.59 1.59 0.57 2.50 13283.70 1.00
#> U[983] 0.54 0.57 0.54 -0.36 1.50 12470.61 1.00
#> U[984] 0.57 0.59 0.56 -0.43 1.51 14576.05 1.00
#> U[985] 0.71 0.59 0.72 -0.27 1.64 10617.97 1.00
#> U[986] 1.17 0.60 1.17 0.20 2.16 11287.34 1.00
#> U[987] 1.21 0.58 1.21 0.24 2.13 14315.95 1.00
#> U[988] -0.04 0.59 -0.05 -1.00 0.94 14458.60 1.00
#> U[989] -1.20 0.57 -1.21 -2.10 -0.24 14147.97 1.00
#> U[990] -0.09 0.58 -0.10 -1.02 0.88 12347.97 1.00
#> U[991] 0.10 0.59 0.09 -0.87 1.08 11560.09 1.00
#> U[992] 1.32 0.57 1.32 0.42 2.31 12121.23 1.00
#> U[993] 0.15 0.58 0.15 -0.78 1.15 13128.86 1.00
#> U[994] -1.39 0.59 -1.40 -2.33 -0.37 9881.38 1.00
#> U[995] 2.40 0.60 2.40 1.43 3.37 10272.16 1.00
#> U[996] 0.65 0.59 0.66 -0.33 1.62 15164.67 1.00
#> U[997] 0.23 0.59 0.23 -0.71 1.24 12960.72 1.00
#> U[998] 0.81 0.59 0.82 -0.15 1.78 14299.27 1.00
#> U[999] 1.18 0.58 1.18 0.26 2.17 12518.06 1.00
#> a1 0.08 0.06 0.08 -0.02 0.18 2966.95 1.00
#> a2 0.05 0.08 0.05 -0.07 0.17 1249.36 1.00
#> b1 1.95 0.09 1.95 1.80 2.10 1753.96 1.00
#> b2 1.97 0.08 1.97 1.84 2.09 6711.91 1.00
#> k 1.00 0.06 1.00 0.90 1.10 602.40 1.00
#> m -0.00 0.05 -0.00 -0.08 0.07 598.44 1.00
#> p 0.48 0.01 0.48 0.46 0.50 12217.26 1.00
#> sigma1 1.06 0.06 1.06 0.96 1.16 604.62 1.00
#> sigma2 0.98 0.04 0.98 0.92 1.04 2708.98 1.00
#>
#> Number of divergences: 0Como hemos simulado sabemos que el efecto de D sobre M es 0. Y que Pearl nos advierte que para estimarlo habría que ajustar por U
Efectivamente, sin ajustar tenemos
lm(D ~ M)
#>
#> Call:
#> lm(formula = D ~ M)
#>
#> Coefficients:
#> (Intercept) M
#> 0.7108 0.2930Y haciendo trampas , ajustando por U
lm(D ~ M + U)
#>
#> Call:
#> lm(formula = D ~ M + U)
#>
#> Coefficients:
#> (Intercept) M U
#> 1.05524 -0.05078 1.03985Pero en la vida real no podemos ajustar por U puesto que no la hemos observado. Sin embargo al incorporar esa variable no observada dentro de un modelo generativo, si que podemos tener en cuenta que existe aunque no la hayamos observado.
Veamos la posterior que nos da numpyro
Se trata de la distribución de m
res = mcmc.get_samples()
m_posterior = res['m']
np.quantile(m_posterior, q = [0, 0.25, 0.5, 0.75, 1])
#> array([-0.25327477, -0.03099037, -0.00064275, 0.02862958, 0.17461409])Y vemos que efectivamente la distribución de m está centrada en 0.
sn.kdeplot(m_posterior)
Para ver el efecto de B1 sobre D podemos hacer tal y como dice Richard una intervención , de hecho, el efecto causal no es más que eso. Para eso, simplemente utilizo las posterioris y vamos siguiendo las flechas del DAG. y utilizar las expresiones de mu1 y mu2 que puse en el modelo. También fijamos B2 = 0 en ambos casos
En este caso al ser un modelo lineal el efecto de B1 sobre D, se puede estimar simplemente multiplicando la posterior de B1 por la posterior de M, pero en modelos no lineales no se puede
M_B1_0 = res['a1'] + res['b1']* 0 # pongo el 0 para que quede claro qeu B1 = 0 y ahora utilzo la posteriori obtenida de M cuando B1 es igual a 0 para obtener la de D
D_B1_0 = res['a2'] + res['b2'] * 0 + res['m']*M_B1_0 M_B1_1 = res['a1'] + res['b1']* 1 # pongo el 0 para que quede claro qeu B1 = 0 D_B1_1 = res['a2'] + res['b2'] * 0 + res['m']*M_B1_1 Y el efecto causal de B1 sobre M sería simplemente restar esas dos posterioris.
d_D_B1 = D_B1_1 - D_B1_0
np.quantile(d_D_B1, q = [0, 0.25, 0.5, 0.75, 1])
#> array([-0.45246571, -0.05934101, -0.00127174, 0.05669086, 0.3790037 ])
sn.kdeplot(d_D_B1)
El uso de numpyro es relativamente sencillo y permite expresar de forma fácil los modelos generativos. Además, es muy rápido y se puede usar con GPu’s . En mi opinión estamos ante un avance importante en la computación de modelos bayesianos.
Hasta la próxima entrada de pyrotecnia . Feliz verano !!