1.1.- Introducción.
La
preocupación por controlar y reducir los comportamientos agresivos y la
violencia ha llevado a un reciente
desarrollo de nuevos estudios empíricos y formulación de modelos teóricos sobre la agresión, la violencia y
sus consecuencias (Anderson y Bushman,
2002; Krug, 2002). La intervención en contextos clínicos y de salud
mental, tanto en adultos como en niños,
escolares, laborales, familiares, jurídicos y asistenciales, cada uno de ellos
con sus formas especiales de agresión y violencia (bulliyng, mobbing, violéncia
de género y familiar…) requieren soluciones eficaces en la eliminación de las
conductas violentas. Para conseguirlo la evaluación y medida precisa de éstos
fenómenos es imprescindible. Paradójicamente la disponibilidad de técnicas de
evaluación de la agresión y la violencia es muy limitada (Bobes et al. 2003) y
además poco específica (Andres-Pueyo y Redondo, 2007). Por este motivo es
frecuente la utilización inadecuada de instrumentos de evaluación y medida
diseñados para evaluar la ira, la hostilidad, la impulsividad, el auto-control
y otros similares, en vez de instrumentos específicos para evaluar la
agresividad y la violencia. Todavía hoy no se dispone de un repertorio variado
de instrumentos de evaluación de la agresión y la violencia (2) que tengan un suficiente
nivel de adecuación temática, calidad y eficiencia, diseñados para esta finalidad y con las garantías
propias de las técnicas psicométricas modernas. En este trabajo presentaremos,
de forma panorámica, la realidad actual
en cuanto a los instrumentos de medida de la agresión y la agresividad,
desarrollados desde el final de la II Guerra Mundial y especialmente en las dos
últimas décadas. Nos centraremos en presentar las técnicas e instrumentos para
la evaluación de la agresión y la agresividad en adultos sin ocuparnos de la
evaluación en niños y adolescentes.
En
este trabajo no se abordará la evaluación de la violencia porque en el
momento actual ésta sufre un desarrollo
exponencial (piénsese solamente en la problemática de la violencia de género) y
requeriría una extensión de la que no disponemos en este capítulo y, además,
desvirtuaría el objetivo del mismo. Hay que añadir que este campo profesional
todavía necesita una estabilización de las iniciativas que permita descartar y
conservar aquello que es útil de lo que no lo es.
Las
técnicas de evaluación de la violencia, muchas de ellas de muy reciente
propuesta, se han desarrollado en torno
a tipos específicos de violencia entre los que el suicidio, la violencia
familiar, de pareja o de género, la violencia escolar y la violencia laboral
son las más importantes. Estas técnicas tienen una especial predilección por la
descripción de hechos, actos y comportamientos violentos que buscan delimitar
la frecuencia y gravedad de los mismos antes que realizar estimaciones de
peligrosidad o diagnósticas.
Recientemente
se han desarrollado, en este contexto, técnicas de predicción del riesgo de
violencia que son de enorme utilidad en contextos forenses, clínicos,
penitenciarios y de asistencia social (Andres-Pueyo y Redondo, 2007).
1.2.-
Agresión, Agresividad, Violencia y otros fenómenos relacionados.
La
necesidad de medir, cuantificar, evaluar y valorar la agresión y la agresividad
requieren un punto de partida donde las definiciones de ambos constructos
queden bien planteadas a nivel ontológico y operacional. Esto aún no está bien
resuelto porque se confunden con demasiada frecuencia estos constructos con
otros tales como la ira, la hostilidad o la propia violencia. Para evaluar la
agresión y la agresividad se utilizan instrumentos que se ocupan de otros constructos
como son la “hostilidad” o “ira” y a
veces simplemente la “impulsividad” que no son idénticos entre sí, a pesar de
la evidente relación que tienen en determinadas ocasiones como puede ser la
“agresión impulsiva” o la conducta violenta que sucede en una crisis del
“Trastorno explosivo intermitente”. Estas confusiones llevan a utilizaciones
inadecuadas de procedimientos de evaluación de la agresión y el resto de
conceptos. Aclararemos primero este particular de importancia para el resto del
capítulo.
La
agresión hace referencia a cualquier comportamiento dirigido hacia otra persona
u objeto que se realiza con la intención de producirle lesiones, daño o
sufrimiento. El agresor considera que su conducta producirá daños en la víctima
y que ésta intentará evitarlos (Berkowitz, 1993; Anderson y Bushman,
2002). La no-intencionalidad, los daños
incidentales, como consecuencia de una conducta no dirigida a hacerlos o la
aceptación del daño por la victima no son propios de los comportamientos
agresivos.
Del
mismo modo la violencia, concepto usualmente superpuesto al de agresión, no es
un simple sinónimo de ésta. La violencia es una estrategia que, también de
forma intencionada, pretende obtener la sumisión de otra persona, dominarla
para alcanzar beneficios directos, inmediatos o indirectos por medio de
distintas tácticas. La violencia puede utilizar la agresión (en sus diferentes
formas: directa, física, sexual,..) pero también puede ejercerse por medio de
la negligencia, la manipulación y las coacciones, sus efectos se notan y van
desde las simples lesiones y daños físicos pasando por las consecuencias
psicológicas y morales hasta la alteración de los procesos de desarrollo y
adaptación social de las víctimas (Krugh, 2002). La agresión es una de las
tácticas que la violencia puede emplear para obtener sus fines (Andres-Pueyo y
Redondo, 2007). Muchos autores
consideran la violencia como la forma más extrema de la agresión física
(Anderson y Bushman, 2002; Berkowitz, 1993).
De hecho ni toda la violencia es
agresión, pensemos en la negligencia, ni toda la agresión es violenta ya que un
empujón, en el contexto de un juego o practicando un deporte, es un acto de
agresión pero no necesariamente es un acto violento. El castigo paterno o
educativo no es una acción violenta si bien es un comportamiento que provoca
daños y sufrimiento al que recibe el castigo. Este tema es objeto de numerosas
discusiones y con opiniones cambiantes. Es cierto que habitualmente se
confunden agresión con violencia puesto que ésta se asocia a la agresión física
grave y simplemente se utiliza como sinónimo. En nuestra opinión es poco util
esta asociación entre un fenómeno comportamental bien identificable, la
agresión, con un fenómeno más amplio y complejo, como es la violencia, en que
solamente coinciden entre ambos cuando los utilizamos como calificativos de una
acción (Andres Pueyo y Redondo, 2007). En este plano, el de las acciones
concretas, si que entendemos que acción violenta y agresión coinciden.
Considerar la agresión y la violencia como sinónimos es un error de
generalización del primero sobre el segundo.
Desde
que Berkowitz (1993) analizó el tema de la agresión a fondo se han descrito al
menos dos grandes tipos de agresión: la hostil (que comporta ira, impulsividad
y falta de planificación en su ejecución) y la instrumental (fría, no-emocional
y premeditada). Recientemente Anderson y
Bushman (2002) han considerado que convendría añadir a esta distinción otra
según la finalidad y modo de ejercer la agresión en el contexto de los dos
tipos de agresión antes descritos.
La
agresión es una conducta y como tal depende, al menos, de dos grupos de
factores que la producen: los situacionales y los individuales. Los primeros
suelen denominarse disparadores o provocadores mientras que los segundos
reciben el nombre de moduladores o predisposiciones. Entre éstos debería
figurar la agresividad y son los que realmente anteceden a la conducta agresiva
porque son los que detectan, analizan y comprenden el significado de los
estímulos externos generadores del comportamiento violento. Entre los factores
individuales destacan los rasgos de personalidad, las actitudes y creencias,
las intenciones y motivaciones, etc.. Entre los situacionales incluimos los
estímulos irritativos, sociales o biológicos, las provocaciones, las
frustraciones y muchos otros (Tobeña, 2003).
A
diferencia de la agresión, la agresividad es una disposición temperamental que
forma parte del repertorio de características básicas de la personalidad de un
sujeto. Su peculiaridad, además de influir directamente en la ejecución de
conductas agresivas (dependientes de la situación), es que aparece muy
precozmente en el desarrollo individual, se mantiene a lo largo de toda la vida
con un nivel de estabilidad notable y es independiente del contexto donde se
encuentra el sujeto (Andres Pueyo, 1997).
Además
de la distinción entre agresión, agresividad y violencia, conviene destacar
muchas otras confusiones con otros conceptos como la ira, la hostilidad, etc..
que han impactado mucho en la comprensión del fenómeno agresivo pero sobre todo
en la medida y evaluación psicológica del mismo.
La
hostilidad y el odio son sentimientos que canalizan la emoción de la ira hacia
un o varios objetos, sentimientos que suelen ser bastante duraderos y, especialmente
como en el caso del odio, intensos. La ira es una emoción o estado de ánimo
(enfado) que suele acompañarse de cogniciones hostiles y gran tensión e
irritación psicofisiológica. En muchas ocasiones la ira, especialmente cuando
por su duración e intensidad forma parte de los ataques de furia, suele
acompañar a la agresión como elemento facilitador y se considera un elemento
necesario pero no suficiente de la agresión, ya que en muchas ocasiones las
respuestas de ira, enfado o furia no siempre desembocan en comportamientos
agresivos (Coccaro, 2003). Algo similar ocurre con la hostilidad, un
sentimiento que suele ser más duradero que los ataques de ira, que se
dirige generalmente a un conjunto de
elementos diversos y forma parte de la matriz del carácter de las personas.
La
hostilidad predispone, sin género de dudas, a la agresión pero su relación es probabilística y es
frecuente encontrar correlaciones bajas o medias entre este sentimiento y la
propia conducta agresiva (Buss,A. y Perry,M. 1992.). Ira, cólera, hostilidad y
agresión son constructos solapados pero no iguales. Es habitual que los
cuestionarios y auto-informes utilizados para evaluar la agresión incluyan
escalas (o sub-escalas) de ira u hostilidad (como es el caso del BDHI, el AQ,…)
con lo que estos constructos se confunden fácilmente. Estas consideraciones
conceptuales son importantes a la hora de analizar como evaluar y medir
conceptos tan aparentemente similares como la agresión, el odio, la
agresividad, la hostilidad y la ira.
1.3.-
Técnicas de evaluación de la agresión y la agresividad por medio del
autoinforme.
La
evaluación psicológica de la agresión y la agresividad utiliza parte del amplio
conjunto de técnicas de evaluación propias de la medida de los constructos
psicológicos. Estas técnicas se adaptan a las peculiaridades del constructo a
evaluar y sobre todo a la importancia del contexto y finalidad de estas
evaluaciones. Generalmente las técnicas de evaluación psicológica se pueden
agrupar en procedimientos tales como los autoinformes y las calificaciones, las entrevistas
biográficas y clínicas y las observaciones en el medio natural o en condiciones
de laboratorio. En general, salvo en contextos de gran control (centros de
internamiento psiquiátrico o penitenciario), las técnicas observacionales y las
de laboratorio se utilizan muy poco, por tanto casi toda la información
empírica proviene de auto-informes, entrevistas y calificaciones.
Para
Consultar Tabla: http://goo.gl/2SI2I Tabla Resumen de los procedimientos y
técnicas de evaluación de la agresión y la
agresividad
La
agresividad, la ira, la hostilidad y otros conceptos relacionados siempre han
sido, de un modo u otro, elementos que se han incluido en la evaluación
psicométrica de los rasgos de personalidad. Los cuestionarios de personalidad,
desde sus inicios, contuvieron escalas y subescalas con la intención de valorar
estos constructos. Desde los primeros cuestionarios de personalidad, como los
de H.J.Eysenck o R.B.Cattell, estas escalas se han incluido con mayor o menor
especificidad. Tradicionalmente la evaluación de la agresividad y sus
constructos relacionados (hostilidad, ira, impulsividad,…) ha formado parte de
la evaluación global de la personalidad mediante cuestionarios
multidimensionales diseñados para la evaluación de la personalidad normal y
también para la evaluación clínica de los trastornos psicopatológicos.
El
tratamiento de la agresividad en los distintos tests de personalidad es
variada. Mientras en algunos tests, como
el MPQ (Multidimensional Personality Questionnaire), el ZKPQ (3) (Zuckerman
Kulhman Personality Questionnaire) y el EPP (Eysenck Personality Profiler) o el
CPS (Cuestionario de Personalidad Situacional) incluyen subescalas directamente relacionadas con la
agresión y la ira, otros no las incluyen.
El
NEO-PI-R, el 16Pf5, el EPQ-R, y el TPQ-R disponen de escalas para
evaluar la ira, la hostilidad, la
impulsividad y otros constructos relacionados con la agresión pero no la agresividad explícitamente. En éstos últimos
la medida de la agresividad se deriva de la combinación particular de
sub-escalas (como en el caso del 16Pf5 o del TPQ-R) o bien se subsume en la evaluación global de los
rasgos más genéricos, como en el caso del
Psicoticismo o la Cordialidad de los tests EPQ-R y NEO-PI-R respectivamente.
En concreto dos cuestionarios de
personalidad, uno de origen y desarrollo español, el CPS y el otro de origen norteamericano y que a
pesar de estar adaptado en España no se distribuye comercialmente, el ZKPQ
(versión 3) disponen de escalas propias de
evaluación de la agresividad.
El
CPS (Cuestionario de Personalidad Situacional de J.L. Fernández-Seara y
otros, 1995) está constituido por 17
escalas de personalidad de gran interés práctico en Psicología aplicada. Entre ellas encontramos
escalas de Ansiedad, Autoconcepto,
Eficacia, Independencia, Control Cognitivo, Ajuste Social, Agresividad,
Tolerancia, Inteligencia Social, Integridad-honestidad, Liderazgo. Consta de
233 elementos de tipo verdadero-falso, es breve y de fácil aplicación. Especialmente
concebido para uso en el ámbito laboral porque evalúa la personalidad de los
sujetos cuando interactúan con el entorno. La escala de Agresividad esta
diseñada para la evaluación de ésta disposicion de personalidad con un nivel de
fiabilidad y validez adecuada a su uso práctico y m profesional.
El
ZKPQ III (Cuestionario de Personalidad Zuckerman-Kuhlman; Zuckerman y Kuhlman,
1993) también incluye una escala específica de evaluación de la agresividad, en
este caso combinada con aspectos de hostilidad. Consta de 99 ítems, que evalúan
los llamados «Cinco Alternativos»: Neuroticismo-Ansiedad (19 ítems);
AgresiónHostilidad (17 ítems), Actividad (17 ítems), Sociabilidad (17 ítems) y
Búsqueda de Sensaciones Impulsiva No Socializada (19 ítems); a estas escalas se
añade una de Infrecuencia, compuesta por 10 ítems y encaminada a detectar
distorsiones de respuesta.
La
escala de Agresión–Hostilidad (Agg-Host) es una combinación de la disposición a
expresarse de forma agresiva y la grosería, desconsideración, conducta
antisocial, venganza y malicia, o desde el otro polo, disposición a ser agradable y cordial y tener un trato amable
con las personas.
En
nuestra opinión es posible utilizar las subescalas específicas de agresividad
y/o de hostilidad, como las presentadas, teniendo en cuenta los ítems que la
constituyen y la clave de corrección original, en evaluaciones que pretenden
identificar la predisposición a la agresión. Es interesante hacer notar que se
pueden segregar los ítems de las subescalas de los tests de personalidad en la
investigación, pero no es recomendable hacerlo en la práctica profesional
cuando queremos, como en el contexto forense o clínico, evaluar la tendencia a
la agresión por parte de un paciente.
No
ha sido nada habitual ni corriente utilizar estas subescalas de forma
independiente en la evaluación de la agresividad en contextos de investigación
y, naturalmente, son un recurso disponible cuando la muestra a la que hay que
valorar la agresividad no es, a priori, susceptible de administrar pruebas o
test psicológicos de tipo clínico. Nos referimos a la excesiva tendencia,
inadecuada en nuestra opinión, de administrar siempre y de modo rutinario
protocolos o test diseñados para evaluación clínica en situaciones donde no
existe o no hay indicios de que exista patología que justifique este uso.
Por
ejemplo en contextos de selección de personal, counseling o similares para
evaluar la personalidad normal (léase la hostilidad o la agresividad) no es
necesario empezar por utilizar un MMPI o un SCL-90-R, ya que las escalas del
NEO-PI-R u otro similar son más que adecuadas en tanto que exploran el
repertorio normal de expresiones conductuales, afectivas y cognitivas de la
agresividad.
Además,
en la misma línea que el anterior apartado, los tests y cuestionarios de
evaluación de síntomas o características psicopatológicas diseñados para
aplicaciones clínicas, también incluyen escalas (simples o compuestas) para
evaluar la agresividad.
El
MMPI y el MMPI-2 permiten hacer estimaciones de la agresividad y contienen
ítems relacionados con la agresión en distintas subescalas del mismo
(Masculinidad-10 Feminidad; Desviación psicopática e Hipomanía) , no es fácil
obtener una subescala única sino una combinación o perfil de dimensiones en
relación con la agresividad.
En
el MMPI 1 y 2, en el PAI o en el SCL-90-R nos encontramos con escalas que
sirven para evaluar la agresividad, generalmente en expresiones de mayor
gravedad o frecuencia que las de los tests de personalidad “normal”. Merece la
pena destacar, en este sentido, tanto el PAI como la SCL-90 que incluyen escalas de Agresividad y
Hostilidad de fácil uso. El PAI (Personality
Assessment Inventory; Morey, L. 1991) dispone de una escala específica, a su
vez dividida en tres más, destinada a evaluar la agresividad en el plano
clínico. El PAI, diseñado en los años 90 por L.Morey es un inventario de
análisis clínico y psicopatológico que ha adquirido un gran prestigio
internacional al estar relacionado con los síndromes más relevantes del DSM-IV,
incluir escalas de control y de valoración clinica del paciente en temas como
la adherencia al tratamiento, el estrés percibido, etc…. Entre estas escalas
incluye una propia de agresividad. Está formada a su vez por tres subescalas: agresión física,
agresión verbal y actitudes agresivas que cubren el ámbito de la ira, la
hostilidad, el comportamiento agresivo y las actitudes violentas. Asimismo el
PAI incluye un indicador combinado, de enorme interés en evaluación forense,
que se identifica por las siglas IPV cuyo significado es el de “Index of
Potential for Violence” y que es un gran predictor de la conducta violenta en
poblaciones de enfermos mentales y delincuentes crónicos (Andres-Pueyo y
Jarque, 2005).Tanto la escala de agresividad como el IVP son dos indicadores
adecuados para evaluar la agresividad en contextos clínicos.
El
SCL-90-R (Derogatis,L.R. 1994) es un cuestionario autoinformado, diseñado para
detectar y medir los síntomas más habituales de los trastornos mentales y
psicopatológicos, al estilo de los listados de chequeo, constituido por 90
ítems de respuesta graduada de tipo
Lykert (0 ausencia total de los síntomas descritos en el ítem-4 que refiere a la
molestia máxima) y que permite evaluar 10 escalas distintas. Entre ellas se
incluye una que se ocupa de la evaluación de la Hostilidad , constituida por 6
ítems que evalúan “pensamientos, sentimientos y conductas propias de los
estados de agresividad, ira, irritabilidad, rabia y resentimiento”.
Esta escala
sería un claro ejemplo de la combinación heterogénea que incluyen muchos test e
instrumentos de medida psicológicos utilizados en este campo. Como es natural este “uso indirecto” de los
cuestionarios genéricos de personalidad o psicopatológicos no agota las
posibilidades técnicas de evaluar la agresión y la agresividad. Diferentes
investigadores han desarrollado cuestionarios específicos y originales para
conseguir una medida fiable y válida, por medio de autoinforme, de la
agresividad. En 1957, Buss y Durkee
desarrollaron el Inventario de Hostilidad de Buss y Durkee (BDHI), un
cuestionario que todavía se utiliza en
la actualidad y que es referencia en cualquier investigación sobre agresividad,
a pesar de sus limitaciones psicométricas.
El BDHI (Buss y Durkee Hostility
Inventory) es un test multidimensional que incluye numerosas escalas
relacionadas con la agresión y la agresividad. Consta de 75 ítems que se
agrupan en 7 subescalas diferentes: Violencia, Hostilidad indirecta,
Irritabilidad, Negativismo, Resentimiento, Hostilidad verbal, Recelos y
Culpabilidad. Cada ítem tiene dos opciones de respuesta (verdadero/falso). A
pesar de ser un test clásico es poco conocido y utilizado en nuestro entorno.
En 1992 Buss y Perry redefinieron el BDHI para mejorar sus propiedades
psicométricas y el resultado fue el Buss y Perry Aggression Questionnaire, en
la actualidad el Aggression Questionnaire (AQ), que evalúa cuatro aspectos de
la agresión:
a) Agresión física , b) Agresión verbal, que implican dañar a
otros, representa el componente motor o instrumental de la conducta agresiva;
c) Hostilidad, que consiste en sentimientos de injusticia o mala voluntad y
representa el componente cognitivo de la conducta y d) Ira, que implica un arousal psicológico
o preparación para la agresión, que representa el componente emotivo o afectivo
de la conducta agresiva. Tiene un total de 29 ítems. La propuesta inicial de
cuatro escalas, proveniente de estudios factoriales exploratorios se ha visto
contrastada por medio de varios estudios de análisis factorial confirmatorio
(Vigil-Colet y otros, 2005). El AQ se ha adaptado a muchos idiomas y países
mostrando, en general, buenas propiedades psicométricas.
Los valores de
fiabilidad del AQ están en torno a valores de 0,75 y 0,80 (Andreu y otros,
2004). La validez de este cuestionario se ha chequeado en varias ocasiones
comparando las puntuaciones en el cuestionario con criterios como
calificaciones de agresividad, impulsividad y competitividad (evaluada con
auto-informes) y otras medidas de conducta (faltas por ataques en deportes,
sanciones, etc.). En 2001, Bryant y Smith revisaron de nuevo esta cuestión y
desarrollaron un versión aún más breve
del AQ. Esta nueva versión incluye solamente 12 ítems del AQ de Buss y Perry,
menos de la mitad de los 29 ítems originales de los que disponía aquel test.
Esta mejora ha hecho posible que se disponga de un cuestionario breve y fiable
para ser utilizado en numerosos contextos aplicados. Por otro lado, el breve
número de ítems de este test permite incluirlo en amplias baterías de
cuestionarios que son frecuentes en estudios empíricos.
Recientemente
hemos realizado una adaptación y baremación de la versión breve del AQ en
España con el objetivo de proporcionar una herramienta eficiente y fiable,
válida y útil para los profesionales de este ámbito (Gallardo-Pujol et al.,
2006). Esta vez se aplicó el AQ de 12 ítems a tres muestras de sujetos: una
submuestra de voluntarios heterogénea
(1047 sujetos), otra de alumnos de la Escuela de Policía de Cataluña (81
sujetos), y una tercera de agresores condenados a una pena de prisión (140
sujetos). Las conclusiones principales de este estudio muestran que el AQ
reducido, parece ser un instrumento útil para evaluar la agresividad y demás
constructos asociados. Estos resultados apoyan la buena fiabilidad y validez
del instrumento, así como la validez de constructo del AQ en sus cuatro
escalas.
En segundo lugar se observo que el AQ mostraba diferencias entre las
puntuaciones de hombres y mujeres en las diferentes subescalas del AQ. Los
hombres fueron más agresivos que las mujeres en la escala de Agresión física,
por el contrario, las mujeres fueron más agresivas que los hombres en las
escalas de Ira y Hostilidad, a pesar que en los estudios originales los hombres
más agresivos en todas las subescalas menos la de Ira.
Por otro lado, la
exploración de las diferencias entre muestras del estudio mostró que los
estudiantes de policía obtenían sistemáticamente puntuaciones más bajas en las
cuatro escalas del AQ, en comparación con la muestra general o la muestra de
agresores encarcelados. Además, se encontraron diferencias entre los agresores
y la muestra genérica en las escalas de Agresión física y Hostilidad,
consistente con un mayor nivel de agresión por parte de los presos. En
realidad, está constatado que la ira y la hostilidad se encuentra fuertemente
relacionada con la agresión impulsiva, y se han revelado como un factor de
riesgo de violencia en las prisiones. Veamos las ventajas y limitaciones de la
evaluación de la agresión y la agresividad por medio de auto-informes. Una de
las limitaciones de los auto-informes, que afectan de forma notable a las
medidas de agresión, es el sesgo derivado de reconstruir retrospectivamente la
conducta agresiva.
Además a la baja precisión del recuerdo, que limita la
validez de las evaluaciones, se une el hecho de que muchas agresiones se dieron
en momentos de gran excitación emocional, estados de elevado consumo de drogas
y alcohol y una más que evidente “memoria selectiva” de actos socialmente muy
reprobables cuando no punibles, que provocan “olvidos” entre intencionados y
espontáneos que dificultan esta evaluación.
Por tanto es frecuente que los
informantes, por lo general, lo hagan con un sesgo que provoca una reducción de
la frecuencia y la intensidad de los actos agresivos realizados por ellos
mismos. Esta limitación, que a veces es determinante para invalidar una
evaluación, es inevitable porque la mayoría de actos agresivos se realiza de
forma privada, sin acceso a la observación pública y, por tanto, a veces el
autoinforme es el único camino para obtener este tipo de informaciones. En
consecuencia hemos de basarnos en estudios de fiabilidad en los que se han
comparado auto-informes con evaluaciones conductuales y que nos indican que, a
pesar de estos sesgos, las medidas de auto-informe mantienen unos niveles de
validez suficientes (Geen y Dorenstein, 1998).
1.4.-
Registros observacionales del comportamiento agresivo y las entrevistas.
La
agresión como comportamiento muestra diferentes formas de ejecutarse y
responde, también, a distintas motivaciones. En cuanto a los modos de ejecución
se suelen distinguir los actos agresivos dirigidos contra las personas, contra
los animales y contra los objetos. Pueden incluir actos físicos realizados
directamente con los miembros del cuerpo (puñetazos, empujones, bofetadas,
patadas, mordiscos…) o bien realizados con el concurso de armas (navajas,
pistolas, escopetas…) u objetos funcionalmente análogos a aquellas (cuchillos,
palos, piedras, botellas…). Se identifican también los actos agresivos verbales
(insultos, coacciones, amenazas, etc..) y los sexuales e incluso la simple
presencia amenzante (como pasa en los casos de violencia de pareja con el
llamado acoso no-sexual).
En algunas ocasiones se incluyen actos de negligencia
u omisión (no dar ayuda ni atender las necesidades de alguién que las necesita,
etc…) y en otras ocasiones hasta las auto-lesiones pueden entenderse como un
acto agresivo. Esta variedad y expresividad propia de la conducta agresiva –
tanto verbal como física – la convierte en susceptible de ser registrada y
analizada con las técnicas propias de los estudios etológicos, del desarrollo,
etc.. y que tan buenos resultados ha dado en la investigación psicológica de la
agresión.
Numerosas
técnicas aplicadas a los análisis etológicos de la conducta agresiva entre
animales se trasladaron al estudio de la conducta agresiva en niños y
adolescentes realizados en contextos naturales. Allí se pusieron a punto
técnicas de registro observacional muy precisas que por medio de grabaciones
videográficas, después analizadas por medio de plantillas codificadas de
registro de actos violentos, permitían evaluar en frecuencia y gravedad la
conducta agresiva. Muchas de estas técnicas se siguen aplicando de forma
habitual en contextos institucionales (Anderson y Bushman, 2002).
Recientemente hemos adaptado al castellano la
Escala Modificada de Agresion Manifiesta –EMAM (Arbach y Andres-Pueyo, 2007)
que es una versión actualizada de la MOAS de Kay y otros (1988). Esta escala es
un protocolo de registro de sucesos de cuatro categorías: agresión verbal
(amenazas, agravios, insultos…), agresión física contra la propiedad y el
mobiliario (golpear puertas, romper objetos…), auto-agresión (golpes con la
cabeza, auto-lesiones menores,…) y por
último la categoría de agresiones físicas contra otras personas (empujones,
patadas, golpes,….). En esta plantilla de registro de conducta se anotan, por
parte de los observadores entrenados y en función de un intervalo temporal
predeterminado: días, horas, semanas…, los sucesos agresivos y la gravedad de
los mismos.
La
MOAS (Kay et al. 1988) es una versión modificada del OAS (Overt Aggression
Scale) que fue diseñada para medir objetivamente las conducta agresivas de los
pacientes psiquiátricos en situación de internamiento. Igual que la MOAS en la OAS se evalúan 4
modalidades del comportamiento agresivo. Para calcular la magnitud de la
conducta agresiva cada uno de los elementos es valorado desde una doble perspectiva:
gravedad y frecuencia. La puntuación de gravedad se realiza mediante una escala
tipo Likert de 5 valores de intensidad, desde 1 (no presenta ese tipo de
agresividad) hasta 5 (la gravedad es extrema).
La valoración de la frecuencia
se realiza de forma abierta, indicando el número de veces que ha presentado en
el mes previo (o intervalo temporal que se desee) las conductas
correspondientes al nivel de gravedad. La OAS era una plantilla de registro
observacional que se convirtió, en la MOAS, que en algunas ocasiones se utiliza
con un formato de entrevista retrospectiva.
Este nuevo formato, que no excluye
su utilización como registro de conducta mediante observadores cualificados,
consiste en agrupar los comportamientos agresivos en gravedad, frecuencia y
tipología. Los comportamientos se ajustan a cuatro categorías y en cada
categoría se organizan de forma jerárquica las conductas según su gravedad (1:
empujar a otro, 10: intento de estrangulamiento…). Esta ponderación de cada
acto agresivo (se entiende por acto agresivo lo que sucede en un intervalo de
30 min. entre agresiones) se multiplica por la frecuencia de los actos y nos
permite obtener una puntuación global de la agresión emitida por un sujeto en
un determinado intervalo temporal (días, semanas,….).
Este procedimiento de
evaluación de la agresión se propuso para llenar el vacío que había en este
tipo de medidas en la práctica profesional de la psiquiatría clínica. No es muy
utilizado y los primeros estudios, no replicados, mostraron una gran fiabilidad
y validez que avalan su utilización (Coccaro, 2003; Arbach y Andres-Pueyo,
2007). Es especialmente si lo que se pretende es tener un registro realista del
comportamiento agresivo en pacientes afectados por trastornos mentales o en
otro tipo de sujetos en condiciones de internamiento: presos, discapacitados y
otros.
En
el contexto clínico, donde en numerosas ocasiones los profesionales se
enfrentan a personas con comportamientos hostiles, agresivos, irritables, etc…
la evaluación de la agresión y la agresividad se confía muchas veces a las
habilidades del entrevistador. En la
actualidad no existe ningún protocolo de entrevista para esta finalidad que
conozcamos. Dado el enorme valor que se da a la entrevista sería interesante
disponer de alguna entrevista (estructurada o semi-estructurada) dedicada a
valorar la agresión, la agresividad y demás factores relacionados (ira, enfado,
hostilidad, etc…) sin embargo no es así y o bien los entrevistadores optan por
hacer su exploración general o es un ámbito que solamente se analiza cuando
estamos frente a casos donde la conducta violenta es motivo de consulta o en
poblaciones penitenciarias y forenses. E. Coccaro ha desarrollado dos
entrevistas para este fin, la Life History of Aggression (la única entrevista pensada
para validar la biografía violenta de un paciente desarrollada inicialmente por Brow y Goodwin en estudios
sobre el suicidio) y la adaptación de la Overt Aggression Scale-Modified for
Outpatients que puede administrarse en situaciones clínicas. La primera es útil
para recopilar la trayectoria agresiva de un individuo desde su infancia y la
segunda tiene una finalidad diagnóstica, pero su utilización se ve restringida
a la investigación y no a la práctica clínica habitual.
Ninguna
de las dos están adaptadas al castellano (salvo iniciativas locales o de
investigación) y sirven para la evaluación clínica de la conducta agresiva
especialmente en el contexto de la intervención sobre el Trastorno Explosivo
Intermitente (Coccaro, 2003).
1.5.-
Técnicas de evaluación de la agresión en el laboratorio.
A
pesar que la agresión requiere de un contexto social e interpersonal para que
se produzca, las diversas variables implicadas en aquel fenómeno, entre las que
destacan las derivadas de los conflictos e interacciones individuales (choques,
peleas,….) pueden ser reproducidas con cierta fidelidad en un entorno como el
laboratorio. La investigación experimental de la agresión puede aportar
diversas ventajas al estudio de este fenómeno. La propia naturaleza de la conducta
agresiva, que aparece con una baja frecuencia, que puede implicar daño físico
(4) y puede ser difícil de predecir e identificar, la hace adecuada para su
estudio en las condiciones controladas del laboratorio. Por estos motivos se
han desarrollado procedimientos de laboratorio para sortear las dificultades
mencionadas anteriormente.
Estas medidas de la agresión en el laboratorio
parten de un diseño experimental que implica una mayor precisión en la
evaluación de la agresión y una manipulación de las variables independientes,
tales como la frecuencia de aparición del estímulo provocador y de las
consecuentes respuestas agresivas. Una ventaja obvia de la evaluación de la
agresión en el laboratorio es que las interpretaciones de los resultados pueden
realizarse en términos de causalidad y
tienen una mayor validez interna que los estudios realizados con medidas de
autoinforme o por medio de registros observacionales en contextos naturales.
El
procedimiento experimental es considerado el mejor de los posibles para
comprender las causas y mecanismos causales que están implicados en la conducta
agresiva. Pero las limitaciones éticas y metodológicas hacen muy difícil
aplicar estos procedimientos al estudio de la agresión humana. Es muy difícil
superar el procedimiento del registro observacional de la agresión espontánea
(o inducida) y ésta limitación dificulta su estudio en situaciones
experimentales. Para resolver este problema en los años 60, y en el contexto de
la investigación experimental de los efectos del alcohol sobre la agresión se
diseño el conocido “Paradigma de la Agresión de Taylor” que, consistió en una
modificación de la llamada “Maquina de la agresión de Buss” y al más reciente
“Paradigma de la Agresión a causa de la substracción de puntos- Point Subtraction
Aggression Paradigm (PSAP)” desarrollado, y adecuado a la tecnología de los
computadores que se utilizan actualmente en los laboratorios. El PSAP fue
diseñado por D. Cherek y actualmente
disponemos de un equipo en el laboratorio del GEAV de la Universidad de
Barcelona.
El
elemento común que tienen las tareas que
permiten la evaluación experimental de la agresión, desde que Taylor introdujo
su técnica, es que se trata de que un participante interactue con otro (real,
simulado o virtual; en cualquier caso con un nivel de credibilidad elevado) y
que el sujeto experimental emita conductas agresivas que se puedan registrar
con precisión (aquí intervienen el uso de máquinas u ordenadores que sirven de
registradores fiables y continuos de la conducta agresiva- análogo experimental
a la conducta agresiva real). Las limitaciones experimentales definen la
variedad de conductas agresivas que el sujeto podría realizar pero, por el
contrario, permite observar la intencionalidad del comportamiento agresivo.
En
general, en estas situaciones, el sujeto experimental es provocado, sufre
frustraciones o perdida de beneficios que generan su agresión ya que éstas
pérdidas las puede atribuir a la conducta de una persona (aliado con el
experimentador) que sirve de objetivo de las agresiones del sujeto
experimental. Como es bien sabida, esta artificialidad propia de la
investigación experimental, aporta mucha información de validez interna sobre
los mecanismos implicados en la conducta, en este caso, la agresión.
En
1961 A.Buss, siguiendo los pasos de S. Milgram y su estudio acerca de la
obediencia, en el que había diseñado un aparato para administrar castigos,
construyo un aparato electromecánico que se llamó “máquina de la agresión” y
que permitía administrar castigos (falsos en realidad, pero el sujeto
experimental lo desconocía) mediante
unos pulsadores en función de las decisiones que éste tomaba según lo que otro
sujeto (aliado con el experimentador) hacia y que le producía pérdidas
económicas al primero. La frecuencia e
intensidad de los “castigos eléctricos falsos” que realizaba el sujeto
experimental se consideraban la medida de la agresión en la situación
experimental.
Después de esta aportación, Stuart Taylor, de la Universidad de
Massachusetts diseño un paradigma experimental llamado “Tarea del
Profesor-alumno” que servia para evaluar la agresión en una situación donde el
sujeto experimental debia castigar, mediante una descarga eléctrica
directamente a otro sujeto “un aliado del experimentador que simulaba los
efectos del castigo experimental”. A partir de esta tarea Taylor desarrollo
otra tarea en la cual dos sujetos (otra vez un aliado y uno ingenuo) competían
por obtener los mejores resultados posibles en una tarea cronométrica y
mediante distintas consignas, uno de los sujetos podía administrar castigos al
otro en función de las interacciones que había entre ambos. La medida de la
agresión corresponde al número e intensidad de los castigos que administraba el
sujeto experimental.
La tarea de Taylor, conocida como el “Taylor Aggression
Paradigm” se convirtió en la tarea experimental más utilizada en estudios de
agresión con humanos y especialmente es estudios farmacológicos dedicados a ver
los efectos de distintos fármacos y también del alcohol en el comportamiento
violento. Esta tarea es el anticipo directo de una más moderna y compleja, la
llamada “Point Substraction Aggression Paradigm-PSAP” y que describiremos
brevemente.
La
PSAP, que hemos traducido como el “Paradigma de la Agresión a causa de la
substracción de puntos” es una tarea diseñada para investigar la conducta
agresiva humana en condiciones de control de laboratorio. El sujeto
experimental, al que queremos evaluar su respuesta agresiva, se ubica en una
tarea que comparte con otro sujeto (virtual y cuyo comportamiento está
controlado por el experimentador). El sujeto experimental puede administrar un
castigo por medio de presionar un botón preparado al efecto.
Este castigo o
estímulo aversivo consiste en hacerle perder dinero (u otro 19 beneficio) que
había ganado en la actividad compartida. Esta respuesta es la que utilizamos
para evaluar la agresión. El PSAP se gestiona por medio de un programa de
ordenador que administra los estímulos y registra las respuestas y una consola
de tres botones en la que se ejecutan las respuestas. El procedimiento que se
aplica consiste en tres opciones de respuesta A, B y C. El sujeto puede escoger
entre uno de los tres botones que corresponden cada uno a un tipo de respuesta:
Respuesta no agresiva,
Respuesta
agresiva (la presentación de un estímulo aversivo a otra persona, en este caso,
el estímulo aversivo es la pérdida de dinero) y la Respuesta escapatoria. La
causa de que el sujeto experimental “agreda” a otro es porque en la tarea el
sujeto experimental va ganando dinero mediante sus respuestas pero el “otro” le
hace perder parte de ese dinero ganado (substraction points) y por eso le
castiga (agrede).
Las respuestas agresivas se deben a la “provocación” que
representa que el aliado del experimentador le haga perder dinero al sujeto
experimental y por eso le castiga. Naturalmente es un buen ejemplo de tarea de
provocación de una respuesta agresiva proactiva o impulsiva. Esta tarea es
suficientemente válida a nivel de análogo experimental, fiable y sensible para
evaluar la agresión y se ha convertido en una forma ampliamente aceptada para
evaluar la agresión en contextos de laboratorio.
La
realidad acerca de las medidas de la agresión en el laboratorio es que se
circunscriben a estudios relacionados con las bases psicobiológicas de la
agresión y con el contraste de la eficacia de los fármacos y otras drogas en
relación al control de la conducta agresiva y no parecen tener mucha utilidad
en el trabajo profesional diario donde las técnicas observacionales, las
entrevistas y los auto-informes se han consolidado como en la mayoría de
evaluaciones psicológicas. En este caso la evaluación de la agresión no es
ninguna excepción, pero sí que es cierto que se necesita un avance para llegar
al nivel de la medida de la ansiedad u otros constructos similares.
La
evaluación de la agresión y la violencia tiene diferencias relevantes cuando se
realiza sobre sujetos adultos o niños y adolescentes. De hecho entre estos
últimos es de enorme interés esta evaluación pero por lo general se realiza por
medio de la observación directa en contextos más o menos controlados. No se
suelen administrar pruebas de lápiz y papel por su poca sensibilidad por la
agresión (y otros fenómenos psicológicos) en poblaciones infantiles y se reduce
casi siempre a la observación y registro del 20 comportamiento. Los clásicos
experimentos de A. Bandura sobre las agresiones a una muñeca inflada de aire
son un buen ejemplo.
Naturalmente que además de estas medidas se dispone de un
repertorio, similar al que hemos descrito de instrumentos psicométricos
variados (de naturaleza clínica y no-clínica) que en vez de ser autoinformados
son completadospor los padres, educadores o profesionales. Entre ellos destacan
cuestionarios generales de salud mental infantil (YLS, MACI, etc…) , escalas de
registro del desarrollo y la maduración infantil y, naturalmente, también se
pueden administrar pruebas de laboratorio como la PSAP (que tiene una versión
para niños, la Pulkinnen Aggression Machine). Para un tratamiento específico de
este tema es recomendable consulta el trabajo de Cyrulnik et al. (2003).
1.6.-
Resumen y conclusiones.
La
evaluación de la agresión, la agresividad y la violencia es una necesidad
urgente debido a la enorme demanda profesional de actuación tanto a nivel
clínico como comunitario. Su estrecha relación con aspectos psicológicos
emocionales y afectivos como la ira, la hostilidad o la impulsividad ha
facilitado el uso de procedimientos propios de valoración de éstos constructos
psicológicos en vez de la medida directa de la agresión y la violencia. Es
preciso disponer de instrumentos y técnicas diseñadas para evaluar la agresión
y la agresividad de forma específica.
Hemos
descrito tres aproximaciones metodológicas distintas para evaluar la agresión y
la agresividad. En primer lugar las técnicas basadas en el auto-informe,
después las técnicas de registro de observación de la conducta y las
entrevistas y, por último, las técnicas de registro de la agresión en contextos
de laboratorio.
Los
procedimientos que se basan en el auto-informe nos proveen una información
sobre la agresión, y otros fenómenos relacionados, rápida, fácil pero con
niveles limitados de validez y fiabilidad que dependen de los sesgos propios de
los auto-informes y la naturaleza de la conducta agresiva. De entre todas las
medidas de este tipo, adecuadas para poblaciones adultas, la mejor es el AQ
(tanto en su versión completa y reducida) porque esta contrastada su utilidad y
especificidad (Gallardo et al, 2006).
Por
el contrario si queremos evaluar la agresividad (y sus conceptos asociados) en
tanto que disposición de personalidad lo más adecuado, a nuestro entender, es
escoger las subescalas específicas de los cuestionarios múltiples de
personalidad como el EPQ, el NEO-PI-R o el 16Pf5 (y similares). También podemos
considerar escoger, si la población a estudiar así lo requiere, las subescalas
del PAI o del SCL-90-R. Las subescalas de agresividad del PAI son
particularmente útiles y recomendables para la evaluación de las conductas,
síntomas y otros factores relevantes asociados a la agresión y la agresividad
en el contexto psicopatológico.
Si
se trata de realizar un registro (o evaluar la agresión por medio de
entrevistas) es adecuado emplear la MOAS (EMAM en su versión española)
especialmente en contextos institucionales y si bien es tediosa y lenta, tiene
un alto valor en cuanto que es un registro objetivo de los sucesos violentos
que además de tener en cuenta la frecuencia de los mismos, ésta frecuencia es
ponderada por su gravedad ofreciéndonos al final un índice global de agresión o
bien cuatro indicadores de agresión verbal, contra los objetos, auto-dirigida y
contra las personas, que son de enorme utilidad (Arbach y Andres-Pueyo, 2007).
Por
último se describen los tres principales procedimientos de evaluación de la
conducta agresiva en el laboratorio y especialmente el PSAP que en la
actualidad representa una buena opción para la medida de la agresión en
estudios experimentales.
1.7.-
Referencias bibliográficas.
Anderson,C.
y Bushman,B. (2002). Human Aggression. Ann.Rev. of Psychology. 53.27-51.
Andrés-Pueyo,A.
(1997). Manual de Psicología Diferencial. Madrid. McGraw Hill.
Andrés-Pueyo,A.
y Jarque,L. (2005). IPV y predicción de la violencia en delincuentes crónicos
por medio del PAI. Comunicación presentada al 1er. Congreso Español de
Psicología Jurídica. Santiago de Compostela. Junio 2005.
Andrés-Pueyo,
A. y. Redondo, S. (2007). La predicción de la violencia: entre la peligrosidad
y la valoración del riesgo de violencia. Papeles del Psicólogo, 28(3), 157-173.
22
Andreu-Rodríguez
J.M, Peña-Fernández M.E, Graña-Gómez J.L. (2002) Adaptación psicométrica de la
versión española del Cuestionario de Agresión. Psicothema; 14(2):476-82.
Arango
C, Calcedo A Jr, Gonzalez-Salvador T, Calcedo A. (1999) Violence in inpatients
with schizophrenia: a prospective study. Schizophr Bull; 25: 493-503.
Arbach,K.
y Andres-Pueyo,A. (2007). Valoración del riesgo de violencia en enfermos
mentales con el HCR-20. Papeles del psicólogo. 28 (3):174-186
Berkowitz,
L. (1993). Psicologia de la Agresión. Bilbao. Desclee de Brouver.
Bobes,J.
et al. (2006) Banco de instrumentos básicos para la práctica de la psiquiatría
clínica . (2 edición). Barcelona. Ars Médica.
Bryant
F.B., Smith B.D. (200)1Refining the architecture of aggression: a measurement
model for the Buss-Perry Aggression Questionnaire. J Res Pers; 35: 138-67.
Buss
A.H. (1961).The Psychology of Aggression. New York: Wiley.
Buss
A.H .y Durkee, A. (1957). An inventory for assessing different kinds of
hostility. J Consult Psychol; 21: 343-9.
Buss
A.H. y Perry M. (1992) The Aggression Questionnaire. Jour. Pers Soc Psycol;
63:452-9.
Cherek
D.R. (1992) Point-subtraction aggression
paradigm (PSAP). Houston: University of Texas.
Cherek
D.R, Lane S.D, Pietras CJ. (2003)
Laboratory measures: Point Subtraction Aggression Paradigm (PSAP). En E.
Coccaro (Ed.), Aggression: New York: Marcel Dekker, Inc,: 215-28.
Coccaro,
E. (ed) (2003). Aggression: Psychiatric Assessment and Treatment. New York.
Marcel Dekker
Cyrulnik
et al. (2003). Measurement of Aggression in Children and Adolescents. En
Coccaro,E.
(ed). Aggression. New York. Marcel Dekker.
Fernandez
Seara,J.L. y otros (1995). Cuestionario de Personalidad Situacional. Madrid.
TEA. SA.
Gallardo-Pujol
D, Kramp U, García-Forero C, et al. (2006) Assessing aggressiveness quickly and
efficiently: the Spanish adaptation of Aggression QuestionnaireRefined version.
Eur Psychiatry; 21:487-94.
García-León,
A., Reyes G.A., Vila J. et al. (2002) The Aggression Questionnaire: a
validation study in student samples. Span J Psychol; 5(1): 45-53.
Geen,R. y Dorenstein, E.(eds) (1998). Human
aggression: theories, research and implications for social policy. New York.
Academic Press.)
Krug,
E. y otros. (2002). World Report on violence and health. Geneva: WHO. Morey, L.
C. (1991). The Personality Assessment Inventory professional manual. Odessa,
FL: Psychological Assessment Resources.
McCrae,R.
y Costa,J. (1999). Inventario de personalidad NEO revisado (NEOPI-R)
eInventario NEO reducido de cinco factores (NEO-FFI). Madrid: TEA.
Oquendo
MA, Graver R, Baca-Garcia E, Morales M, Montalban V, Mann JJ.(2001). Spanish
adaptation of Buss-Durkee Hostility Inventory (BDHI). Eur J Psychiatry; 15:
101-112.
Pham
T.H. (1992) Psychometric assessment of
the Buss and Perry Aggression Questionnaire and its relationship to the PCL-R
in a Belgian prison population. Cahiers de recherché; 2004.
Silver
J M, Yudofsky SC. (1991)The Overt Aggression Scale: overview and guiding principles.
J Neuropsychiatry Clin Neurosci. 3: S22-29.
Sjöström,
N. Eder D.N, Malm, U. et al. (2001) Violence and its prediction at a
psychiatric hospital. Eur Psychiatry; 16: 459-65.
Taylor
S.P. (1967).Aggressive behavior and physiological arousal as a function of
provocation and the tendency to inhibit aggression. J Pers 35:297-310.
Tobeña,A.
(2003) Anatomía de la agresividad humana. Barcelona. Circulo de Lectores.
Vigil-Colet, A. y otros. (2005) Factor structure of the Buss-Perry aggression
questionnaire in different samples and languages. Aggressive Behavior, 31(6):
601-608.
Yufdosky
et al. (1986). The overt aggression scale for objective rating of verbal and
physical aggression. Am.J.Psychiatry. 143:35-39.
*Trabajo
desarrollado en el marco del Proyecto de Investigación del Ministerio
de
Ciencia y Tecnología del Gobierno de
España SECJ2005-09170-C04-
01/PSIC.
(1)Correspondencia
Correo electrónico: andrespueyo@ub.edu
(2)La
urgencia de la intervención contra cualquier tipo de violencia ha llevado a que
en pocos años se hayan propuesto
numerosos instrumentos de evaluación de los tipos de violencia que aquí no
revisaremos.
(3)Zotes,
J.A. (1999). Cuestionario de Personalidad Zuckerman-Kuhlman (ZKPQIII; 1993). Manuscrito
no publicado. Hospital Ramón y Cajal, Madrid.
(4)
Recuerdese la necesidad de respetar los acuerdos de Deontológia y Etica en los
estudios psicológicos.
No hay comentarios:
Publicar un comentario