The current discussion about "Novas oportunidades", a multi-million-euro public program introduced in 2006 to certify skills and improve schooling levels, highlights the dearth of evidence about its effects, especially in the labour market.
So let me present some preliminary results from my ongoing research on this issue, based on data from "Quadros de Pessoal". The sample used is based on over one million workers with between four and 12 years of schooling that are working in the same firms in both 2006 and 2009. I then focused on those who increased their schooling levels between those two years and compared their wage growth over that period with the wage growth of other workers whose schooling levels did not change.
The estimates are, of course, just a first approximation and are subject to a number of caveats, which will bias the results in different directions. For instance, some of the workers whose schooling levels increased may have obtained their higher degree from a standard school, not NO. Some of the changes in schooling may be driven by measurement error, not NO. And the wage growth of people whose schooling levels do not change may not provide a good counterfactual. However, as far as I know, there are no studies about the labour-market effects of NO and very little data available. In this context, these estimates will hopefully be of some interest.
What do the results indicate? First, that average nominal wage growth over the period for the entire sample was about 12%; and that about 5% of those workers increased their schooling levels, mostly from 6 to 9 or from 9 to 12 years of schooling.
Second, and more importantly, the wage growth of those workers that increased their schooling degrees (presumably in many cases because of NO) was, on average, about 0.6 percentage points higher than those that had the same schooling in 2009 and in 2006. Dividing by the number of additional years of schooling (i.e. on a per year of schooling basis), the effect of NO is around 0.2 percentage points. This compares with a 0.4 percentage increase in wage growth for each extra year of schooling across the full sample.
My take on these preliminary results is that the labour-market effects of NO appear to be weak. Perhaps this is not surprising - if the program is essentially about certifying skills that people already have, then presumably those skills are already rewarded by the labour market. In other words, it matters much more what people can do than the diplomas that they have. If the program is to be adjusted in the future, it would probably be good to strengthen the skills dimension to the detriment of the certification element. Releasing data for researchers would also be nice.
This comment has been removed by the author.
ReplyDeleteCaro Pedro Martins,
ReplyDeleteAlguns comentários que me vêm à cabeça depois de ler o seu texto e tendo tido alguma experiência com o "behind the scenes" das NO.
Em primeiro lugar, como bem refere, parte do foco do programa está no reconhecimento (ou validação, escolha infeliz de vocabulário) das competências que os formandos desenvolveram fora da escolarização formal.
Na avaliação educacional, área em que trabalho, isto é uma questão de "ligação horizontal": há um padrão e ligamos a esse padrão uma outra medida de competênica, conhecimento, como se quiser chamar. Pela parte que me toca, não vi até hoje um estudo empírico que seja que demonstre essa ligação, i.e., evidências que um diplomado com o 9º ano seguindo o currículo "tradicional" tem competências equivalentes às de um diplomado das NO. Não há estudos empíricos e não há dados que permitam sequer fazer uma coisa quase-experimental: as entidades formadoras são quem concebe e realiza as medições que levam à certificação. As armadilhas deste sistema são óbvias...
Quanto ao reconhecimento do mercado de trabalho, se de facto o empregador valoriza a competência e não a sua certificação (o que faz sentido, especialmente tendo em conta que a maioria destes formandos estarão em ocupações em que a entidade empregadora não será exactamente uma empresa com um departamento de recursos humanos), então faz sentido que a valorização salarial não se note. Mas ainda assim não deixa de fazer sentido a certificação: com ela o trabalhador ganha uma maneira de sinalizar algo ao mercado de trabalho. Se o mercado de trabalho de facto se importa ou não, isso já são contas de outro rosário...
De qualquer forma, creio que o ponto das NO devia ser outro. Por um lado demonstrar a honestidade intelectual de toda a empresa, nomeadamente na fiabilidade e validade das certificações entregues. Um diploma de 9º ano tem de significar o mesmo para currículo tradicional e NO, isso implica medições fiáveis e válidas. Até hoje estou para ver. O outro ponto, de que poderá falar com muito mais conhecimento de causa do que eu, está na produtividade. Sendo cínico, não haver valorização salarial para o formando não é necessariamente mau para a economia: o empregador recebe mais valor acrescentado e paga o mesmo. O que eu estou para ver, e ainda não vi, é evidências de que as pessoas de facto se tornam mais produtivas depois das NO. Porque o programa não certifica apenas o que a pessoa já é capaz de fazer, também forma com novas competências.
Mas tem toda a razão. Com os dados que não há, ficamo-nos com as análises do Dr. Roberto Carneiro sobre o ganhos no auto-conceito dos formandos...
Thank you for your comments.
ReplyDeleteLet me try to summarise some of the points you make:
1. There is no external validation of the certification conducted by the NO centres;
2. It's unclear if a NO diploma is really comparable to a standard diploma;
3. NO diplomas may be redundant at the current firms of the graduates - but may open up "new opportunities" in other firms;
4. Small wage (growth) differences may not necessarily mean that there's no gain in learning - just that employers get to keep any surplus in productivity. i.e. do not pass those gains to the worker in the form of higher wages.
I agree with all the points and I can also think of empirical strategies to examine them - but one would need the requisite data...
That's right on the money (and the pun was miserably intended).
ReplyDeleteJust to clarify some geeky points relating to the "validation" of the certification. For one to certify something, one has to measure that something and compare it to some standard of appropriateness. In theory, such standard would be the minimal standard of competency for the ninth and twelfth grades. The problem is that the measures are made by the very entities that provide the training. Let me be clear: there is no way that anyone can show that all the assessments being made are comparable amongst themselves and with the posited common standard (the syllabi provided by the Agência Nacional de Qualificação and the purported linkage betwen those syllabi and the "common" ninth and twelfth grade syllabi).
In this particular matter there is no data to request. Even if one were to get a hold of a randomly selected representative sample of the assessments used for certification, because they are all ad-hoc, some sort of mediation study would have to be done, with experts judging each assessment in terms of its linkage to the standard, and THEN some sort of score equating. Its' a pointless exercise: no decent levels of reliability would come out of it. This is why people came up with standardized assessment (which DOES NOT mean multiple-choice tests, as some "education experts" in Portugal seem to believe).
I've seen in some Portuguese blogs people trying to be quite dismissive of Miguel Sousa Tavares' suggestion that a random sample of NO students should be assessed using the ninth and twelfth grades standardized assessments and using that information as evidence for the linkage. There is some naiveness in the way in which the suggestion is made, but his intuition is right. The whole premise of the program is that acquired competencies PLUS tailored training can lead to levels of skill that are COMPARABLE to that of those who follow the traditional curricula. The program is set in such a way that gathering evidence of such fact (and of all of its assumptions) is close to impossible.
But because this is an economics blog, allow me to suggest a further line of inquiry. EVEN assuming that the drop-out rate is residual (not true), that the training is comparable in quality and fidelity to the syllabi (absolutely not true) and that no frauds exist in the execution of the program (no comments here, libel), the marginal gain of the program is grossly outweighed by its marginal costs (to use the lingo I remember from my introductory econ classes). I'm a measurement guy, and therefore try to keep out of my discussions any comments about social fairness and the way in which gains are passed on (although I have strong feelings about such issues). But for me the point is this: hundreds of millions of the very last European "free money" for education were spend in this program and gains in the productivity of the work force have to be show. Bang for the euro. Haven't seen it yet. I leave it for the econ guys! :D
Taking into account the actual situation of our country, with almost 50000 graduates unemployed, for me isnt strange the fact that NO do not led to higher wages.
ReplyDeleteWe should focus on the knowledge that NO students had got along the program. Obviously is not easy to measure it, or just organize it into a statistic table.
seria interessante comparar performance educativa de filhos de adultos Novas Oportunidades vs filhos de adultos nao novas Oportunidades, com tudo o resto minimamente constante. pode estar ai um motivo muito forte para defender este programa.
ReplyDeleteI think it would be more interesting to know some of the people that actually went to the NO program. The ones I know say that the program is nothing but a joke. For example, people that have the 6th grade and are taking the program to have the 9th grade, have no classes, the only thing they need to do is to create an essay about their own life, that is viewed by a teacher somewhere in the web. Most of the "students" never actually met the teacher as they only know it's e-mail. I think this example says everything about the program.
ReplyDeleteHá uns anos atrás desempenhava funções de direcção de recursos humanos numa instituição pública (com cerca de 1 milhar de trabalhadores, com formas de vínculo diversas).
ReplyDeleteA certa altura 11 auxiliares de serviço, habilitadas com o 6º ano do ensino público (ciclo preparatório) apresentaram-se a requerer uma reclassificação na categoria de assistente administrativo (categoria hoje desaparecida com a reforma estatutária aplicada em 2008).
Como, para entrada nesta categoria, era exigido o 9.º ano (tendo em conta a data da sua entrada na função pública), foi-lhes recusado o pedido, com base neste facto.
Não eram volvidos 6 meses quando as referidas funcionárias se apresentaram de novo a requerimento, fazendo-o acompanhar de um certificado, passado por um qualquer Centro de Certificação, de equivalência ao 9.º ano.
Tratei de averiguar que sistema era este conhecido como Novas Oportunidades e senti-me confrontado com uma verdadeira “burla legal”. Após umas dezenas de aulas de informática (vocacionadas para a navegação na Internet) e um contacto com um professor designado para o efeito, os concorrentes das NO dispunham de 3 meses para elaborar um trabalho, com temas modelo, que deveriam desenvolver. No final entregavam o trabalho no centro, que o certificava ou não (ou seja, lhes atribuía equivalência ao 9.º ano).
Admirei-me como aquelas senhoras tinham sido capazes de elaborar tal trabalho. Embora se dissesse que fora o jurista da instituição que os fizera (ou pelo menos colaborara na sua feitura) preferi não pôr em causa a validade da certificação, não fosse isso trazer-me aborrecimentos.
Organizei os processos e remeti-os para o Ministério, pois as reclassificações de FP eram competência do Secretário-Geral.
E lá foram elas reclassificadas, ficando lado a lado com todos aqueles funcionários ou trabalhadores que tinham recorrido ao ensino regular para obterem as qualificações exigidas por lei. Neste caso 3 anos de estudo. Naquele 3 meses de alegada investigação na Internet para pesquisa de dados com vista ao desenvolvimento de temas padrão.
Por curiosidade, um dos temas dos portfólios faz recurso a uma competência designada “Matemática para a Vida”. Deve ter a ver com contas do tipo “se 1kg de batatas custa 5 euros, quanto custam 3 Kg?” ou outra coisa qualquer.
Resumindo: com algum esforço (3 meses para o 9.º ano e 6 meses para o 12.º) ou, em alternativa (esta para os desonestos) com algum dinheiro, tem-se acesso a um diploma e ao ensino superior, algo que a maioria das pessoas conseguiram com grande esforço (6 anos de estudo).
Não admira pois que Portugal seja um campeão do abandono escolar. A nossa juventude vê nesta NO uma forma simples de conseguir as qualificações necessárias para o trabalho ou para acesso ao ensino superior (evidentemente, cursos generalistas, menos exigentes, em matéria de conhecimentos base, como por exemplo psicologia, assistência social, etc., pois dificilmente se aguentariam em cursos com uma componente científica mais exigente).
É obvio que a imagem de Portugal nas estatísticas de literacia vai melhorando. Mas o chamado capital humano, considerado alicerce fundamental do desenvolvimento económico sustentado, está-se a degradar.
Se esta NO não forem reformuladas num sentido de uma maior exigência e impedindo a sua utilização abusiva ou desonesta, vislumbra-se um futuro muito negativo para este país.
Pedro, the impact of NO certification in the public sector(central government and local authorities) is probably far greater than in the private sector, since in the PS the career progression or the access to new positions depend on the certified level of education.
ReplyDelete