Le politiche migratorie in Bangladesh, dai test pilota all'attuazione su ampia scala
L'aumento delle valutazioni sperimentali osservato negli ultimi decenni è strettamente legato alla ricerca di un'allocazione efficiente delle risorse nelle politiche sociali. Misurando l'efficacia di diversi programmi, è possibile valutare se tali politiche debbano essere portate avanti e fornire ai responsabili politici una base per prendere decisioni informate quando si confrontano le diverse possibilità di intervento. Questioni come la validità esterna e la mancata replica dei risultati su scala più ampia, tuttavia, fanno capire le difficoltà di interpretazione di questi risultati sperimentali. Tuttavia, anche queste asimmetrie possono essere analizzate, fornendoci una migliore comprensione degli ostacoli all'implementazione e alla replica su scala più ampia.
Come afferma Eva Vivalt nel suo articolo del 2020 ("How much can we generalize from impact evaluations?"), "la generalizzabilità non è binaria, ma qualcosa che possiamo misurare." Sfruttando una serie di dati sui risultati delle valutazioni d'impatto, l'autrice evidenzia alcune differenze sistematiche nei risultati sperimentali: gli interventi su piccola scala riportano costantemente effetti più elevati, mentre i programmi attuati dai governi hanno solitamente dimensioni d'effetto inferiori rispetto alle organizzazioni accademiche o non governative.
Questi risultati aiutano a mettere in prospettiva l'attuazione di queste politiche, mostrando che c'è spazio per comprendere i fattori che determinano questi divari, consentendo stime più realistiche degli interventi su larga scala o trovando misure per mantenerne l'efficacia su scala più ampia. L'articolo presentato dal professor Ashish Shenoy all'ultimo LEAP Development Coffee è un altro contributo a questa discussione.
L'articolo ha illustrato l'esperienza di un intervento a sostegno della migrazione nel Bangladesh settentrionale. La stagionalità dell'agricoltura in questa regione dà origine a cicli di povertà nei periodi che precedono il raccolto in questa regione, quando i prezzi dei prodotti alimentari sono alti e i salari rurali sono bassi. Pertanto, la migrazione temporanea può aiutare le famiglie a trovare migliori opportunità in altre regioni durante questi periodi, che potrebbero essere sostenuti attraverso prestiti per la migrazione.
Nella sua valutazione pilota di un programma che offre un prestito a breve termine a basso interesse per la migrazione nel Bangladesh settentrionale, l'effetto stimato dell'intervento variava tra i 25 e i 40 punti percentuali. Nell'intervento scalare, tuttavia, l'aumento della probabilità che una famiglia abbia un migrante ha raggiunto solo 6 punti percentuali, in un altro esempio dei problemi legati all'implementazione scalare. Un'ulteriore analisi, tuttavia, permette di escludere alcune delle possibili cause di questa diminuzione. Non ci sono prove di effetti di crowd-out nell'equilibrio generale, e le differenze tra la popolazione interessata nell'intervento su vasta scala e quella pilota spiegherebbero al massimo un terzo della differenza negli effetti del trattamento.
Sulla base di questi risultati, gli autori presentano delle prove che dimostrano come l'attenuazione dell'effetto possa essere interpretata attraverso la lente dei rischi di delega: attuatori limitati nelle capacità che cercano di massimizzare i risultati misurabili dell'attuazione. In particolare, nel contesto dell'intervento in Bangladesh, gli attuatori che cercano di massimizzare il numero di individui che partecipano al programma di prestiti potrebbero finire per concentrare gli sforzi su persone che sarebbero già più propense a migrare, raggiungendo così una quota più elevata di "always takers", che migrerebbero anche in assenza di un incentivo a farlo. Questo quadro fornisce un importante contributo alla progettazione delle politiche pubbliche, centrando la discussione sulla progettazione ottimale delle metriche di attuazione e sugli incentivi che chi le mette in pratica deve affrontare: concentrandosi su una metrica mal progettata, chi esegue i piani può finire per concentrarsi su strategie di attuazione subottimali. Inoltre, va sottolineato il ruolo del monitoraggio: gli interventi pilota e gli studi randomizzati controllati richiedono solitamente un alto livello di controllo sull'implementazione per assicurare la conformità agli standard metodologici. Questi vincoli non sono più presenti nell'implementazione su scala, che può portare a livelli di controllo inferiori per quanto riguarda le procedure di targeting degli implementatori. Questi approfondimenti rappresentano un prezioso contributo al dibattito in corso sull'implementazione di progetti su scala e sull'affidabilità degli effetti stimati in un contesto sperimentale.
Mitchell, Harrison, A. Mushfiq Mobarak, Karim Naguib, Maira Emy Reimão and Ashish Shenoy, "External Validity and Implementation at Scale: Evidence from a Migration Loan Program in Bangladesh", Working Paper, 2022.
Vivalt, Eva "How much can we generalize from impact evaluations?" Journal of the European Economic Association 18.6 (2020): 3045-3089. https://doi.org/10.1093/jeea/jvaa019