Published September 24, 2018 | Version v1
Publication Open

Process evaluation of a social franchising model to improve maternal health: evidence from a multi-methods study in Uttar Pradesh, India

Description

A prominent strategy to engage private sector health providers in low- and middle-income countries is clinical social franchising, an organisational model that applies the principles of commercial franchising for socially beneficial goals. The Matrika programme, a multi-faceted social franchise model to improve maternal health, was implemented in three districts of Uttar Pradesh, India, between 2013 and 2016. Previous research indicates that the intervention was not effective in improving the quality and coverage of maternal health services at the population level. This paper reports findings from an independent external process evaluation, conducted alongside the impact evaluation, with the aim of explaining the impact findings. It focuses on the main component of the programme, the "Sky" social franchise.We first developed a theory of change, mapping the key mechanisms through which the programme was hypothesised to have impact. We then undertook a multi-methods study, drawing on both quantitative and qualitative primary data from a wide range of sources to assess the extent of implementation and to understand mechanisms of impact and the role of contextual factors. We analysed the quantitative data descriptively to generate indicators of implementation. We undertook a thematic analysis of the qualitative data before holding reflective meetings to triangulate across data sources, synthesise evidence, and identify the main findings. Finally, we used the framework provided by the theory of change to organise and interpret our findings.We report six key findings. First, despite the franchisor achieving its recruitment targets, the competitive nature of the market for antenatal care meant social franchise providers achieved very low market share. Second, all Sky health providers were branded but community awareness of the franchise remained low. Third, using lower-level providers and community health volunteers to encourage women to attend franchised antenatal care services was ineffective. Fourth, referral linkages were not sufficiently strong between antenatal care providers in the franchise network and delivery care providers. Fifth, Sky health providers had better knowledge and self-reported practice than comparable health providers, but overall, the evidence pointed to poor quality of care across the board. Finally, telemedicine was perceived by clients as an attractive feature, but problems in the implementation of the technology meant its effect on quality of antenatal care was likely limited.These findings point towards the importance of designing programmes based on a strong theory of change, understanding market conditions and what patients value, and rigorously testing new technologies. The design of future social franchising programmes should take account of the challenges documented in this and other evaluations.

⚠️ This is an automatic machine translation with an accuracy of 90-95%

Translated Description (Arabic)

تتمثل إحدى الاستراتيجيات البارزة لإشراك مقدمي الخدمات الصحية من القطاع الخاص في البلدان المنخفضة والمتوسطة الدخل في الامتياز الاجتماعي السريري، وهو نموذج تنظيمي يطبق مبادئ الامتياز التجاري لتحقيق أهداف مفيدة اجتماعيًا. تم تنفيذ برنامج ماتريكا، وهو نموذج امتياز اجتماعي متعدد الأوجه لتحسين صحة الأم، في ثلاث مقاطعات في أوتار براديش، الهند، بين عامي 2013 و 2016. تشير الأبحاث السابقة إلى أن التدخل لم يكن فعالاً في تحسين جودة وتغطية خدمات صحة الأم على مستوى السكان. تقدم هذه الورقة نتائج من تقييم عملية خارجي مستقل، تم إجراؤه جنبًا إلى جنب مع تقييم الأثر، بهدف شرح نتائج الأثر. يركز على المكون الرئيسي للبرنامج، الامتياز الاجتماعي "سكاي". لقد طورنا أولاً نظرية التغيير، ورسمنا خريطة للآليات الرئيسية التي افترض من خلالها أن البرنامج له تأثير. ثم أجرينا دراسة متعددة الأساليب، بالاعتماد على كل من البيانات الأولية الكمية والنوعية من مجموعة واسعة من المصادر لتقييم مدى التنفيذ وفهم آليات التأثير ودور العوامل السياقية. قمنا بتحليل البيانات الكمية بشكل وصفي لتوليد مؤشرات التنفيذ. أجرينا تحليلًا مواضيعيًا للبيانات النوعية قبل عقد اجتماعات تأملية لتثليث مصادر البيانات وتجميع الأدلة وتحديد النتائج الرئيسية. أخيرًا، استخدمنا الإطار الذي توفره نظرية التغيير لتنظيم وتفسير نتائجنا. نبلغ عن ست نتائج رئيسية. أولاً، على الرغم من تحقيق مانح الامتياز لأهداف التوظيف الخاصة به، فإن الطبيعة التنافسية لسوق الرعاية السابقة للولادة تعني أن مقدمي الامتياز الاجتماعي حققوا حصة سوقية منخفضة للغاية. ثانيًا، تم وضع علامة تجارية على جميع مقدمي الخدمات الصحية في سكاي، لكن الوعي المجتمعي بالامتياز ظل منخفضًا. ثالثًا، كان استخدام مقدمي الخدمات من المستوى الأدنى والمتطوعين الصحيين المجتمعيين لتشجيع النساء على حضور خدمات الرعاية السابقة للولادة الممنوحة حق الامتياز غير فعال. رابعاً، لم تكن روابط الإحالة قوية بما فيه الكفاية بين مقدمي الرعاية السابقة للولادة في شبكة الامتياز ومقدمي الرعاية أثناء الولادة. خامسًا، كان لدى مقدمي الخدمات الصحية في سكاي معرفة وممارسة ذاتية أفضل من مقدمي الخدمات الصحية المشابهين، ولكن بشكل عام، أشارت الأدلة إلى ضعف جودة الرعاية في جميع المجالات. أخيرًا، نظر العملاء إلى التطبيب عن بُعد على أنه ميزة جذابة، لكن المشاكل في تنفيذ التكنولوجيا تعني أن تأثيره على جودة الرعاية السابقة للولادة كان محدودًا على الأرجح. تشير هذه النتائج إلى أهمية تصميم البرامج بناءً على نظرية قوية للتغيير، وفهم ظروف السوق وما يقدّره المرضى، واختبار التقنيات الجديدة بدقة. يجب أن يأخذ تصميم برامج الامتياز الاجتماعي المستقبلية في الاعتبار التحديات الموثقة في هذا التقييم وغيره.

Translated Description (French)

Une stratégie importante pour engager les prestataires de santé du secteur privé dans les pays à revenu faible et intermédiaire est le franchisage social clinique, un modèle organisationnel qui applique les principes du franchisage commercial à des objectifs socialement bénéfiques. Le programme Matrika, un modèle de franchise sociale à multiples facettes visant à améliorer la santé maternelle, a été mis en œuvre dans trois districts de l'Uttar Pradesh, en Inde, entre 2013 et 2016. Des recherches antérieures indiquent que l'intervention n'a pas été efficace pour améliorer la qualité et la couverture des services de santé maternelle au niveau de la population. Ce document présente les résultats d'une évaluation externe indépendante du processus, menée parallèlement à l'évaluation d'impact, dans le but d'expliquer les résultats de l'impact. Il se concentre sur la composante principale du programme, la franchise sociale « Sky ». Nous avons d'abord développé une théorie du changement, cartographiant les mécanismes clés par lesquels le programme était supposé avoir un impact. Nous avons ensuite entrepris une étude multi-méthodes, en nous appuyant sur des données primaires quantitatives et qualitatives provenant d'un large éventail de sources pour évaluer l'étendue de la mise en œuvre et comprendre les mécanismes d'impact et le rôle des facteurs contextuels. Nous avons analysé les données quantitatives de manière descriptive pour générer des indicateurs de mise en œuvre. Nous avons entrepris une analyse thématique des données qualitatives avant de tenir des réunions de réflexion pour trianguler les sources de données, synthétiser les preuves et identifier les principales conclusions. Enfin, nous avons utilisé le cadre fourni par la théorie du changement pour organiser et interpréter nos résultats. Nous rapportons six résultats clés. Tout d'abord, bien que le franchiseur ait atteint ses objectifs de recrutement, la nature concurrentielle du marché des soins prénatals a fait que les fournisseurs de franchises sociales ont atteint une très faible part de marché. Deuxièmement, tous les prestataires de santé Sky étaient de marque, mais la sensibilisation de la communauté à la franchise est restée faible. Troisièmement, le recours à des prestataires de niveau inférieur et à des bénévoles de la santé communautaire pour encourager les femmes à participer à des services de soins prénatals franchisés était inefficace. Quatrièmement, les liens de référence n'étaient pas suffisamment forts entre les prestataires de soins prénatals du réseau de franchise et les prestataires de soins d'accouchement. Cinquièmement, les prestataires de soins de santé Sky avaient de meilleures connaissances et une meilleure pratique autodéclarée que les prestataires de soins de santé comparables, mais dans l'ensemble, les données probantes indiquaient une mauvaise qualité des soins dans tous les domaines. Enfin, la télémédecine était perçue par les clients comme une caractéristique attrayante, mais les problèmes de mise en œuvre de la technologie signifiaient que son effet sur la qualité des soins prénatals était probablement limité. Ces résultats soulignent l'importance de concevoir des programmes basés sur une solide théorie du changement, de comprendre les conditions du marché et ce que les patients apprécient, et de tester rigoureusement les nouvelles technologies. La conception des futurs programmes de franchisage social devrait tenir compte des défis documentés dans cette évaluation et dans d'autres.

Translated Description (Spanish)

Una estrategia prominente para involucrar a los proveedores de salud del sector privado en los países de bajos y medianos ingresos es la franquicia social clínica, un modelo organizacional que aplica los principios de la franquicia comercial para objetivos socialmente beneficiosos. El programa Matrika, un modelo de franquicia social multifacético para mejorar la salud materna, se implementó en tres distritos de Uttar Pradesh, India, entre 2013 y 2016. Investigaciones anteriores indican que la intervención no fue efectiva para mejorar la calidad y la cobertura de los servicios de salud materna a nivel poblacional. Este documento informa los hallazgos de una evaluación externa independiente del proceso, realizada junto con la evaluación de impacto, con el objetivo de explicar los hallazgos del impacto. Se centra en el componente principal del programa, la franquicia social "Sky". Primero desarrollamos una teoría del cambio, mapeando los mecanismos clave a través de los cuales se suponía que el programa tendría impacto. A continuación, realizamos un estudio de múltiples métodos, utilizando datos primarios cuantitativos y cualitativos de una amplia gama de fuentes para evaluar el alcance de la implementación y comprender los mecanismos de impacto y el papel de los factores contextuales. Analizamos los datos cuantitativos de forma descriptiva para generar indicadores de implementación. Realizamos un análisis temático de los datos cualitativos antes de celebrar reuniones de reflexión para triangular las fuentes de datos, sintetizar pruebas e identificar los principales hallazgos. Finalmente, utilizamos el marco proporcionado por la teoría del cambio para organizar e interpretar nuestros hallazgos. Informamos seis hallazgos clave. En primer lugar, a pesar de que el franquiciador logró sus objetivos de contratación, la naturaleza competitiva del mercado de la atención prenatal hizo que los proveedores de franquicias sociales lograran una cuota de mercado muy baja. En segundo lugar, todos los proveedores de salud de Sky tenían marca, pero el conocimiento de la comunidad sobre la franquicia se mantuvo bajo. En tercer lugar, el uso de proveedores de nivel inferior y voluntarios de salud comunitaria para alentar a las mujeres a asistir a servicios de atención prenatal franquiciados fue ineficaz. En cuarto lugar, los vínculos de derivación no fueron lo suficientemente fuertes entre los proveedores de atención prenatal en la red de franquicias y los proveedores de atención al parto. En quinto lugar, los proveedores de salud de Sky tenían un mejor conocimiento y práctica autoinformada que los proveedores de salud comparables, pero en general, la evidencia apuntaba a una mala calidad de la atención en todos los ámbitos. Finalmente, la telemedicina fue percibida por los clientes como una característica atractiva, pero los problemas en la implementación de la tecnología hicieron que su efecto en la calidad de la atención prenatal fuera probablemente limitado. Estos hallazgos apuntan a la importancia de diseñar programas basados en una sólida teoría del cambio, comprender las condiciones del mercado y lo que valoran los pacientes, y probar rigurosamente las nuevas tecnologías. El diseño de futuros programas de franquicias sociales debe tener en cuenta los retos documentados en esta y otras evaluaciones.

Files

s13012-018-0813-y.pdf

Files (1.3 MB)

⚠️ Please wait a few minutes before your translated files are ready ⚠️ Note: Some files might be protected thus translations might not work.
Name Size Download all
md5:f56c52f7805247bd22f01e9097568f2b
1.3 MB
Preview Download

Additional details

Additional titles

Translated title (Arabic)
عملية تقييم نموذج الامتياز الاجتماعي لتحسين صحة الأم: أدلة من دراسة متعددة الأساليب في ولاية أوتار براديش، الهند
Translated title (French)
Évaluation du processus d'un modèle de franchisage social pour améliorer la santé maternelle : preuves d'une étude multi-méthodes dans l'Uttar Pradesh, Inde
Translated title (Spanish)
Evaluación del proceso de un modelo de franquicia social para mejorar la salud materna: evidencia de un estudio de múltiples métodos en Uttar Pradesh, India

Identifiers

Other
https://openalex.org/W2893151219
DOI
10.1186/s13012-018-0813-y

GreSIS Basics Section

Is Global South Knowledge
Yes
Country
India

References

  • https://openalex.org/W1565006496
  • https://openalex.org/W1893838136
  • https://openalex.org/W1992393904
  • https://openalex.org/W2028954902
  • https://openalex.org/W2075744862
  • https://openalex.org/W2085001923
  • https://openalex.org/W2102268587
  • https://openalex.org/W2112369694
  • https://openalex.org/W2117446516
  • https://openalex.org/W2122949381
  • https://openalex.org/W2128826799
  • https://openalex.org/W2129103815
  • https://openalex.org/W2132782454
  • https://openalex.org/W2399016309
  • https://openalex.org/W2461020770
  • https://openalex.org/W2484740225
  • https://openalex.org/W2486687576
  • https://openalex.org/W2527899846
  • https://openalex.org/W2528440784
  • https://openalex.org/W2528664644
  • https://openalex.org/W2608479583
  • https://openalex.org/W2776067331
  • https://openalex.org/W2783597635
  • https://openalex.org/W4285719527