Whitepaper
How we validate MovumStudio algorithms
Evidence over hype
An algorithm only enters MovumStudio once it has been measured against real clinical data and shown to work. Not in a demo, not on a curated example: on the cases you actually see in the clinic.
Clinical AI does not fail loudly. A wrong segmentation looks like a right one. A misidentified implant comes with the same confident label as a correct one. The clinician only finds out later, in the chair, when the abutment does not fit or the guide does not seat.
That is why we treat validation as part of the product, not as marketing. If we cannot show you how an algorithm performs, and where it fails, it does not ship.
The problem: AI sold on demos
Most dental AI reaches clinics with a promise and a video, not with numbers. The few figures published often come from the developer's own training data, from ideal cases, or from a single metric that hides the failures.
Our own research shows what that hides. When we tested five tooth segmentation algorithms on the same 100 intraoral scans, performance looked similar on complete dentitions. On partially edentulous arches, three of the commercial tools failed to segment between 26% and 64% of the scans. Those are exactly the patients who need prosthetic and implant work.
A clinician cannot run that test on every tool they buy. So the burden of proof has to sit with the company that builds the algorithm.
Our principles
Six rules decide whether an algorithm is ready. They follow the same pillars that shape everything MovumTech builds.
- Real data, not curated data. We test on scans and images from everyday clinical practice, with artifacts, scan bodies, orthodontic appliances and missing teeth left in.
- Unseen cases only. No case used to train an algorithm is used to measure it.
- The hard cases count most. We report results separately for the cases where AI tends to fail, such as partially edentulous arches, not only the average.
- A human expert is the bar. Results are compared with expert clinicians, and with the agreement between two experts, so you know whether the AI is as reliable as a colleague.
- Published and open to scrutiny. We aim to publish every validation in peer-reviewed journals, with methods, limitations and conflicts of interest declared.
- Independent results come first. When an external team measures an algorithm, that is the number we quote, even if it is lower. Implant Identification reaches 93% accuracy in our internal tests and 87.4% in the independent study at the University of Valencia. We publish 87.4%.
How we validate
Every algorithm passes the same six stages before it reaches MovumStudio. If it fails a stage, it goes back to development.
- Define the clinical question. Each algorithm starts from a decision a clinician has to make, such as which implant is in this x-ray, or where the nerve runs. That question sets what success means.
- Build a clinical test set. Real cases, collected under ethics committee approval and anonymised, kept apart from any training data. The set includes the difficult cases, not only the clean ones.
- Create the ground truth. An experienced clinician annotates every case by hand. A second, independent expert reviews and corrects the annotations.
- Measure with several metrics. One number can hide failures, so we report several: accuracy, precision, recall, Intersection over Union and Dice for segmentation, plus how many cases the algorithm could process at all.
- Compare against the alternatives and against people. We test competing algorithms on the same cases, and compare our results with a second human expert. Differences are checked with statistical tests, not eyeballed.
- Publish. The study goes to peer review, with authors, funding and conflicts of interest declared. Only then does the algorithm carry a claim on our website.
Why it matters
Iatrogenic outcomes in digital dentistry rarely come from a lack of technology. They come from planning on information nobody checked. Validated AI changes three things.
- For the clinician: you know when to trust it. Published numbers tell you how often the algorithm is right, on which cases, and where you still need to look twice. Criteria over automation: the AI does the groundwork, you decide.
- For the patient: fewer surprises in the chair. A correctly identified implant means the right components ordered the first time. A correct segmentation means the guide, the wax-up and the restoration start from the real anatomy.
- For the profession: a standard to demand. Every tool that publishes its validation raises the bar for those that do not. We want clinicians to ask every AI vendor the same question we ask ourselves: show me the study.
Regulation
Validation is also a legal obligation. MovumTech holds a medical device licence from the Spanish Agency of Medicines and Medical Devices (AEMPS) and is in the process of obtaining CE marking for MovumStudio.
Our commitments
We close with promises we can be held to.
- No algorithm enters MovumStudio without a validation on real clinical data.
- Every performance claim on our website links to the study behind it.
- We report where our algorithms fail, not only where they succeed.
- We declare who ran each study and who paid for it.
- We monitor every algorithm after launch, retrain it periodically, and validate each update before it reaches you.
Whitepaper
Cómo validamos los algoritmos de MovumStudio
Evidencia antes que hype
Un algoritmo solo entra en MovumStudio cuando se ha medido con datos clínicos reales y ha demostrado que funciona. No en una demo, no con un ejemplo escogido: con los casos que de verdad ves en la clínica.
La IA clínica no falla de forma ruidosa. Una segmentación errónea parece correcta. Un implante mal identificado llega con la misma etiqueta segura que uno bien identificado. El clínico solo lo descubre después, en el sillón, cuando el pilar no ajusta o la férula no asienta.
Por eso tratamos la validación como parte del producto, no como marketing. Si no podemos mostrarte cómo rinde un algoritmo, y dónde falla, no se lanza.
El problema: IA vendida con demos
La mayor parte de la IA dental llega a las clínicas con una promesa y un vídeo, no con cifras. Los pocos datos publicados suelen salir de los propios datos de entrenamiento del desarrollador, de casos ideales o de una sola métrica que esconde los fallos.
Nuestra propia investigación muestra lo que eso esconde. Al comparar cinco algoritmos de segmentación dental sobre los mismos 100 escaneados intraorales, el rendimiento parecía similar en denticiones completas. En arcadas parcialmente edéntulas, tres de las herramientas comerciales no lograron segmentar entre el 26 % y el 64 % de los escaneados. Son justo los pacientes que necesitan tratamiento protésico e implantológico.
Un clínico no puede repetir esa prueba con cada herramienta que compra. Por eso la carga de la prueba tiene que estar en la empresa que construye el algoritmo.
Nuestros principios
Seis reglas deciden si un algoritmo está listo. Siguen los mismos pilares que dan forma a todo lo que construye MovumTech.
- Datos reales, no datos seleccionados. Probamos con escaneados e imágenes de la práctica clínica diaria, con artefactos, scan bodies, aparatología de ortodoncia y dientes ausentes incluidos.
- Solo casos no vistos. Ningún caso usado para entrenar un algoritmo se usa para medirlo.
- Los casos difíciles cuentan más. Damos resultados por separado para los casos donde la IA suele fallar, como las arcadas parcialmente edéntulas, no solo la media.
- El experto humano es la referencia. Comparamos los resultados con clínicos expertos, y con el acuerdo entre dos expertos, para que sepas si la IA es tan fiable como un colega.
- Publicado y abierto al escrutinio. Aspiramos a publicar cada validación en revistas con revisión por pares, declarando métodos, limitaciones y conflictos de interés.
- Primero, los resultados independientes. Cuando un equipo externo mide un algoritmo, esa es la cifra que citamos, aunque sea más baja. La identificación de implantes alcanza un 93 % de precisión en nuestras pruebas internas y un 87,4 % en el estudio independiente de la Universidad de Valencia. Publicamos el 87,4 %.
Cómo validamos
Cada algoritmo pasa por las mismas seis etapas antes de llegar a MovumStudio. Si no supera una etapa, vuelve a desarrollo.
- Definir la pregunta clínica. Cada algoritmo parte de una decisión que el clínico tiene que tomar, como qué implante hay en esta radiografía o por dónde pasa el nervio. Esa pregunta define qué significa acertar.
- Crear un conjunto de prueba clínico. Casos reales, recogidos con aprobación de un comité de ética y anonimizados, separados de cualquier dato de entrenamiento. El conjunto incluye los casos difíciles, no solo los limpios.
- Crear la referencia (ground truth). Un clínico experimentado anota cada caso a mano. Un segundo experto, independiente, revisa y corrige las anotaciones.
- Medir con varias métricas. Un solo número puede esconder fallos, así que damos varios: exactitud, precisión, sensibilidad, Intersection over Union y Dice en segmentación, además de cuántos casos pudo procesar el algoritmo.
- Comparar con las alternativas y con personas. Probamos algoritmos de la competencia sobre los mismos casos y comparamos nuestros resultados con un segundo experto humano. Las diferencias se comprueban con pruebas estadísticas, no a ojo.
- Publicar. El estudio pasa revisión por pares, con autores, financiación y conflictos de interés declarados. Solo entonces el algoritmo lleva una cifra en nuestra web.
Por qué importa
Los resultados iatrogénicos en odontología digital rara vez vienen de la falta de tecnología. Vienen de planificar con información que nadie comprobó. La IA validada cambia tres cosas.
- Para el clínico: sabes cuándo fiarte. Las cifras publicadas te dicen con qué frecuencia acierta el algoritmo, en qué casos y dónde todavía tienes que mirar dos veces. Criterio antes que automatización: la IA hace el trabajo de base, tú decides.
- Para el paciente: menos sorpresas en el sillón. Un implante bien identificado significa pedir los componentes correctos a la primera. Una segmentación correcta significa que la férula, el encerado y la restauración parten de la anatomía real.
- Para la profesión: un estándar que exigir. Cada herramienta que publica su validación sube el listón para las que no lo hacen. Queremos que los clínicos hagan a cada proveedor de IA la misma pregunta que nos hacemos nosotros: enséñame el estudio.
Regulación
Validar es también una obligación legal. MovumTech tiene licencia de producto sanitario de la Agencia Española de Medicamentos y Productos Sanitarios (AEMPS) y está en proceso de obtener el marcado CE para MovumStudio.
Nuestros compromisos
Terminamos con promesas por las que se nos puede pedir cuentas.
- Ningún algoritmo entra en MovumStudio sin una validación con datos clínicos reales.
- Cada cifra de rendimiento en nuestra web enlaza al estudio que la respalda.
- Contamos dónde fallan nuestros algoritmos, no solo dónde aciertan.
- Declaramos quién hizo cada estudio y quién lo pagó.
- Monitorizamos cada algoritmo después del lanzamiento, lo reentrenamos de forma periódica y validamos cada actualización antes de que te llegue.