- Weblog Try video!
(This oneâs in Spanish - what Iâm saying is that a while ago Iâve downloaded a modern AI model for video generation and played around with it using Python. It does a fabulous job, but it was hilarious at the same time - this gave me a wonderful image of why and how LLMâs surely fail for large classes of problems. Try it yourself: upload a family photo with people youâve known for years, and tell the AI to animate the photo; you will almost immediately see how this comes apart, although the video itself is very, very well done. The expressions, body features and clothing styles will not match the people you know. You can be sure that these sorts of failure apply to large language models in the same way: people in the know, specialists in their fields, will smirk and snigger at the BS the model produces, whereas to you and me, it might just seem very plausible.)
Hace algĂșn tiempo, estuve experimentando con redes neuronales que se pueden descargar de un sitio que se llama âHugging Faceâ. DespuĂ©s de descargar un modelo, se puede utilizar en la computadora de casa sin conexiĂłn a Internet, mediante programaciĂłn en Python.
Un dĂa descubrĂ algo interesante mientras exploraba la generaciĂłn de video con un modelo bastante reciente y sofisticado.
Le di al modelo una foto de familia como imagen de partida, en la que aparecĂan tres personas que conozco muy bien, y le pedĂ que hiciera que se movieran âde manera naturalâ.
El resultado nos hizo reĂr muchĂsimo, pero no porque el video estuviera mal hecho. ÂĄAl contrario: estaba sorprendentemente bien hecho! El fondo de la imagen y todos los elementos inmĂłviles estaban renderizados perfectamente, y las personas se movĂan de una manera bastante natural.
Lo que nos hizo reĂr y ver el video una y otra vez fue que, despuĂ©s de apenas dos segundos, ya se notaba que esas personas no eran las que conocemos tan bien: actuaban y tenĂan un aspecto completamente diferente.
La IA no puede saber cĂłmo son las partes de las personas que no aparecen en la foto y, por lo tanto, tiene que adivinar la forma del cuerpo, la ropa, las expresiones y los gestos. Y ahĂ es donde las cosas empiezan a fallar.
Lo que no me gusta de esta experiencia es que, cuando queremos que la IA genere un video de personas que ya conocemos bien, nos damos cuenta inmediatamente de que algo no funciona. EstĂĄ adivinando demasiado como para que el resultado nos parezca convincente.
Si, en cambio, queremos generar un video con personas que no conocemos, puede ocurrir que, aunque el resultado sea mentira, nos parezca perfectamente plausible.
Ahora, imagĂnense cĂłmo es esto cuando hacemos preguntas sobre otros temas. En las cosas que ya conocemos, podemos detectar claramente los errores de la IA. Pero cuando se trata de cosas que nos interesan y que no conocemos, ahĂ sĂ que tenemos que comprobar sus resultados con mucha cautela.