El editor de video AI de Dumme crea YouTube Shorts en minutos

Dumme, una startup que pone en práctica la IA en la edición de video, ya está generando demanda antes de abrirse al público. La compañía respaldada por Y Combinator tiene cientos de creadores de videos que prueban su producto, que aprovecha la IA para crear videos cortos a partir del contenido de YouTube, y una lista de espera de más de 20,000 antes del lanzamiento, dice. Al usar una combinación de modelos de IA patentados y existentes, la promesa de Dumme es que no solo puede ahorrar tiempo de edición, sino también, y aquí está su gran reclamo, hacer un mejor trabajo que la fuerza de trabajo (humana) contratada, que a menudo tiene tareas más serviles. trabajos de edición de video, como cortar contenido de formato largo para publicarlo en plataformas de formato corto como YouTube Shorts, TikTok o Instagram Reels.

Fundado en enero de 2022 y participante en el programa de invierno de 2022 del acelerador de startups Y Combinator, el cofundador y director ejecutivo de Dumme, Merwane Drai, dijo que originalmente se centró en crear un motor de búsqueda para videos. Pero hace unos seis meses, el equipo se dio cuenta de que un mejor producto podría ser reutilizar los mismos modelos de IA que estaban desarrollando para editar videoclips.

Junto con los cofundadores Will Dahlstrom (CPO) y Jordan Brannan (CTO), todos con experiencia en inteligencia artificial, Drai se dio cuenta de que Dumme podría haber aterrizado en el producto adecuado para el mercado después de que su aplicación se volviera viral y colapsara sus servidores.

"Realmente no esperábamos que obtuviera mucha tracción ni nada, así que simplemente pusimos algo ahí fuera", explica Drai. "Entonces, lo que sucedió es que de la noche a la mañana, nos despertamos con servidores sobrecargados, como si nada funcionara. Así que eliminamos todo y creamos una especie de lista de espera", continúa. "A la mañana siguiente, probablemente nos despertamos con 5.000 personas allí, lo cual fue interesante".

Más tarde, el equipo descubrió que un creador de TikTok había publicado un video breve sobre el producto, lo que envió una avalancha de tráfico a su sitio.

"En realidad nunca se calmó de eso", señala Drai.

El producto, pronunciado "ficticio", atrajo a los creadores porque tenía como objetivo simplificar y acelerar el trabajo relacionado con la edición de videos.

Créditos de imagen:Estúpido

Usar Dumme es tan simple como su nombre lo indica. Para comenzar, el usuario pega el enlace de un video de YouTube, luego hace clic en "generar" y la IA generará una serie de videos cortos que muestran los aspectos más destacados de ese contenido ingerido. La compañía dice que está utilizando YouTube como fuente, en lugar de admitir secuencias de video sin procesar, para subcontratar la moderación del contenido, es decir, si está permitido en YouTube, está permitido en Dumme.

El tiempo de procesamiento y la cantidad de clips resultantes dependerán de la duración del video original.

Pero como ejemplo, un podcast de video de una hora de duración puede tardar alrededor de 20 minutos en procesarse y comenzará a recibir clips después de unos cinco minutos, dice Drai. Una vez completados, los creadores pueden descargar los videoclips, que duran menos de 60 segundos de forma predeterminada, y subirlos a cualquier plataforma que admita contenido de formato corto, como YouTube Shorts, pero también a otras plataformas, como Reels o TikTok.

Créditos de imagen:Estúpido

Cómo funciona todo esto en el back-end, por supuesto, es mucho más complejo. La compañía dice que, inicialmente, Dumme aprenderá todo lo que pueda del video fuente a través de los metadatos. Luego transcribe el video e intenta comprender la semántica de lo que se dice mientras mira los fotogramas para tratar de decodificar las emociones de la persona que habla. Estos hallazgos se correlacionan y pasan a un modelo de lenguaje que intenta determinar qué partes del video merecen ser recortadas. Luego se transfiere a otro modelo que rastrea a los oradores activos y maneja el recorte.

Dumme dice que está trabajando con modelos de IA existentes como GPT-4, una versión mejorada de Whisper y otros que creó internamente, como el modelo que rastrea a los oradores activos en un cuadro de video. Uno de sus modelos también está capacitado en un montón de YouTube Shorts para aprender qué es un buen gancho de apertura para atraer a los espectadores. Y, aunque aún no está en vivo, el equipo también está experimentando con un modelo de código abierto, LaViLa de Facebook Research, para entender mejor el contexto del video.

El trabajo de IA se está realizando en el proveedor de GPU Cloud CoreWeave, no en AWS, ya que es más asequible, nos dice la compañía.

Debido a que Dumme se basa en la IA que procesa las palabras habladas, la tecnología no es apropiada para cosas como videos largos de juegos u otros en los que las personas no hablan. Drai dice que la puesta en marcha se dirige inicialmente a los creadores, podcasters y agencias de YouTube; creen que esta última sería la mejor apuesta para monetizar el producto.

Créditos de imagen:Estúpido

Las agencias, explica Drai, hoy en día a menudo subcontratan este tipo de trabajo con resultados aleatorios.

"Simplemente pagan a contratistas en jurisdicciones baratas para que editen su propio contenido. Y el problema es que todavía es bastante caro y lleva mucho tiempo, lleva semanas, no minutos", dice.

Cuando se le preguntó cómo se siente acerca de la creación de una tecnología que realmente dejaría a la gente sin trabajo, Drai no estaba preocupado.

"La forma en que lo pienso es que, eventualmente... creo que esto es como decirme que los profesores de matemáticas [se quedarán] sin trabajo porque hay algo llamado calculadora...", explica. "La gente se va a adaptar. Y luego habrá alguien que te enseñe a usar la calculadora, ¿verdad? Así que creo que solo es cuestión de adaptarse a esto", dice Drai.

Actualmente, el precio que se está considerando involucra niveles en los que una empresa pagaría $0.40 por minuto de video procesado, mientras que los creadores más pequeños pueden optar por una suscripción mensual con un límite de 10 horas de contenido por mes. (Estos números pueden cambiar). Durante las pruebas, el producto ha sido de uso gratuito.

Los primeros usuarios han estado utilizando Dumme para una variedad de ediciones, incluida la generación de clips de sus podcasts de video para publicar en Shorts, así como la reducción de otros videos nuevos y la revisión de sus catálogos anteriores.

El producto parece ser competitivo con otras tecnologías de IA en el mercado, incluida la de la empresa creadora Jellysmack, que ha estado aprovechando la IA para convertir videos más largos de YouTube en videos más cortos, cortándolos, redimensionándolos y optimizándolos para plataformas específicas: un resultado de su adquisición de Kamua en 2021. Otras herramientas que hacen un trabajo similar incluyen cosas como Vidyo.ai, Detail, TubeBuddy, Wisecut y otras. La medida en que Dumme tenga éxito o fracase será en superar a los competidores en la calidad del trabajo y el costo, métricas que aún no se han determinado.

Pero algunos inversores están apostando por Dumme. Antes del lanzamiento, la startup recaudó una ronda semilla de $3.4 millones de Y Combinator, Caffeinated Capital, Max y Nellie Levchin (a través de SciFi VC), Suhail Doshi, Nico Chinot, Protocol Labs, Chris Puscasiu y otros ángeles.

Dado el interés y la considerable lista de espera, Dumme dice que su objetivo es incorporar a unas 500 personas cada semana.Los lectores de TechCrunch pueden saltar la línea usando el código de invitación TECHCRUNCH hasta que se agoten los espacios.