Smart Talk Episodio 8: Desbloqueando Insights en Tiempo Real en Data Lakehouses

El data lakehouse ha surgido como un repositorio flexible y multiuso. En este episodio de Smart Talk, Dinesh Chandrasekhar, CEO de Stratola, y su invitado, Justin Borgman, CEO y Chairman de Starburst, discuten cómo extender las capacidades de un data lakehouse para incluir datos en tiempo real y consultas de alto rendimiento que puedan proporcionar insights casi en tiempo real —un caso de uso cada vez más común. Se requieren dos tecnologías clave —streams de Kafka y un motor de consultas poderoso.

Especialmente interesantes son sus perspectivas sobre la importancia del software open-source y formatos abiertos que ha sido validado por Snowflake y Databricks anunciando soporte para Apache Iceberg. Justin comparte su consejo para benchmarking de soluciones —usa tus datos empresariales, ejecuta tus consultas reales, simula escala y finalmente, calcula costos.

Temas cubiertos incluyen:

• Kafka para streaming de datos en tiempo real a data lakehouses (4:22)
• Ventajas de formatos abiertos (5:56)
• El papel de soporte de SQL para GenAI (8:53)
• Snowflake, Databricks e Iceberg (11:56)
• Estrategia de repositorio de datos flexible (17:21)

Invitado

Justin Borgman, CEO y Chairman, Starburst

Justin Borgman es un experto en todo lo relacionado a big data y analítica. Antes de fundar Starburst, fue Vicepresidente y GM en Teradata (NYSE: TDC), donde era responsable del portafolio de productos Hadoop de la empresa. Justin se unió a Teradata en 2014 a través de la adquisición de su empresa Hadapt, donde era cofundador y CEO. Hadapt creó "SQL on Hadoop" convirtiendo Hadoop de un sistema de archivos a una base de datos analítica accesible por cualquier herramienta BI. Fundó Starburst en 2017, buscando dar a analistas la libertad de analizar diversos conjuntos de datos dondequiera que estén ubicados, sin comprometer rendimiento.

Anfitrión

Dinesh Chandrasekhar es un evangelista tecnológico, líder de pensamiento y analista experimentado de la industria IT. Con cerca de 30 años de experiencia, Dinesh ha trabajado en software empresarial B2B así como productos SaaS entregando y comercializando soluciones sofisticadas para clientes con arquitecturas complejas. También ha definido y ejecutado estrategias GTM altamente exitosas para lanzar varios productos de alto crecimiento al mercado en varias empresas como LogicMonitor, Cloudera, Hortonworks, CA Technologies, Software AG, IBM, etc. Es un orador prolífico, blogger y programador de fin de semana. Dinesh tiene un MBA de Santa Clara University y una Maestría en Aplicaciones Informáticas de la University of Madras. Actualmente, Dinesh dirige su propia empresa, Stratola, una firma de consultoría de estrategia empresarial enfocada en el cliente y servicios de marketing full-stack.

Recursos

Smart Talk Episodio 7: Cardinalidad, Control y Costos en Observabilidad

Smart Talk Episodio 6: AIOps y el Futuro del Monitoreo IT

Smart Talk Episodio 5: Desagregación de la Pila de Observabilidad

Smart Talk Episodio 4: Datos en Tiempo Real y Bases de Datos Vectoriales

Smart Talk Episodio 3: Pipelines de Datos Modernos y LLMs

Smart Talk Episodio 2: El Auge de Aplicaciones GenAI con Data-in-Motion

Smart Talk Episodio 1: El Panorama del Ecosistema Data-in-Motion

Ver el mapa del ecosistema data-in-motion aquí

Aprende más sobre data-in-motion en RTInsights aquí

Transcripción

Dinesh Chandrasekhar:

Hola y bienvenidos a este episodio de Smart Talk en la serie Data and Motion Leadership. Soy su anfitrión, Dinesh Chandrasekhar, analista jefe y fundador de Stratola. Nuestro invitado hoy es Justin Borgman, CEO y chairman de Starburst. Justin ha tenido una carrera estelar en empresas de seguridad y analítica de datos, y antes de fundar Starburst en 2017, había fundado una empresa llamada Hadapt, que luego fue adquirida por Teradata donde sirvió como VP y GM por varios años. Bienvenido Justin. Y empecemos con Starburst, ¿verdad? Creo que mucha gente conoce Starburst como marca, pero hay bastantes personas que también están ansiosas por aprender un poco más sobre Starburst. Cuéntenos sobre Starburst, particularmente sus orígenes y su motivación para iniciar la empresa.

Justin Borgman:

Sí, mi placer. Como mencionaste en la introducción, he estado en el espacio de analítica de datos por unos 15 años, desde esa primera startup que fue adquirida por Teradata. Por supuesto, como seguramente sabe su audiencia, Teradata durante muchas décadas, francamente, fue el líder en analítica de data warehousing. Y ese modelo realmente requería mover todos sus datos a una base de datos propietaria, que era su enterprise data warehouse. Y desde allí podías correr analíticas rápidas y entender tu negocio. Creo que lo que vimos fue una oportunidad para básicamente voltear ese modelo, particularmente de dos maneras. Número uno, la capacidad de aprovechar formatos de tabla abiertos en un data lake, dándote rendimiento de data warehousing. Pero en un data lake, a veces la gente llama a esto una arquitectura lakehouse hoy en día, así como poder llegar a otras fuentes de datos y unir tablas que viven en otra base de datos con tablas sentadas en ese data lake.

Por ejemplo, podrías tener una base de datos Oracle o SQL Server, y quieres unir una tabla en uno de esos sistemas con una tabla en formato de archivo Iceberg en un data lake. Y eso es esencialmente lo que hace nuestra tecnología. Es la tecnología subyacente llamada Trino. Es un proyecto open source. Originalmente nació en Facebook, y es cómo muchas de las empresas de internet más grandes, LinkedIn, Airbnb, Netflix, Apple, etc. hacen su propia analítica de data warehousing. De nuevo, en ese modelo donde el data lake es el repositorio central donde pueden obtener un costo de propiedad muy bajo, almacenando datos en estos data lakes, así como poder unir otras tablas también. Y realmente Starburst es solo la comercialización de ese proyecto open source. Proporcionamos una versión enterprise de Trino que tiene características extra de seguridad, conectores extra, beneficios extra de rendimiento, y un montón de otras características y funcionalidad.

Dinesh Chandrasekhar:

Gracias. Y definitivamente quiero profundizar un poco más en Trino e Iceberg y todo eso. Creo que esos son todos grandes temas para hoy, pero ¿puedo dar un paso atrás y preguntarte sobre si miras la evolución de arquitecturas de datos, teníamos bases de datos tradicionales y luego surgieron data warehouses, y con la explosión de datos y la necesidad de procesar más datos en tiempo real, surgieron arquitecturas lakehouse y otras. Entonces en tu mundo, al mirar la evolución de arquitecturas de datos, data lakehouse, y en tu caso creo que tienes un concepto llamado Icehouse también, ¿cómo ha impactado eso la capacidad de las organizaciones para manejar datos en tiempo real efectivamente?

Justin Borgman:

Sí, gran pregunta. Y solo para aclarar para tus oyentes, el concepto icehouse es realmente solo un lakehouse basado en Iceberg. Así que los datos se almacenan en formato de tabla iceberg y puedes hacer analítica estilo data warehousing encima de eso. El resultado neto proporciona un costo total de propiedad realmente bajo así como la capacidad de manejar datos near real-time como describiste. Y la forma en que pensamos sobre eso es que vemos un aumento tremendo en la cantidad de tecnologías de streaming data en el mercado como Kafka por ejemplo, donde los clientes cada vez más usan eso para transmitir datos en near real-time a un data lake.

Y desde nuestro punto de vista, ahí es donde queremos recogerlo. Hemos construido algo que llamamos streaming ingest donde puedes conectarte a un stream de Kafka y automáticamente lo convertiremos en tablas Iceberg y las haremos disponibles para consultas casi instantáneamente. Así que esto habilita a un negocio ahora a tener insights mucho más rápidos y frescos en sus datos como resultado de esta arquitectura.

Dinesh Chandrasekhar:

Gracias. Entonces el Lakehouse promete definitivamente ser un enfoque de arquitectura muy unificado para analítica batch y real-time. ¿Podríamos decir que, quiero decir, cómo ves este cambio arquitectónico transformando BI y la toma de decisiones tradicional a través de industrias hoy? ¿Cómo ha cambiado eso?

Justin Borgman:

Sí, veo que cambia las cosas bastante dramáticamente. Creo que uno de los impulsores y uno de los beneficios de esta arquitectura es tan simple como la economía. Al final del día, esos data warehouses tradicionales podían volverse muy caros. Eso fue probablemente una de las quejas número uno durante mi tiempo en Teradata. Nadie nunca dijo que Teradata era una mala base de datos. En realidad es un gran sistema de base de datos. Solo pasa a ser extremadamente caro y una vez que estás dentro, estás dentro y estás medio comprometido.

Y entonces este data lake te permite una mayor flexibilidad porque estás usando formatos abiertos, lo que permite al cliente elegir cuál es el motor correcto para acceder a mis datos. Te da mucha flexibilidad, reduce el lock-in, pero también te permite almacenar tus datos en almacenamiento de commodities realmente económico, que en el contexto de la nube es cada vez más S3 o Google GCS o Azure Data Lake storage. E incluso en el mundo on-prem, vemos almacenamiento de objetos compatible con S3 de empresas como Dell o IBM o lo que sea, donde básicamente puedes obtener S3. Así que eso se convierte en la especie de capa de fundación común para almacenar datos muy, muy costo-efectivamente, y eso es parte de lo que está impulsando esta transformación.

Dinesh Chandrasekhar:

Okay, entonces tal vez ahora entremos en, ahora ya que creo que eso es como el conductor completo detrás de tu oferta, ha ganado popularidad a lo largo de los años como un motor de consultas muy poderoso en el espacio de datos en tiempo real. ¿Cómo ves su rol evolucionando en el ecosistema de datos moderno? Especialmente como mencionaste, hay otras tecnologías open source como Apache Iceberg, que también están ofreciendo mucha interoperabilidad entre diferentes sistemas de datos y así sucesivamente. Entonces, ¿cómo ha cambiado esto combinado con la combinación de algunas de estas otras tecnologías open source el ecosistema de datos moderno?

Justin Borgman:

Creo que se está volviendo realmente el Postgres del data warehousing. Postgres por supuesto es una base de datos open source ampliamente desplegada y extremadamente popular. Es un RDBMS tradicional de nodo único. Trino es como el equivalente MPP de procesamiento masivamente paralelo para analítica de data warehousing. Y así para tus big data, para tus actividades de estilo data warehousing, esto se está volviendo la opción open source de facto.

A veces la gente pregunta, bueno, ¿qué hay de Spark en comparación? Spark es un gran motor de procesamiento de propósito general, pero no está realmente optimizado para analítica SQL. Y creo que a tu punto anterior sobre business intelligence y toma de decisiones, SQL sigue siendo el lenguaje de esos tipos de casos de uso, ya sea conectando una herramienta BI, corriendo reportes, o incluso construyendo aplicaciones data-driven, SQL continúa siendo un lenguaje realmente importante para interactuar, y Trino es el motor número uno para eso en el mercado hoy.

Cuando lo combinas con algo como Iceberg, como dijiste, ahora tienes un data warehouse esencialmente completo. Tienes la porción del motor de consultas, tienes la porción de almacenamiento, y ahora tienes un data warehouse open completo. También pueden correr en cualquier lado, puede correr on-prem, puede correr en la nube. Así que tienes mucha flexibilidad con esa pila.

Dinesh Chandrasekhar:

¿Puedo hacerte una pregunta un poco derivada? Desde que mencionaste SQL como el go-to para muchos de estos data stores hoy en día, y creo que en los últimos 30, 40 años, nada ha podido sacudir eso con seguridad, pero con el advenimiento de tecnologías gen AI y procesamiento de lenguaje natural en todas partes, la gente ahora puede hablar sobre democratización de datos donde ahora lo distribuyes a incluso analistas de negocio que no tienen probablemente conocimiento igual, pero pueden usar lenguaje natural para decir, dame los últimos tres meses de ventas dentro de esta región particular y así sucesivamente.

E internamente obviamente eso lo traduce a SQL y luego consulta el motor o lo que sea, ¿verdad? Entonces, ¿ves un cambio en eso también? ¿SQL va a prosperar y sobrevivir, o va a haber un cambio en cómo miramos consultar datos hacia adelante?

Justin Borgman:

Esa es una pregunta realmente genial y creo que estás en algo ahí. Creo que gradualmente con el tiempo, creo que la IA generativa como interfaz se volverá súper popular porque a tu punto, medio que lo simplifica para que cualquiera francamente lo use. Así que ahora es más una experiencia Google en todos los datos en una empresa, y eso es muy emocionante. De hecho, hemos incorporado una versión temprana de eso en nuestro propio producto y creo que todos lo harán, se volverá table stakes.

Creo que, detrás de escena, esas tecnologías realmente solo estarán convirtiendo ese lenguaje natural en una sintaxis SQL para que el motor la ejecute realmente. Así que creo que el lenguaje seguirá siendo importante, pero puede volverse más un detalle de implementación detrás de una interfaz de lenguaje natural estilo IA generativa. Creo que estás en lo cierto. Me recuerda un poco cuando se inventaron calculadoras o incluso calculadoras gráficas, de repente no necesitábamos saber todas las fórmulas y exactamente cómo hacer división larga porque nuestra calculadora se encargaba de eso. Creo que eso es medio lo que la IA generativa va a hacer por nosotros aquí.

Dinesh Chandrasekhar:

Acceso más fácil a datos, definitivamente seguro. Creo que ahí es donde nos dirigimos. Definitivamente un espacio emocionante. Entonces hablamos de Trino. ¿Puedo cambiar de tema y preguntarte sobre Iceberg de nuevo? Eso se está volviendo muy, muy popular. Veo a los grandes gigantes de la industria empezando a adoptar iceberg como una forma muy natural de decir somos interoperables, lo soportamos, y así sucesivamente. Entonces, a medida que las organizaciones adoptan cada vez más analítica en tiempo real, ¿cuál es el rol de iceberg en habilitar una gestión de datos más eficiente y escalable? ¿Cuál es tu opinión sobre eso?

Justin Borgman:

Sí, creo que es un gran asunto. Creo que es la historia más grande aparte de IA de 2024. Y la razón por la que digo eso es que el formato ha estado por unos años, pero realmente este año el mercado medio que resolvió el debate sobre qué formato va a ganar. Hubo un breve período donde hay como tres formatos populares compitiendo, y era una pregunta quién va a ganar?

Nuestra apuesta siempre fue Iceberg, supongo que diría que predijimos que iría por este camino, pero creo que el mercado ha medio acordado realmente este verano cuando tanto Snowflake como Databricks anunciaron sus propias intenciones de soportarlo, y eso medio que mató el debate como Iceberg es el estándar de facto y lo que eso hace para los clientes, los clientes son los verdaderos ganadores en esto por mucho. Y eso es porque ahora pueden almacenar los datos en un formato que ellos poseen, que controlan que es portable para ellos, que no está en las manos de algún vendedor de base de datos que los va a mantener como rehenes por décadas.

Ellos poseen eso y eso significa que pueden jugar los motores unos contra otros. Pueden decir, ok, Starburst va a hacer esta carga de trabajo que me va a dar el mejor costo-rendimiento para eso. Tal vez Snowflake es mejor para esta carga de trabajo. Tal vez Databricks es mejor para esa carga de trabajo y el cliente tiene la elección entre estos motores, lo cual es asombroso. Cuando los motores compiten, tú ganas como cliente y creo que eso es realmente lo que Iceberg hace disponible.

Dinesh Chandrasekhar:

Pero eso fue un gran resumen. Creo que dejó claro sobre la importancia de iceberg mirando hacia adelante mientras las empresas se estandarizan en un modelo donde creo que todos son más interoperables y creo que beneficia al cliente, como dijiste, sin tener que estar atados a un vendedor particular, pero les permite ser un poco más abiertos y flexibles. Ese es un gran punto seguro.

Justin Borgman:

Exactamente.

Dinesh Chandrasekhar:

Justin, ¿por qué no hablamos de un ejemplo de cliente aquí porque Trino e Iceberg son el centro de la conversación hoy, cuéntanos sobre tal vez un caso de estudio de cliente donde hayas visto esto puesto en práctica y cuáles son los beneficios que han visto al adoptar Trino e Iceberg?

Justin Borgman:

Con gusto. Hay varios ejemplos tanto de empresas de internet líderes como DoorDash a empresas más tradicionales como Comcast que han estado por mucho tiempo que en ambos casos se están moviendo fuera de lo que yo llamaría plataformas de data warehouse tradicionales, moviendo cargas de trabajo para empezar fuera de plataformas de data warehouse tradicionales.

En el caso de Comcast, data warehouse on-prem muy tradicional. En el caso de DoorDash, lo llamaría un data warehouse en la nube muy tradicional. Y en ambos casos, lo que intentan hacer en última instancia es obtener mejor TCO en su analítica SQL y proporcionar la flexibilidad para trabajar con las últimas tecnologías de vanguardia que pueden interactuar fuera de este formato común.

De nuevo, a nuestro punto anterior, creo que lo que también intentan hacer, y esto se relaciona con el tema de IA, es están sentando las bases de poner su arquitectura de datos en su lugar donde ahora pueden tener fácil acceso a los datos que necesitan para entrenar sus propios modelos o realizar flujos de trabajo RAG en última instancia para apoyar sus propias ambiciones de IA. Y creo que muchas empresas están en esos días tempranos de medio averiguar qué puede hacer la IA por mí? ¿Cómo puede esto darme una ventaja competitiva?

Y mientras lo averiguan, una cosa que creo que todos tienen muy claro es que sus propios datos propietarios van a ser centrales para darles ventaja competitiva. Y entonces configurar una infraestructura de datos que te dé acceso a lo que necesitas de una manera de bajo costo y alto rendimiento es un paso central en ese proceso.

Dinesh Chandrasekhar:

Entonces como una forma de beneficio en un, ¿puedo hacer doble clic en eso y decir o preguntarte con datos en tiempo real particularmente, a menudo introduce desafíos como evolución de esquema, cambios al esquema a medida que las fuentes cambian, el objetivo necesita adaptarse y así sucesivamente, y versionado de datos también. ¿Cómo ayuda Apache Iceberg a abordar algunos de estos desafíos en plataformas de datos modernas como esta?

Justin Borgman:

Así que está el concepto de versionado y hacer time travel y poder medio ver cómo los datos han evolucionado dentro de nuestra plataforma. También hemos agregado linaje de datos, métricas de calidad de datos que somos capaces de capturar y presentar a nuestros usuarios para que realmente puedas entender de dónde vinieron esos datos, cómo han evolucionado, cómo han iterado y proporcionar esa visibilidad de nuevo en última instancia al usuario final.

Dinesh Chandrasekhar:

Okay. Entonces con Trino, hablaste sobre cómo puedes combinar fuentes de datos diversas y hacer algunas consultas conjuntas y todo eso. ¿La arquitectura se está moviendo más hacia una fuente de datos centralizada o almacén de datos, o los mantiene donde están, pero proporcionando la capacidad de combinarlos y dando la visibilidad para los consumidores? ¿Cuál es la arquitectura in-state que estamos viendo aquí?

Justin Borgman:

Sí, gran pregunta. Hay elementos de ambos, y creo que eso es lo que siempre lo ha hecho desafiante para nosotros incluso articular nuestra propia propuesta de valor porque la gente está acostumbrada a un modelo y un marco mental, que es centralizar todo en un data warehouse tradicional o simplemente no tienes acceso a él. Y creo que la forma en que vemos el mundo evolucionando es que habrá un repositorio central que va a ser un data lake indudablemente, que va a almacenar la mayoría de los datos o tanto de los datos como sea posible porque vas a obtener beneficios económicos, vas a obtener beneficios de rendimiento de almacenar tanto como puedas en formatos iceberg en tu lake. Así que pensamos que esa es una gran estrategia para muchos de tus datos, pero también pensamos que siempre habrá casos de uso donde vas a querer llegar a alguna otra fuente de datos.

Tal vez sea analítica exploratoria. Tengo solo una hipótesis que quiero ir a probar que creo que podría ser realmente grande para nuestro negocio, pero no quiero desarrollar todos los pipelines ETL y pasar por todo ese proceso solo para una idea, solo para una corazonada que tengo. Bueno, ese es un gran caso de uso donde poder unir una tabla que vive en otro lado con lo que tienes es un game changer. En realidad podría permitirte ir a probar esa hipótesis en cuestión de minutos en lugar de semanas para que los equipos muevan los datos de una manera que necesitarías. Y así creo que ambos son valiosos, pero pensamos en ello como mayoría en el lake y luego llegando más allá de ese lake es la forma en que pensamos sobre ello.

Dinesh Chandrasekhar:

Entonces si soy una empresa tercera que es, digamos, buscando una plataforma de datos moderna, ¿cuáles son algunas de las consideraciones críticas de rendimiento que querría tener en mi checklist cuando estoy mirando Trino versus un montón de otras alternativas? Entonces mi prioridad es digamos, manejar consultas de datos en tiempo real, asegurar que hay baja latencia y cosas así. Esos son mis requisitos. ¿Cuáles son algunas de las consideraciones que querría tener en mi checklist?

Justin Borgman:

Sí. Bueno, los dos principales consejos que daría son, número uno, usa consultas reales que realmente usas. Creo que es muy común que la gente use benchmarks de la industria, y eso está bien como tal vez un paso muy cursorio, pero no va a ser reflejo de tus cargas de trabajo. Simplemente nunca lo es. Cada empresa tiene sus propias cosas que intentan hacer. Así que siempre es mejor intentar simular tu estado final lo mejor que puedas.

Y eso significa aprovechar tus propias consultas y tus propios datos mientras arman tu propio proof of concept y hacen benchmarking. Simplemente nunca debes confiar exclusivamente en benchmarks de otros vendedores. Incluso los nuestros. Los tenemos, puedes mirarlos, pero realmente deberías probar esto tú mismo con tus propias consultas y tus propios datos.

La segunda cosa que diría es también asegúrate de que estás simulando escala y la escala es importante porque esto es donde al menos encontramos algunas de nuestras propias oportunidades con clientes para digamos reemplazar un vendedor que han comprado, donde en el proceso POC, pensaron que ese vendedor cumplía sus necesidades, pero a medida que llegaron a escala de producción real, simplemente no podía manejarlo.

Y esto es donde creo que también hay un gran beneficio en aprovechar tecnologías open source como Trino, que han sido probadas a la escala más grande imaginable, como Apple lo está corriendo a escala insana, obviamente Facebook escala insana. Así que estas cosas pueden funcionar. Funcionan a esa escala. Eso debería darte algo de tranquilidad. Pero incluso aún, diría simúlalo tú mismo en tu propio proceso de benchmarking para realmente asegurar que estas diferentes tecnologías van a cumplir las necesidades que tienes en producción. Cool.

Y luego la tercera pieza tal vez que agregaré es costo. El costo también es tan importante, ¿verdad? Costo y rendimiento son realmente solo dos caras de la misma moneda. Y necesitas factorizar eso en tu benchmarking también, ¿verdad? No vas a elegir solo el más rápido. Quieres elegir el mejor costo-rendimiento. Y así es una parte importante del componente también.

Dinesh Chandrasekhar:

Estoy de acuerdo. Creo que eso es un elemento importante de checklist para mucha gente que está evaluando soluciones por ahí seguro. Entonces tal vez llevemos esto al cierre desde una perspectiva de tendencias. Solo quiero preguntarte, hay mucho que está pasando en el espacio de datos hoy, ¿verdad? Así que hay vendedores de data warehouse, vendedores de lakehouse, vendedores de data lake, y varias alternativas, bases de datos de analítica en tiempo real y qué no.

Las opciones son definitivamente amplias y confusas para el comprador. Entonces desde una perspectiva de tendencias emergentes, ¿ves algún tipo de convergencia sucediendo cuando se trata de procesamiento de datos en tiempo real, las arquitecturas data lakehouse que acabamos de hablar, y el ecosistema open source en general? ¿Hay algún tipo de convergencia que ves sucediendo que lo hará más claro para el comprador en el futuro cercano?

Justin Borgman:

Sí lo hago. Creo que estamos empezando a ver patrones muy populares surgir muy a menudo estos días, estos patrones se originan en los hiperscalers de internet y luego se traducen a la empresa con el tiempo. Y creo que ahora estamos en ese punto donde se está abriendo camino en la empresa. Y los patrones que veo son aprovechar tecnologías como Kafka para la porción de streaming. Y por supuesto tienes múltiples opciones ahí. Puedes hacer Confluent, puedes hacer la versión de Amazon. Tienes elección en todas estas plataformas open source, lo cual es genial. Creo que Iceberg seguro, para el formato para almacenar tus datos, eso me parece la apuesta más segura que podrías hacer. Y luego en el lado del motor, de nuevo, encontrar el motor correcto para el trabajo correcto. Creo que si es Analítica SQL, diríamos Trino y Starburst son la mejor apuesta, pero deberías probar eso tú mismo.

Si estás entrenando un modelo de machine learning, probablemente usarías Spark para eso. Y esos son los patrones que vemos. Creo que las cuatro de esas tecnologías serán increíblemente populares en arquitecturas de datos derivadas de open-source por años por venir. Y de nuevo, open source te da esa flexibilidad para poder mezclar y combinar componentes con el tiempo, lo cual va a hacer que tu arquitectura resista la prueba del tiempo. Y creo que eso es realmente lo que quieres hacer es no crear deuda técnica que vas a tener un tiempo realmente difícil reemplazando 10 años desde ahora. Y open source te da esa flexibilidad.

Dinesh Chandrasekhar:

Me encanta ese punto. Gracias. Creo que deberíamos cerrar esto con esa gran nota. Justin, muchas gracias por unirte a nosotros hoy. Creo que fue una gran conversación entendiendo más sobre Trino e Iceberg y cómo Starburst ofrece esta plataforma fantástica que combina lo mejor de ambos mundos en tu plataforma. Muchas gracias y apreciamos que te unieras a nosotros.

Justin Borgman:

Gracias, Dinesh. Fue un placer.