\nCompartir en linkedin<\/p>\n
![\"\"](\"https:\/\/bluetab.net\/wp-content\/uploads\/2021\/10\/Francisco-150x150.jpg\")
<\/a><\/figure>\nFrancisco Linaje<\/a><\/h4>\nAWS Solutions Architect<\/p>\n![\"\"](\"https:\/\/bluetab.net\/wp-content\/uploads\/2020\/10\/avatarP-bluetab.jpg-150x150.png\")
<\/a><\/figure>\nGabriel Gallardo Ruiz<\/a><\/h4>\nSenior Data Architect<\/p>\n
Databricks tiene como objetivo dotar de un entorno intuitivo al usuario no especializado para que pueda desarrollar las diferentes funciones en materia de ingenier\u00eda y ciencia de datos, dotando adem\u00e1s de una capa de gobierno y gesti\u00f3n del dato.<\/p>\n
Nuestro objetivo con este art\u00edculo, no es tanto describir y analizar c\u00f3mo emplear estas herramientas, sino ver como son integradas desde un punto de vista de arquitectura dentro<\/i> del proveedor de Azure.<\/i><\/p>\n
Databricks como soluci\u00f3n Lakehouse<\/i><\/p>\n
La plataforma Databricks sigue el paradigma de Lakehouse, en el que se combinan las bondades del Data Warehouse con las del Data Lake, permitiendo tener un buen rendimiento tanto en sus consultas analiticas gracias a la indexacion, como transaccionalidad a trav\u00e9s de Delta Lake, sin perder la flexibilidad de una arquitectura de datos abierta y escalable, junto a una mejor gobernanza del dato y del acceso a los recursos y servicios del lago, permitiendo de una forma general disponer de una arquitectura menos compleja y m\u00e1s integrada.<\/p>\n
Este art\u00edculo se dividir\u00e1 en dos entregas.<\/p>\n
\n- La primera, tendr\u00e1 como objetivo explicar c\u00f3mo Databricks organiza y despliega su producto en Azure, as\u00ed como las diferentes configuraciones en materia de comunicaci\u00f3n\/seguridad entre Databricks y otros servicios de Azure.<\/li>\n
- La segunda, estar\u00e1 centrada en la capa de seguridad del dato y escalabilidad de la infraestructura as\u00ed como monitorizaci\u00f3n, despliegue y recuperaci\u00f3n ante errores.<\/li>\n<\/ul>\n
Primera entrega:<\/b><\/p>\n\n- Arquitectura alto nivel<\/li>\n
- Planes y tipos de carga de trabajo<\/li>\n
- Networking<\/li>\n
- Identidad y Gesti\u00f3n de accesos<\/li>\n<\/ul>\n
Segunda entrega (pr\u00f3ximamente):<\/b><\/p>\n\n- DR<\/li>\n
- Cifrado<\/li>\n
- Escalabilidad<\/li>\n
- Logging y monitorizaci\u00f3n<\/li>\n
- Despliegue<\/li>\n<\/ul>\n
Glosario<\/h2>\n\n- Azure Data Lake<\/i><\/b>: <\/b>Permite almacenar m\u00faltiples formatos de datos en un mismo lugar para su explotaci\u00f3n y an\u00e1lisis, actualmente Azure dispone la versi\u00f3n Gen2 .<\/li>\n
- All Purpose Compute<\/i><\/b>:<\/b> Dise\u00f1ado para entornos colaborativos en los que se recurra de forma simult\u00e1nea al cl\u00faster por parte de Data Engineers y Data Scientist.<\/li>\n
- Azure Key Vault<\/i><\/b>:<\/b> Servicio administrado de Azure que permite el almacenamiento seguro de secretos.<\/li>\n
- Azure Virtual Network (VNET)<\/i><\/b>: <\/b>Red virtual aislada l\u00f3gicamente en Azure.<\/li>\n
- Continuous integration and continuous delivery CI\/CD: <\/b>Conjunto de herramientas y pautas automatizadas que permiten aplicar una integraci\u00f3n y puesta en producci\u00f3n continua<\/li>\n
- Data Lake: <\/b>Paradigma de almacenamiento distribuido de datos provenientes de multitud de fuentes y formatos, estructurados, semi estructurados y sin estructurar.<\/li>\n
- Identity Provider (IdP)<\/i><\/b>:<\/b> Entidad que mantiene la informaci\u00f3n de identidad de los individuos dentro de una organizaci\u00f3n.<\/li>\n
- Jobs Compute<\/i><\/b>:<\/b> Enfocado a procesos orquestados mediante pipelines gestionados por data engineers que puedan conllevar autoescalado en ciertas tareas<\/li>\n
- Jobs Light Compute<\/i><\/b>:<\/b> Dise\u00f1ado para procesos cuya consecuci\u00f3n no sea cr\u00edtica y no conlleve una carga computacional muy elevada.<\/li>\n
- Network Security Group o NSG<\/i><\/b>: Especifican las reglas que regulan el tr\u00e1fico de entrada y salida de la red y los clusters en Azure.<\/li>\n
- Notebook<\/i><\/b>: Interfaz web para ejecutar c\u00f3digo en un cluster, abstrayendo del acceso al mismo.<\/li>\n
- PrivateLink<\/b>: Permite el acceso privado (IP privada) a Azure PaaS a trav\u00e9s de la VNET del usuario, de la misma forma que los service endpoints el tr\u00e1fico se enruta a trav\u00e9s del backbone de Azure.<\/li>\n
- Azure role-based access control (RBAC)<\/b>: Sistema de autorizaci\u00f3n integrado en Azure Resource Manager que permite asignar permisos granulares sobre recursos a usuarios de Azure.<\/li>\n
- Security Assertion Markup Language (SAML)<\/i><\/b>: <\/b>Est\u00e1ndar abierto utilizado para la autenticaci\u00f3n. Basado en XML, las aplicaciones web utilizan SAML para transferir datos de autenticaci\u00f3n entre dos entidades, el Identity Provider <\/i>y el servicio en cuesti\u00f3n.<\/li>\n
- Secure Cluster Connectivity (SCC): <\/i><\/b> Comunicaci\u00f3n a trav\u00e9s de t\u00fanel inverso SSH entre Control Plane <\/i>y cluster. <\/i>Permite no tener puertos abiertos ni IPs p\u00fablicas en las instancias.<\/li>\n
- Service Endpoints: <\/b>Componente de red que permite conectar una VNET con los diferentes servicios dentro de Azure a trav\u00e9s de la propia red de Azure.<\/li>\n
- Service Principal<\/b>: Entidad creada para que la administraci\u00f3n y gesti\u00f3n de tareas que no queden asociadas a un miembro de la organizaci\u00f3n en particular si no a un servicio<\/li>\n
- Secret Scope<\/b>: Colecci\u00f3n de secretos identificados por un nombre.<\/li>\n
- Single Sign On (SSO)<\/b>: Permite a los usuarios la autenticaci\u00f3n a trav\u00e9s de un Identity Provider (IdP) proporcionado por la organizaci\u00f3n, requiriendo de compatibilidad con SAML 2.0.<\/li>\n
- Workspace<\/i><\/b>:<\/b> Entorno compartido para acceder a todos los activos de Databricks. En este se organizan los diferentes objetos (notebooks<\/i>, librerias, etc\u2026) en carpetas y se administran los accesos a recursos computacionales como clusters<\/i> y jobs<\/i>. <\/li>\n<\/ul>\n
Arquitectura<\/h2>\nDatabricks como producto<\/strong><\/h3>\nDatabricks permanece integrado dentro de Azure como servicio propio a diferencia de otros proveedores, permitiendo el despliegue de una forma m\u00e1s directa y sencilla ya sea desde la propia consola o mediante templates.<\/p>\n
Dentro de los servicios ofrecidos por Databricks destacan: <\/p>\n
\n- Databricks SQL<\/i><\/b>:<\/b> ofrece una plataforma para realizar consultas SQL ad-hoc contra el Data Lake, as\u00ed como m\u00faltiples visualizaciones de los datos con dashboards.<\/li>\n
- Databricks Data Science & Engineering<\/i><\/b>:<\/b> proporciona un workspace que permite la colaboraci\u00f3n entre diferentes roles (ingenieros de datos, cient\u00edficos de datos, etc) para el desarrollo de diferentes pipelines para la ingesta y explotaci\u00f3n del Data Lake.<\/li>\n
- Databricks Machine Learning<\/i><\/b>:<\/b> ofrece un entorno para el desarrollo y explotaci\u00f3n de modelos de machine learning end-to-end<\/i>.<\/li>\n<\/ul>\n
Adem\u00e1s Databricks ofrece Spark como framework de programaci\u00f3n distribuida, as\u00ed como integraci\u00f3n con Delta Lake y soporte a transacciones ACID para datos estructurados y no estructurados, unificaci\u00f3n de fuentes batch y streaming.<\/p>\n
Databricks ofrece tambi\u00e9n una soluci\u00f3n en material de orquestaci\u00f3n y despliegue de jobs de una forma productiva, permitiendo adem\u00e1s paralelismo entre ellos, hasta 1000 de forma concurrente. Pudiendo emplearse solo dentro del workspace de Data Science & Engineering<\/p>\n\n\t\t\t\t\t\t\t\t\t\t![\"\"](\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/02\/image9.png\")
Diagrama de procesos orquestados (fuente: Databricks)<\/figcaption><\/figure>\nDentro de las ventajas a\u00f1adidas ofrecidas por Databricks se encuentra el empleo de Databricks File System (DBFS), se trata de un sistema de ficheros distribuido de acceso para los clusters.<\/p>\n
\n- Permite montar puntos de almacenamiento para acceder a los objetos sin necesidad de credenciales espec\u00edficos para su uso.<\/li>\n
- Evita la necesidad de emplear urls para acceder a los objetos, facilitando el acceso v\u00eda directorios y sem\u00e1ntica.<\/li>\n
- Otorga una capa de persistencia al almacenar en el file system los datos, evitando que estos se pierdan cuando el cluster es finalizado.<\/li>\n<\/ul>\n
Databricks Repos: ofrece integraci\u00f3n y sincronizaci\u00f3n con repositorios GIT, incluyendo una API para el empleo de pipelines de CI\/CD. Los proveedores Git actuales incluidos son:<\/p>\n
\n- GitHub<\/i><\/li>\n
- Bitbucket<\/i><\/li>\n
- GitLab<\/i><\/li>\n
- Azure DevOps<\/i><\/li>\n<\/ul>\n
<\/h4>\nOverview<\/i> de la arquitectura<\/strong><\/h3>\nEn esta secci\u00f3n analizaremos c\u00f3mo se realiza el despliegue de Databricks dentro de la cuenta del cliente en su proveedor cloud, este caso Azure.<\/p>\n
Databricks se compone principalmente de dos capas; una de control <\/b>(interna) y otra de datos <\/b>(externa\/cliente).<\/p>\n\n\t\t\t\t\t\t\t\t\t\t![\"\"](\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/02\/image10.png\")
Diagrama a alto nivel de la arquitectura (fuente: Databricks)<\/figcaption><\/figure>\nEn la imagen anterior podemos ver como la capa de control permanece en la suscripci\u00f3n de databricks, bajo su control, dise\u00f1o y administraci\u00f3n interna siendo compartida esta por todos los usuarios.<\/p>\n
Los principales servicios contenidos, son:<\/p>\n
\n- Notebooks: Todos los notebook, resultados y configuraciones permanecen encriptados<\/li>\n
- Job Scheduler<\/li>\n
- Rest API<\/li>\n
- Metastore: Hive metastore gestionado por databricks<\/li>\n
- Cluster manager: Solicita m\u00e1quinas virtuales para los cl\u00faster que se lanzar\u00e1n en el plano de datos<\/li>\n<\/ul>\n
La capa de datos se encuentra dentro de la suscripci\u00f3n del cliente y por lo tanto ser\u00e1 administrada por \u00e9l. En esta capa encontramos los jobs y clusters empleados para la ejecuci\u00f3n de las ETLs, as\u00ed como los datos empleados en ellas.<\/p>\n
Es importante se\u00f1alar que Databricks disponibiliza dos interfaces de red en cada nodo desplegado, en una de ellas se direccionara el tr\u00e1fico hacia el plano de control y en la otra el tr\u00e1fico interno entre nodos (driver – ejecutores)<\/p>\n
Databricks ofrece dos m\u00e9todos principales para realizar el despliegue del plano de datos y que posteriormente comentaremos en profundidad:<\/p>\n
\n- Por un lado tenemos Databricks managed VNET<\/i>, siendo este el despliegue dado por defecto donde Databricks se encarga de desplegar los recursos necesarios dentro de la cuenta del cliente. <\/li>\n
- Por otro lado tenemos un segundo tipo de despliegue Databricks VNET injection<\/i> donde es el cliente el que disponibiliza los recursos m\u00ednimos necesarios para el correcto funcionamiento y comunicaci\u00f3n contra el control-plane.<\/li>\n<\/ul>\n
En ambos casos, la topolog\u00eda de red en el Data Plane<\/i> se compondr\u00e1 de dos subredes.<\/p>\n\n- Container subnet<\/i> o \u201cprivate\u201d subnet<\/i><\/li>\n
- Host subnet<\/i> or \u201cpublic\u201d subnet<\/i>
\n<\/i><\/li>\n<\/ol>\n\n\t\t\t\t\t\t\t\t\t\t![\"\"](\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/02\/image2.png\")
Arquitectura de Databricks en Azure (fuente: Databricks)<\/figcaption><\/figure>\nSecure Cluster Connectivity [2]<\/a><\/strong><\/h4>\nEn contextos de seguridad m\u00e1s restrictivos, ser\u00e1 posible asignar como puerta de enlace un NAT gateway u otro dispositivo egress traffic<\/i> como un balanceador de carga, firewall, etc, para eliminar la necesidad de asignar direcciones IP p\u00fablicas a los hosts.<\/p>\n\n\t\t\t\t\t\t\t\t\t\t![\"\"](\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/02\/image8.png\")
Conexi\u00f3n del workspace con SCC (fuente: Databricks)<\/figcaption><\/figure>\nPlanes y tipos de carga de trabajo<\/h2>\n
Adem\u00e1s del coste de la infraestructura empleada para el procesamiento y el almacenamiento en Azure, Databricks a\u00f1ade un sobrecargo extra expresado en DBU (unidades de procesamiento) en funci\u00f3n del tipo de instancia levantada y su tama\u00f1o, as\u00ed como el tipo de workload empleado. <\/p>\n
Se distinguen 2 tipos principales: <\/p>\n
\n- Jobs Cluster: Ejecuci\u00f3n de pipelines <\/i>programadas no iterativas, distingui\u00e9ndose seg\u00fan el tama\u00f1o del cluster aprovisionado en ligero o normal. Los jobs <\/i>suelen emplearse creando clusters ef\u00edmeros y siendo eliminados despu\u00e9s de la ejecuci\u00f3n de los mismos.<\/li>\n
- All purpose: Clusters empleados para trabajar de forma iterativa (MANDATORY<\/i>) permitiendo ejecutar y desarrollar diferentes notebooks concurrentemente.<\/li>\n<\/ul>\n
Adem\u00e1s, seg\u00fan el tipo de cuenta contratada Standard o Premium se realizar\u00e1n cargos adicionales sobre el coste de la DBU.<\/i><\/p>\n
<\/a><\/figure>\nGabriel Gallardo Ruiz<\/a><\/h4>\nSenior Data Architect<\/p>\n
Databricks tiene como objetivo dotar de un entorno intuitivo al usuario no especializado para que pueda desarrollar las diferentes funciones en materia de ingenier\u00eda y ciencia de datos, dotando adem\u00e1s de una capa de gobierno y gesti\u00f3n del dato.<\/p>\n
Nuestro objetivo con este art\u00edculo, no es tanto describir y analizar c\u00f3mo emplear estas herramientas, sino ver como son integradas desde un punto de vista de arquitectura dentro<\/i> del proveedor de Azure.<\/i><\/p>\n
Databricks como soluci\u00f3n Lakehouse<\/i><\/p>\n
La plataforma Databricks sigue el paradigma de Lakehouse, en el que se combinan las bondades del Data Warehouse con las del Data Lake, permitiendo tener un buen rendimiento tanto en sus consultas analiticas gracias a la indexacion, como transaccionalidad a trav\u00e9s de Delta Lake, sin perder la flexibilidad de una arquitectura de datos abierta y escalable, junto a una mejor gobernanza del dato y del acceso a los recursos y servicios del lago, permitiendo de una forma general disponer de una arquitectura menos compleja y m\u00e1s integrada.<\/p>\n
Este art\u00edculo se dividir\u00e1 en dos entregas.<\/p>\n
\n- La primera, tendr\u00e1 como objetivo explicar c\u00f3mo Databricks organiza y despliega su producto en Azure, as\u00ed como las diferentes configuraciones en materia de comunicaci\u00f3n\/seguridad entre Databricks y otros servicios de Azure.<\/li>\n
- La segunda, estar\u00e1 centrada en la capa de seguridad del dato y escalabilidad de la infraestructura as\u00ed como monitorizaci\u00f3n, despliegue y recuperaci\u00f3n ante errores.<\/li>\n<\/ul>\n
Primera entrega:<\/b><\/p>\n\n- Arquitectura alto nivel<\/li>\n
- Planes y tipos de carga de trabajo<\/li>\n
- Networking<\/li>\n
- Identidad y Gesti\u00f3n de accesos<\/li>\n<\/ul>\n
Segunda entrega (pr\u00f3ximamente):<\/b><\/p>\n\n- DR<\/li>\n
- Cifrado<\/li>\n
- Escalabilidad<\/li>\n
- Logging y monitorizaci\u00f3n<\/li>\n
- Despliegue<\/li>\n<\/ul>\n
Glosario<\/h2>\n\n- Azure Data Lake<\/i><\/b>: <\/b>Permite almacenar m\u00faltiples formatos de datos en un mismo lugar para su explotaci\u00f3n y an\u00e1lisis, actualmente Azure dispone la versi\u00f3n Gen2 .<\/li>\n
- All Purpose Compute<\/i><\/b>:<\/b> Dise\u00f1ado para entornos colaborativos en los que se recurra de forma simult\u00e1nea al cl\u00faster por parte de Data Engineers y Data Scientist.<\/li>\n
- Azure Key Vault<\/i><\/b>:<\/b> Servicio administrado de Azure que permite el almacenamiento seguro de secretos.<\/li>\n
- Azure Virtual Network (VNET)<\/i><\/b>: <\/b>Red virtual aislada l\u00f3gicamente en Azure.<\/li>\n
- Continuous integration and continuous delivery CI\/CD: <\/b>Conjunto de herramientas y pautas automatizadas que permiten aplicar una integraci\u00f3n y puesta en producci\u00f3n continua<\/li>\n
- Data Lake: <\/b>Paradigma de almacenamiento distribuido de datos provenientes de multitud de fuentes y formatos, estructurados, semi estructurados y sin estructurar.<\/li>\n
- Identity Provider (IdP)<\/i><\/b>:<\/b> Entidad que mantiene la informaci\u00f3n de identidad de los individuos dentro de una organizaci\u00f3n.<\/li>\n
- Jobs Compute<\/i><\/b>:<\/b> Enfocado a procesos orquestados mediante pipelines gestionados por data engineers que puedan conllevar autoescalado en ciertas tareas<\/li>\n
- Jobs Light Compute<\/i><\/b>:<\/b> Dise\u00f1ado para procesos cuya consecuci\u00f3n no sea cr\u00edtica y no conlleve una carga computacional muy elevada.<\/li>\n
- Network Security Group o NSG<\/i><\/b>: Especifican las reglas que regulan el tr\u00e1fico de entrada y salida de la red y los clusters en Azure.<\/li>\n
- Notebook<\/i><\/b>: Interfaz web para ejecutar c\u00f3digo en un cluster, abstrayendo del acceso al mismo.<\/li>\n
- PrivateLink<\/b>: Permite el acceso privado (IP privada) a Azure PaaS a trav\u00e9s de la VNET del usuario, de la misma forma que los service endpoints el tr\u00e1fico se enruta a trav\u00e9s del backbone de Azure.<\/li>\n
- Azure role-based access control (RBAC)<\/b>: Sistema de autorizaci\u00f3n integrado en Azure Resource Manager que permite asignar permisos granulares sobre recursos a usuarios de Azure.<\/li>\n
- Security Assertion Markup Language (SAML)<\/i><\/b>: <\/b>Est\u00e1ndar abierto utilizado para la autenticaci\u00f3n. Basado en XML, las aplicaciones web utilizan SAML para transferir datos de autenticaci\u00f3n entre dos entidades, el Identity Provider <\/i>y el servicio en cuesti\u00f3n.<\/li>\n
- Secure Cluster Connectivity (SCC): <\/i><\/b> Comunicaci\u00f3n a trav\u00e9s de t\u00fanel inverso SSH entre Control Plane <\/i>y cluster. <\/i>Permite no tener puertos abiertos ni IPs p\u00fablicas en las instancias.<\/li>\n
- Service Endpoints: <\/b>Componente de red que permite conectar una VNET con los diferentes servicios dentro de Azure a trav\u00e9s de la propia red de Azure.<\/li>\n
- Service Principal<\/b>: Entidad creada para que la administraci\u00f3n y gesti\u00f3n de tareas que no queden asociadas a un miembro de la organizaci\u00f3n en particular si no a un servicio<\/li>\n
- Secret Scope<\/b>: Colecci\u00f3n de secretos identificados por un nombre.<\/li>\n
- Single Sign On (SSO)<\/b>: Permite a los usuarios la autenticaci\u00f3n a trav\u00e9s de un Identity Provider (IdP) proporcionado por la organizaci\u00f3n, requiriendo de compatibilidad con SAML 2.0.<\/li>\n
- Workspace<\/i><\/b>:<\/b> Entorno compartido para acceder a todos los activos de Databricks. En este se organizan los diferentes objetos (notebooks<\/i>, librerias, etc\u2026) en carpetas y se administran los accesos a recursos computacionales como clusters<\/i> y jobs<\/i>. <\/li>\n<\/ul>\n
Arquitectura<\/h2>\nDatabricks como producto<\/strong><\/h3>\nDatabricks permanece integrado dentro de Azure como servicio propio a diferencia de otros proveedores, permitiendo el despliegue de una forma m\u00e1s directa y sencilla ya sea desde la propia consola o mediante templates.<\/p>\n
Dentro de los servicios ofrecidos por Databricks destacan: <\/p>\n
\n- Databricks SQL<\/i><\/b>:<\/b> ofrece una plataforma para realizar consultas SQL ad-hoc contra el Data Lake, as\u00ed como m\u00faltiples visualizaciones de los datos con dashboards.<\/li>\n
- Databricks Data Science & Engineering<\/i><\/b>:<\/b> proporciona un workspace que permite la colaboraci\u00f3n entre diferentes roles (ingenieros de datos, cient\u00edficos de datos, etc) para el desarrollo de diferentes pipelines para la ingesta y explotaci\u00f3n del Data Lake.<\/li>\n
- Databricks Machine Learning<\/i><\/b>:<\/b> ofrece un entorno para el desarrollo y explotaci\u00f3n de modelos de machine learning end-to-end<\/i>.<\/li>\n<\/ul>\n
Adem\u00e1s Databricks ofrece Spark como framework de programaci\u00f3n distribuida, as\u00ed como integraci\u00f3n con Delta Lake y soporte a transacciones ACID para datos estructurados y no estructurados, unificaci\u00f3n de fuentes batch y streaming.<\/p>\n
Databricks ofrece tambi\u00e9n una soluci\u00f3n en material de orquestaci\u00f3n y despliegue de jobs de una forma productiva, permitiendo adem\u00e1s paralelismo entre ellos, hasta 1000 de forma concurrente. Pudiendo emplearse solo dentro del workspace de Data Science & Engineering<\/p>\n\n\t\t\t\t\t\t\t\t\t\tDiagrama de procesos orquestados (fuente: Databricks)<\/figcaption><\/figure>\nDentro de las ventajas a\u00f1adidas ofrecidas por Databricks se encuentra el empleo de Databricks File System (DBFS), se trata de un sistema de ficheros distribuido de acceso para los clusters.<\/p>\n
\n- Permite montar puntos de almacenamiento para acceder a los objetos sin necesidad de credenciales espec\u00edficos para su uso.<\/li>\n
- Evita la necesidad de emplear urls para acceder a los objetos, facilitando el acceso v\u00eda directorios y sem\u00e1ntica.<\/li>\n
- Otorga una capa de persistencia al almacenar en el file system los datos, evitando que estos se pierdan cuando el cluster es finalizado.<\/li>\n<\/ul>\n
Databricks Repos: ofrece integraci\u00f3n y sincronizaci\u00f3n con repositorios GIT, incluyendo una API para el empleo de pipelines de CI\/CD. Los proveedores Git actuales incluidos son:<\/p>\n
\n- GitHub<\/i><\/li>\n
- Bitbucket<\/i><\/li>\n
- GitLab<\/i><\/li>\n
- Azure DevOps<\/i><\/li>\n<\/ul>\n
<\/h4>\nOverview<\/i> de la arquitectura<\/strong><\/h3>\nEn esta secci\u00f3n analizaremos c\u00f3mo se realiza el despliegue de Databricks dentro de la cuenta del cliente en su proveedor cloud, este caso Azure.<\/p>\n
Databricks se compone principalmente de dos capas; una de control <\/b>(interna) y otra de datos <\/b>(externa\/cliente).<\/p>\n\n\t\t\t\t\t\t\t\t\t\tDiagrama a alto nivel de la arquitectura (fuente: Databricks)<\/figcaption><\/figure>\nEn la imagen anterior podemos ver como la capa de control permanece en la suscripci\u00f3n de databricks, bajo su control, dise\u00f1o y administraci\u00f3n interna siendo compartida esta por todos los usuarios.<\/p>\n
Los principales servicios contenidos, son:<\/p>\n
\n- Notebooks: Todos los notebook, resultados y configuraciones permanecen encriptados<\/li>\n
- Job Scheduler<\/li>\n
- Rest API<\/li>\n
- Metastore: Hive metastore gestionado por databricks<\/li>\n
- Cluster manager: Solicita m\u00e1quinas virtuales para los cl\u00faster que se lanzar\u00e1n en el plano de datos<\/li>\n<\/ul>\n
La capa de datos se encuentra dentro de la suscripci\u00f3n del cliente y por lo tanto ser\u00e1 administrada por \u00e9l. En esta capa encontramos los jobs y clusters empleados para la ejecuci\u00f3n de las ETLs, as\u00ed como los datos empleados en ellas.<\/p>\n
Es importante se\u00f1alar que Databricks disponibiliza dos interfaces de red en cada nodo desplegado, en una de ellas se direccionara el tr\u00e1fico hacia el plano de control y en la otra el tr\u00e1fico interno entre nodos (driver – ejecutores)<\/p>\n
Databricks ofrece dos m\u00e9todos principales para realizar el despliegue del plano de datos y que posteriormente comentaremos en profundidad:<\/p>\n
\n- Por un lado tenemos Databricks managed VNET<\/i>, siendo este el despliegue dado por defecto donde Databricks se encarga de desplegar los recursos necesarios dentro de la cuenta del cliente. <\/li>\n
- Por otro lado tenemos un segundo tipo de despliegue Databricks VNET injection<\/i> donde es el cliente el que disponibiliza los recursos m\u00ednimos necesarios para el correcto funcionamiento y comunicaci\u00f3n contra el control-plane.<\/li>\n<\/ul>\n
En ambos casos, la topolog\u00eda de red en el Data Plane<\/i> se compondr\u00e1 de dos subredes.<\/p>\n\n- Container subnet<\/i> o \u201cprivate\u201d subnet<\/i><\/li>\n
- Host subnet<\/i> or \u201cpublic\u201d subnet<\/i>
\n<\/i><\/li>\n<\/ol>\n\n\t\t\t\t\t\t\t\t\t\tArquitectura de Databricks en Azure (fuente: Databricks)<\/figcaption><\/figure>\nSecure Cluster Connectivity [2]<\/a><\/strong><\/h4>\nEn contextos de seguridad m\u00e1s restrictivos, ser\u00e1 posible asignar como puerta de enlace un NAT gateway u otro dispositivo egress traffic<\/i> como un balanceador de carga, firewall, etc, para eliminar la necesidad de asignar direcciones IP p\u00fablicas a los hosts.<\/p>\n\n\t\t\t\t\t\t\t\t\t\tConexi\u00f3n del workspace con SCC (fuente: Databricks)<\/figcaption><\/figure>\nPlanes y tipos de carga de trabajo<\/h2>\n
Adem\u00e1s del coste de la infraestructura empleada para el procesamiento y el almacenamiento en Azure, Databricks a\u00f1ade un sobrecargo extra expresado en DBU (unidades de procesamiento) en funci\u00f3n del tipo de instancia levantada y su tama\u00f1o, as\u00ed como el tipo de workload empleado. <\/p>\n
Se distinguen 2 tipos principales: <\/p>\n
\n- Jobs Cluster: Ejecuci\u00f3n de pipelines <\/i>programadas no iterativas, distingui\u00e9ndose seg\u00fan el tama\u00f1o del cluster aprovisionado en ligero o normal. Los jobs <\/i>suelen emplearse creando clusters ef\u00edmeros y siendo eliminados despu\u00e9s de la ejecuci\u00f3n de los mismos.<\/li>\n
- All purpose: Clusters empleados para trabajar de forma iterativa (MANDATORY<\/i>) permitiendo ejecutar y desarrollar diferentes notebooks concurrentemente.<\/li>\n<\/ul>\n
Adem\u00e1s, seg\u00fan el tipo de cuenta contratada Standard o Premium se realizar\u00e1n cargos adicionales sobre el coste de la DBU.<\/i><\/p>\n
Primera entrega:<\/b><\/p>\n Segunda entrega (pr\u00f3ximamente):<\/b><\/p>\n Databricks permanece integrado dentro de Azure como servicio propio a diferencia de otros proveedores, permitiendo el despliegue de una forma m\u00e1s directa y sencilla ya sea desde la propia consola o mediante templates.<\/p>\n Dentro de los servicios ofrecidos por Databricks destacan: <\/p>\n Adem\u00e1s Databricks ofrece Spark como framework de programaci\u00f3n distribuida, as\u00ed como integraci\u00f3n con Delta Lake y soporte a transacciones ACID para datos estructurados y no estructurados, unificaci\u00f3n de fuentes batch y streaming.<\/p>\n Databricks ofrece tambi\u00e9n una soluci\u00f3n en material de orquestaci\u00f3n y despliegue de jobs de una forma productiva, permitiendo adem\u00e1s paralelismo entre ellos, hasta 1000 de forma concurrente. Pudiendo emplearse solo dentro del workspace de Data Science & Engineering<\/p>\n Dentro de las ventajas a\u00f1adidas ofrecidas por Databricks se encuentra el empleo de Databricks File System (DBFS), se trata de un sistema de ficheros distribuido de acceso para los clusters.<\/p>\n Databricks Repos: ofrece integraci\u00f3n y sincronizaci\u00f3n con repositorios GIT, incluyendo una API para el empleo de pipelines de CI\/CD. Los proveedores Git actuales incluidos son:<\/p>\n En esta secci\u00f3n analizaremos c\u00f3mo se realiza el despliegue de Databricks dentro de la cuenta del cliente en su proveedor cloud, este caso Azure.<\/p>\n Databricks se compone principalmente de dos capas; una de control <\/b>(interna) y otra de datos <\/b>(externa\/cliente).<\/p>\n En la imagen anterior podemos ver como la capa de control permanece en la suscripci\u00f3n de databricks, bajo su control, dise\u00f1o y administraci\u00f3n interna siendo compartida esta por todos los usuarios.<\/p>\n Los principales servicios contenidos, son:<\/p>\n La capa de datos se encuentra dentro de la suscripci\u00f3n del cliente y por lo tanto ser\u00e1 administrada por \u00e9l. En esta capa encontramos los jobs y clusters empleados para la ejecuci\u00f3n de las ETLs, as\u00ed como los datos empleados en ellas.<\/p>\n Es importante se\u00f1alar que Databricks disponibiliza dos interfaces de red en cada nodo desplegado, en una de ellas se direccionara el tr\u00e1fico hacia el plano de control y en la otra el tr\u00e1fico interno entre nodos (driver – ejecutores)<\/p>\n Databricks ofrece dos m\u00e9todos principales para realizar el despliegue del plano de datos y que posteriormente comentaremos en profundidad:<\/p>\n En ambos casos, la topolog\u00eda de red en el Data Plane<\/i> se compondr\u00e1 de dos subredes.<\/p>\n En contextos de seguridad m\u00e1s restrictivos, ser\u00e1 posible asignar como puerta de enlace un NAT gateway u otro dispositivo egress traffic<\/i> como un balanceador de carga, firewall, etc, para eliminar la necesidad de asignar direcciones IP p\u00fablicas a los hosts.<\/p>\n Adem\u00e1s del coste de la infraestructura empleada para el procesamiento y el almacenamiento en Azure, Databricks a\u00f1ade un sobrecargo extra expresado en DBU (unidades de procesamiento) en funci\u00f3n del tipo de instancia levantada y su tama\u00f1o, as\u00ed como el tipo de workload empleado. <\/p>\n Se distinguen 2 tipos principales: <\/p>\n Adem\u00e1s, seg\u00fan el tipo de cuenta contratada Standard o Premium se realizar\u00e1n cargos adicionales sobre el coste de la DBU.<\/i><\/p>\n\n
\n
Glosario<\/h2>\n
\n
Arquitectura<\/h2>\n
Databricks como producto<\/strong><\/h3>\n
\n
\n
\n
<\/h4>\n
Overview<\/i> de la arquitectura<\/strong><\/h3>\n
\n
\n
\n
\n<\/i><\/li>\n<\/ol>\nSecure Cluster Connectivity [2]<\/a><\/strong><\/h4>\n
Planes y tipos de carga de trabajo<\/h2>\n
\n
![\"\"](\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/02\/image11.png\")
![\"\"](\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/02\/image12.png\")
![\"\"](\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/02\/image4.png\")
![\"\"](\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/02\/image7.png\")
![\"\"](\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/02\/image6.png\")
![\"\"](\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/02\/image1.png\")
![\"\"](\"https:\/\/bluetab.net\/wp-content\/uploads\/2022\/02\/image5.png\")