大数据架构知识点详解:国产数据库创新、湖仓一体实践…
上一篇《这届技术人都爱挂在嘴边的"数智化",我们用八个字拆解了》所说,我们经历了严格的议题筛选和内容打磨,对每个选题进行了市场调研、用户访谈等,同时还邀请业内专家作为顾问,以确保权威性。历经9版迭代,确定了4大体系,希望将体系化的知识,带到用户的面前。
但是每个体系内,知识依然是庞大的,该选择哪些作为选题呢?
我们希望每个选题,都能切中行业痛点,是从业者真正关心的话题,话题不要满天星一样,而是要聚焦到用户关注点。
首先是做四大体系之数据架构体系的聚焦。
如图所示,数据架构体系聚焦到了云原生大数据实践、国产数据库创新变革、湖仓一体落地实践、OLAP发展趋势。
为什么聚焦到这四个选题?
第一,数据环境中,我们决定将重点聚焦在云原生大数据。
云原生大数据可以运用一系列分布式计算、分布式存储、弹性扩缩容、自动化管理等技术,更加高效率地管理、处理和分析大规模的数据。而云原生大数据现在处于成长期,市场正在接受教育,所以我们的云原生大数据论坛主要基于实际案例和成功经验,分享最佳实践和应用案例,以提升应用方的实践能力和成功率。
第二,数据存储工具中比较重要的趋势变化,有国产数据库和湖仓一体。
1. 国产数据库
国家对于自主可控技术发展的重视程度日益提高,对国产数据库的市场发展产生积极的影响。
同时国产数据库的创新也日益增强,向量数据库、时序数据库、图数据库、类 ES 的倒排文档数据库等,百花齐放。
所以在众多数据库方向中,我们选择了国产数据库这个方向,聚焦于国产数据库创新变革。
2. 湖仓一体
湖仓一体在保证数据湖的灵活性和数据仓库的可靠性的基础上,实现数据存储和管理的高度一体化与协同。相比于数据湖和数据仓库,湖仓一体具有以下优势:更快处理速度、更高灵活性、更加适应跨部门数据共享和更高的自治能力等。
所以在数据仓库、数据湖等众多存储工具的方向中,我们选择了湖仓一体。
3. 数据计算工具:OLAP
OLAP技术作为数据分析的核心技术之一,已经成为企业决策的重要手段。然而,数据量和复杂度的增加、应用场景的多样化,导致了OLAP发展迭代越来越迅速。所以OLAP侧重于发展趋势:包括但不限于多维分析存储优化、混合存储、查询加速、自动降冷等。
目前,我们已经邀请到了来自阿里巴巴、蚂蚁集团、腾讯、字节跳动、快手、滴滴等公司的资深技术专家担任专题出品人,有更多精彩议题正在打磨中,敬请期待。
⏰时间:7月21日-22日
地点:北京·悠唐皇冠假日酒店
主办单位:DataFun社区
欢迎大家点击下方链接,获取大会门票
DataFunCon2023(北京站):数据智能创新与实践大会