首页 热点 资讯 社会 财经 教育 娱乐

  • 热点
    资讯 社会 财经 教育 娱乐
  • 房产
    汽车 旅游 股市 专题 IT
  • 文化
    国内 国际 产经 金融
您的位置:首页 > 热点 > 正文

化繁为简,亚马逊云科技Amazon Redshift开启云原生数仓新篇章

来源:财讯网时间:2022-12-26 15:16:41

2022年12月,在拉斯维加斯举办的2022亚马逊云科技re:Invent全球大会完美落幕,这一标志性的技术盛宴再一次给人们留下了无限的想象空间,等待大家在新的一年去持续探索和发掘。

而最让人关注的,应该就是各类新服务了,今年无论是Adam还是Swami博士的Keynote很多篇幅都是和数据相关的新服务和新特性,尤其是Swami博士关于数据创新起源的表述以及新的端到端云原生数据战略。所以,接下来将目光切回今天这篇文章关注的对象——数据,更具体地说是众多新发布中占据高位的Amazon Redshift云数据仓库。

简化数据摄入工作

最好是没有

要想数据分析到位,首先要保证有稳定、可靠的数据摄入通道,来实现端到端的第一环(其实还有第零环,是业务在数据源侧的规划),而这一块也是大部分数据工程中遇到最头疼的问题之一。首先,数据源就包含很多种,最常见的数据源包括关系型数据库、数据湖和实时的流数据。其次,不管是手动还是自动的ETL流水线,都需要专业的数据工程团队来构建和维护,并且经常要处理或介入数据结构的变更等情况。这次,Redshift连发多个功能特性来帮助客户解决或者消除这类问题。

首先是最常见的关系型数据库,也就是经典的OLTP向OLAP的数据传递。如果是为了更快或者更实时地获取线上业务的事务数据来做分析,通常可以通过开启数据库的binlog来捕捉CDC变更,然后再使用解析CDC的工具如Amazon DMS、Debezium等来实现,这些都需要客户进行不断的监控、配置和优化。此外,不同的数据库和数据表可能会有不同的需求,这样就再加倍了数量级的维护成本。

相信大家对Redshift印象最深的一个功能就是Zero ETL,帮助客户完成从1到0的过程!Redshift通过与Amazon Aurora数据库深度集成,在事务型数据写入Aurora后,数据在底层被持续地复制到Redshift,完成行式数据存储到列式数据存储的转换,彻底消除了自己构建和维护复杂数据管道的工作。没有Hybrid OLTP和OLAP,仍然是熟悉的Amazon Purpose-Build(Aurora还是 Aurora,Redshift还是Redshift)各司其职解决最实际的问题。同时,客户的应用程序架构保持不变,读写端点指向Aurora,分析端点指向Redshift,但是底层已经不再是一大串接一大串的数据抽取、转换和加载,直接无缝衔接并且达到近实时的效果。

然后是数据湖S3,Redshift开始支持从S3数据湖中自动复制,手动挡升级自动挡。之前,如果想要拷贝数据都需要手动或者定时执行COPY命令,现在Redshift新添加了COPY JOB命令自动检测指定路径的新文件,跳过已经加载完毕的旧文件。以前编写的定时任务脚本可以退役了,而且再也不用担心手抖重复执行,生活变得更美好了。

如果业务需求是实时的,那么通过S3作为Staging存储再COPY的方式就跟不上节奏了,所以,流数据也要拿下。re:Invent之前,Redshift流式摄入已经开始支持Amazon Kinesis Data Streams,这次发布更是添加了Amazon Managed Streaming for Apache Kafka(MSK),同时流式摄入也正式推出,告别预览。从上面的图中可以看出,流式摄入合并了数据消费的过程,直接在Redshift中实现并持续加载到数据仓库。在Redshift中,流式摄入是通过物化视图的方式实现的(查找官方文档是在物化视图章节),用户还可以在这个物化视图基础上再配合其他数据叠加物化视图提高查询效率。另外,别忘了还可以给流式摄入开启自动刷新功能。从此,客户可以更简单地完成实时数据分析,包括IoT物联网设备、点击流、应用程序监控、欺诈检测和游戏实时排行榜等。

以上,Redshift简化了各种最经典的数据源ETL方式,数据坐等分析。

更多数据分析的利器

来点火花

数据已经妥妥地进到了数据仓库的碗里来,接下来就请开始它的表演了。此时,数据工程师表示Redshift SQL很好,但是还有些更复杂业务数据逻辑更适合通过代码的方式进行操作和处理(而不是通过UDF)。开源大数据生态体系下有非常丰富的软件供组织采用了,其中功能完善、发展稳定的Apache Spark往往是一个优先的选择。在亚马逊云科技平台上使用Spark并不复杂,有托管服务EMR和Glue保驾护航,还有新发布的Amazon Athena for Apache Spark可以极速启动交互。但是,说到Spark和Redshift之间进行数据分析还是需要折腾一下的,或者是通过将Redshift中的数据导出到S3中,或者是使用各种第三方的Spark连接器,前者需要多走一步浪费时间和资源,后者没有多少人维护不说,性能和安全性都令人堪忧。因此,Amazon Redshift integration for Apache Spark应运而生。

这个内置集成模式基于一个之前的开源项目,提升了性能和安全性,相信后续亚马逊云科技仍将继续跟进这个开源项目,并将各种升级改造的好东西贡献给社区。目前,EMR、EMR on EKS、EMR Serverless和Glue(限定版本)都预置了打包好的连接器和JDBC驱动程序,客户完全可以直接开始编写代码(有爱好者迫不及待连夜在EMR Studio中使用EMR on EKS完成了对Redshift Serverless和集群模式的交互式读写测试,体验极佳),对Redshift中的数据进行处理。如果客户的数据分析工作负载以Spark为主,也可以通过Spark统一对各种数据源的分析。

免责声明:市场有风险,选择需谨慎!此文仅供参考,不作买卖依据。

相关阅读

    化繁为简,亚马逊云科技Amazon Redshift开启云原生数仓新篇章

    12-26

    “盐惠保2023”正式上线 四大惠民亮点引关注,新市民也可保

    11-15

    新店开业 | 上海慈杯咖啡入驻南京弘阳广场!买一送一,赠送祈福福袋、加非十八籽手链,快来打卡吧!​

    09-28

    走进“5G+工业互联网”加速创新中心,江苏忽米邀您共绘产业合作新生态

    07-30

    江苏忽米|全国数智赋能行苏州站阳澄湖“智改数转”企业家沙龙成功举办

    06-22

    金鸡湖隧道湖东段主线底板全线贯通

    06-08

    赋能医药行业,“数字+智造”医药健康行业创新发展论坛圆满结束

    06-01

    政企联动走基层 红旗飘在工地上

    05-26

    常熟市首个建筑行业自主核酸检测点正式启用

    05-09

    “山海连云•丝路绿韵” 2022年第十二届江苏省园艺博览会会徽、吉祥物发布

    04-27

    揭秘中国工厂如何玩转数字孪生?get数字孪生在工业领域的实际应用

    04-15

    传承雷锋精神 争做抗“疫”先锋

    03-14

    中建三局一公司开展雷锋月志愿服务活动

    03-07

    中建三局一公司项目开展义务理发志愿服务活动

    03-03

    共筑防疫墙,争当逆行者

    02-21

    中建三局一公司张家港智慧科学城项目举办“廉洁文化进项目”推进会

    10-28

    “桂林山水茶 青春不夜村” 溧阳天目湖桂林村乡村IP形象闪亮发布

    10-16

    聚焦产城兑现,标高昆承“封面”!

    09-18

    南京城市发展力圆桌会 研讨疫情防控下的服务型经济发展

    08-29

    让买车像买家电一样容易 奇瑞iCar生态与海尔海骊智行生态融合正式开启

    08-25

推荐阅读

中超海外版图再扩张 ESPN加入转播阵营

新华社北京8月12日电ESPN日前宣布,将在美国和巴西直播中超联赛,至2020赛季结束。在中超联赛媒体合作伙伴和信号制作方体奥动力与中超电视更多

2018-08-13 13:34:15

河北省建成并网280万千瓦光伏扶贫项目

“村里建起了扶贫光伏发电站,今后,俺家每年都能有3000元左右收入。”近日,拿到第一笔光伏扶贫项目收益后,魏县西野马村村民刘祥高兴地说更多

2018-08-13 13:34:15

威斯布鲁克:让孩子们享受篮球最重要

新华社北京8月12日电(记者郑直)美职篮(NBA)2016-2017赛季常规赛最有价值球员威斯布鲁克12日现身北京继续其今夏的中国行。这位俄克拉荷更多

2018-08-13 13:34:14

谭卓最新写真曝光 眼神坚定有力

谭卓最新写真曝光 眼神坚定有力

近日,谭卓拍摄的某杂志写真曝光。照片中,一袭长裙搭配慵懒长发,在粉色庭院中自由穿梭,肆意浅笑;或一身浅色休闲西服,眼神坚定有力展露更多

2018-08-13 13:34:12
中俄亚马尔第二条生产线液化气首次装船

中俄亚马尔第二条生产线液化气首次装船

位于北极圈内的中俄亚马尔液化天然气(LNG)项目近日在俄罗斯亚马尔-涅涅茨自治区萨别塔港完成第二条生产线液化天然气的首次装船,装船量更多

2018-08-13 13:34:12

云南通海5.0级地震已致5人受伤部分民房受损

新华社昆明8月13日电 记者从云南省玉溪市通海县有关部门获悉,13日1时44分发生在通海县四街镇的5 0级地震已致当地5人受伤,部分民房受损。更多

2018-08-13 13:34:09

“帕克”奔日 探寻太阳风起何处

“帕克”奔日 探寻太阳风起何处

NASA帕克太阳探测器携带的部分仪器除了给予地球光和热外,太阳也以另一种方式影响着我们的地球。一种被称作“太阳风”的高速等离子体流时刻更多

2018-08-13 13:34:09

绿化黑色能源 中国技术为煤炭正名

煤炭作为一种传统能源,对人们生产和生活中的重要意义显而易见,但是在相当长时期,煤炭的开采和利用方式粗放,以至于一提起煤炭,很多人可更多

2018-08-13 13:34:07

+ 点击查看更多精彩

财经热图

    谭卓最新写真曝光 眼神坚定有力
      谭卓最新写真曝光 眼神坚定有力
    中俄亚马尔第二条生产线液化气首次装船
      中俄亚马尔第二条生产线液化气首次装船
    “帕克”奔日 探寻太阳风起何处
      “帕克”奔日 探寻太阳风起何处
    雅加达亚运会电竞表演赛中国团队名单出炉
      雅加达亚运会电竞表演赛中国团队名单出炉
    户外夏令营 让孩子尽情撒欢儿
      户外夏令营 让孩子尽情撒欢儿
    《延禧攻略》富察皇后“领盒饭” 秦岚哭戏揪心
      《延禧攻略》富察皇后“领盒饭” 秦岚哭戏揪心
    《新舞林大会》董洁“舞”力全开
      《新舞林大会》董洁“舞”力全开
    “小程序”骗局:打着官方授权幌子 套路环环相扣
      “小程序”骗局:打着官方授权幌子 套路环环相扣

热门标签

中超海外版图再扩...

河北省建成并网280...

威斯布鲁克:让孩...

谭卓最新写真曝光...

中俄亚马尔第二条...

云南通海5.0级地震...

“帕克”奔日 探...

绿化黑色能源 中...

雅加达亚运会电竞...

“联姻”动作频繁...

全国全民引体向上...

“十三五”以来西...

王曦雨首夺网球成...

国际象棋棋手丁立...

中国体育,明天会...

户外夏令营 让孩...

《延禧攻略》富察...

《新舞林大会》董...

“小程序”骗局:...

地方竞速“多证合...

    今日必看
  • 谭卓最新写真曝光 眼神坚定有力

    谭卓最新写真曝光 眼神坚定有力

  • 中超海外版图再扩张 ESPN加入转播阵营
  • 河北省建成并网280万千瓦光伏扶贫项目
  • 威斯布鲁克:让孩子们享受篮球最重要
  • 中俄亚马尔第二条生产线液化气首次装船
  • 云南通海5.0级地震已致5人受伤部分民房受损
  • “帕克”奔日 探寻太阳风起何处
  • 绿化黑色能源 中国技术为煤炭正名
    热点
化繁为简,亚马逊云科技Amazon Redshift开启云原生数仓新篇章
    化繁为简,亚马逊云科技Amazon Redshift开启云原生数仓新篇章
    2022年12月,在拉斯维加斯举办的2022亚马逊云科技re:Invent全...
  • “盐惠保2023”正式上线 四大惠民亮点引关注,新市民也可保
  • 新店开业 | 上海慈杯咖啡入驻南京弘阳广场!买一送一,赠送祈福福袋、加非十八籽手链,快来打卡吧!​
  • 走进“5G+工业互联网”加速创新中心,江苏忽米邀您共绘产业合作新生态
  • 江苏忽米|全国数智赋能行苏州站阳澄湖“智改数转”企业家沙龙成功举办
  • 金鸡湖隧道湖东段主线底板全线贯通
  • 赋能医药行业,“数字+智造”医药健康行业创新发展论坛圆满结束
    浏览排行

24小时

一周

  • 12.68万元起,长城炮乘用皮卡江苏上市
  • “桂林山水茶 青春不夜村” 溧阳天目湖桂林村乡村IP形象闪亮发布
  • 中建三局一公司张家港智慧科学城项目举办“廉洁文化进项目”推进会
  • 共筑防疫墙,争当逆行者
  • 中建三局一公司项目开展义务理发志愿服务活动
  • 中建三局一公司开展雷锋月志愿服务活动
  • 传承雷锋精神 争做抗“疫”先锋
  • 12.68万元起,长城炮乘用皮卡江苏上市
  • 六代中医传人张喜海:守正中医创新治骨法 传承中医精华济苍生
  • 武陟交警大队:三夏大忙季,田间地头送头盔
  • 耀世臻艺 御鉴尊荣 - 劳斯莱斯幻影鉴赏
  • 冰雪电竞下江南 首届中国数字冰雪运动会将在无锡上演
  • 江苏第一家 Robotaxi 亮相并对外提供试乘,Momenta与中国移动战略合作助力5G无人驾驶落地
  • 江苏第一家 Robotaxi 亮相并对外提供试乘,Momenta与中国移动战略合作助力5G无人驾驶落地
  • 以约驭博·华灯映水全新古思特上市发布·南京站
  • “红XIN”共建学党史
  • 支部共建学党史 沙盘模拟“重走长征路”
    娱乐
湖北黄冈:遗爱湖畅想曲
    湖北黄冈:遗爱湖畅想曲
    东坡问稼景区再现苏轼躬耕黄州城东的一面坡地(东坡)的场景,景...
在影帝哥哥黄渤的调教下 张艺兴奉献了
    在影帝哥哥黄渤的调教下 张艺兴奉献了"一出好戏"
    《一出好戏》的邋遢外形让人几乎认不出张艺兴来。张艺兴(左一)...
影版《爱情公寓》成
    影版《爱情公寓》成"欺诈片" 凭口碑赚钱才是出路
    陈赫娄艺潇等人继续出演,但电影版早已不是熟悉的味道。袁弘承担...
《爱情公寓》变
    《爱情公寓》变"盗墓公寓" 观众批"挂羊头卖狗肉"
    三部新片同天上映,《一出好戏》昨日票房反超《爱情公寓》三部新...
《延禧攻略》服化道的
    《延禧攻略》服化道的"秘密" 透过热播剧感受非遗之美
    富察皇后的绒花发饰非常亮眼清宫织绣类扇子以缂丝最为精美《延禧...
电影《风语咒》:瑕瑜互见 值得鼓励
    电影《风语咒》:瑕瑜互见 值得鼓励
    看片·热映鉴定对象:《风语咒》上映日期:2018年8月3日自《大圣...

    国内

    国际

    产经

    金融

  • 评分低票房高 《爱情公寓》为何成"爱情公墓"?
  • 歪理邪说 危害社会
  • 电商大秀“黑科技”比拼硬实力
  • 家长注意!儿童泳衣抽检超八成不合格 李宁迪士尼迪卡侬等上榜
  • 武汉专项巡察营商环境
  • 吉林:公章刻制全流程网上办理
  • 房地产虚假广告套路深:字字“高大上” 句句藏猫腻
  • 江西加大公积金贷款和提取改革力度
  • 师范生升级为“公费教育”
  • 美国加州山火持续肆虐
  • 百秒回放 “国际军事比赛-2018”库尔勒赛场精彩瞬间
  • 评分低票房高 《爱情公寓》为何成"爱情公墓"?
  • 钱江晚报:如此老赖,岂能奈何不了
  • 最高法要求对“套路贷”提高警觉
  • 218份中报业绩快报出炉 136只双增长股近六成被机构相中
  • "白色污染"终结者来了?这种塑料袋,用完泡水还可以喝!
  • 网易净利大涨180% 游戏多元化频出爆款
  • 《精灵旅社3:疯狂假期》:吸血鬼爱上范海辛?
  • 纳达尔哈勒普双双挺进决赛 罗杰斯杯成世界第一福地
  • 网上租房可手机扫码识别“黑中介”
  • 下月起有望买到降价抗癌药
  • 武汉:警察与骗子“隔空争夺”拦下受骗女子汇款
  • 武汉:受贿10万放任违建 一名城管队长被开除党籍、撤职
  • 深交所问询云南旅游 20亿收购文旅科技是否合理
    文化
  • 俄组建新机构深化国防改革

    俄组建新机构深化国防改革

  • 南昌罗亭镇葡萄喜获丰收

    南昌罗亭镇葡萄喜获丰收

  • 中国实现最薄不锈钢箔量产 可论克卖
  • 2亿年前曾有恐龙在贵州茅台镇游泳
  • 北青报:以技术创新创造更多工作岗位
  • 俄组建新机构深化国防改革
  • 宁波:最大资源是港口 最大优势是对外开放
  • Copy 2006-2018 www.js.chinacaijing.cn

    联系邮箱:939 674 669@qq.com

    声明:本站所有文章、数据仅供参考,使用前务请仔细阅读法律声明,风险自负。

    www.js.chinacaijing.cn是江苏财经网唯一域名,广告商的言论与行为均与江苏财经网无关!谨防受骗!股市有风险,投资需谨慎。