ITPub博客

首页 > 架构设计 > 数据架构

关于 “数据架构” 的内容如下:

  • 深入理解Java多线程与并发框(第⑩篇)——并发辅助工具类(很好的玩的工具类)

    一、Exchanger 交换器(两线程间的通信)使用场景:用于 有且仅有两个线程 间的 数据传输,就就是线程间的 通信 。它是 生产者/消费者 d的 wait() / notify() 的最佳替代工具。 核心原理:方法 exchange()阻塞特性:此方法被调用后等待其他线程来取数据,如果没有其他线程取得数据,则一直 阻塞。 示例:交替打印奇偶数: public class Print {

    无敌天骄 数据架构 12 2020-03-30 17:21
  • 微信支付的跨平台架构到底有多牛?

    每天分享 Java技术栈 干货,路虽远,行则必至。

    程序员的成长之路 数据架构 386 2020-03-25 11:06
  • 越说越迷糊的CAP

    不管大家有没有深入了解过分布式系统,相信对CAP应该还是有个比较熟悉的印象。

    朱小厮的博客 数据架构 402 2020-03-18 11:16
  • 【福利】msup携手300位技术大咖开放免费线上干货视频

    2020年的1月份过去了,漫长的像过了一个年。新型冠状病毒疫情牵动着无数人的心。面对疫情导致的封停隔离,众多企业在复工后,都选择了远程协同办公。远程办公不是个新鲜事儿,国外已经玩了多年,但中国人还不太习惯。在毫无准备的情况下,突然开展对很多企业和团队管理者还是蛮有杀伤力的。越是危难时刻,越要凝聚人心。这时候需要leader思考怎么带队伍,怎么发挥领导力,怎么让我们的团队更加精进,怎么把远程协同开发

    msup789 数据架构 210 2020-02-06 15:20
  • 开源软件在地图数据处理中的应用

    作为开源软件的受益者,在享受开源带来的技术便利同时,我们也积极拥抱开源,同时也回馈开源。城市交通指数(TTI)作为公司第16个开源项目,通过盖亚计划对外开放了脱敏数据,下载人员分布于127个高校或科研机构,覆盖了70%的双一流高校。在地图数据处理中,能经常看到开源软件的身影,常见的有以下几项:GDAL (Geospatial Data Abstraction Library)GDAL是一个在X/M

    java06051515 数据架构 395 2020-02-06 13:09
  • BlueStore源码分析之Stupid分配器

    前言前面介绍了BlueStore的BitMap分配器,我们知道新版本的Bitmap分配器的优势在于使用连续的内存空间从而尽可能更多的命中CPU Cache以提高分配器性能。在这里我们了解一下基于区间树的Stupid分配器(类似于Linux Buddy内存管理算法),并对比分析一下其优劣。目录伙伴算法数据结构初始化插入删除空间分配空间回收优劣分析伙伴算法Linux内存管理算法为了能够快速响应请求,尽

    java06051515 数据架构 429 2020-02-05 18:57
  • BlueStore源码分析之架构设计

    前言Ceph早期的单机对象存储引擎是FileStore,为了维护数据的一致性,写入之前数据会先写Journal,然后再写到文件系统,会有一倍的写放大,而同时现在的文件系统一般都是日志型文件系统(ext系列、xfs),文件系统本身为了数据的一致性,也会写Journal,此时便相当于维护了两份Journal;另外FileStore是针对HDD的,并没有对SSD作优化,随着SSD的普及,针对SSD优化的

    java06051515 数据架构 459 2020-01-12 16:54
  • SpringCloud分布式微服务b2b2c电子商务-Gateway的基本入门

    SpringCloud微服务项目之间调用是通过httprest请求来进行服务调用的,之前我们会用到HttpClient等工具来进行服务请求,Spring对这种请求进行了处理,封装成了可声明式的web客户端,使得编写web客户端更容易,feign还支持可插拔的编码器和解码器,Spring在用的时候增加了对@requestMapping的处理,同时,SpringCloud还对feign集成了注册中心(

    gung123 数据架构 432 2020-01-06 11:40
  • API网关,让您和Serverless再近一步

    从软件行业诞生之日起,技术和业务总是相辅相成。业务的创新促进着软件架构从最早期的单体架构、分布式架构,转变到了如今火热的微服务架构,以及云时代下诞生的Serverless架构。API网关作为单体应用和微服务架构中流量的入口和API的管理者,对于Serverless架构来说依然扮演着重要的角色。

    京东云技术新知 数据架构 403 2019-12-25 10:36
  • 百万级高并发mongodb集群性能数十倍提升优化实践(上篇)

    背景线上某集群峰值TPS超过100万/秒左右(主要为写流量,读流量很低),峰值tps几乎已经到达集群上限,同时平均时延也超过100ms,随着读写流量的进一步增加,时延抖动严重影响业务可用性。该集群采用mongodb天然的分片模式架构,数据均衡的分布于各个分片中,添加片键启用分片功能后实现完美的负载均衡。集群每个节点流量监控如下图所示:从上图可以看出集群流量比较大,峰值已经突破120万/秒,其中de

    JAVA架构 数据架构 414 2019-12-24 21:10
  • 直播系统搭建所用到的技术原理

    开发一套视频直播系统,整个流程中所运用到的技术原理大概是哪些。

    拓幻科技 数据架构 472 2019-12-23 13:55
  • 最最最全数据仓库建设指南,速速收藏!!

    开讲之前,我们先来回顾一下数据仓库的定义。数据仓库(Data Warehouse)是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合,用于支持管理决策。这个概念最早由数据仓库之父比尔·恩门(Bill Inmon)于1990年在《建立数据仓库》一书中提出,近年来却被愈发广泛的提及和应用,不信看下图:到底是什么,让一个从上世纪90年代提出的概念,在近几年确越来越热?带着这个问题,我们来了解一

    数澜科技 数据架构 447 2019-12-13 16:31
  • 企业产品视频宣传制作,log制作,企业年会广告视频设计公司

    企业产品视频宣传制作,log制作,企业年会广告视频设计公司

    区块链开发 数据架构 431 2019-12-07 09:23
  • 数据库之互联网常用架构方案一览

    数据库中间件,引入开源(mycat等)或自研的数据库中间层。个人理解,思路同选择读主。数据库中间件的成本比较高,并且还多引入了一层

    IT职业频道 数据架构 422 2019-11-29 15:02
  • 工业互联网平台架构方案,构建工业互联网企业数字化、网络化、智能化服务体系

    工业互联网平台基于ICT技术打造的开放式平台,聚焦“联接+云”,提供智能化的边缘层、泛在网络、可信IaaS、工业PaaS,及汇聚生态伙伴的工业SaaS, 助力制造企业数字化转型。

    stevenzhang 数据架构 377 2019-11-21 17:24
  • 去O路上的历程--开源分布式数据库产品对比(TBase VS AntDB)

    在去O的道路上,选择合适的具有自主知识产权的分布式数据库产品任重而道远。

    zjadolf 数据架构 228 2019-11-16 11:45
  • SQL Server阻塞blocking案例分析

    今天在性能测试过程中发现大量阻塞报警,检查whoisactive(https://github.com/amachanic/sp_whoisactive/)数据发现,阻塞blocking头部session当前执行的语句如下:<?query --(@p0 int,@p1 datetime,@p2 bigint,@p3 bigint,@p4 bigint)INSERT INTO [License

    宅慕思_ 数据架构 467 2019-11-06 09:51
  • 从库转换成PXC集群的节点

    环境介绍:mysql 5.7版本PXC集群两个节点:10.9.21.17910.9.21.178从节点:10.9.21.115(普通主从,数据库软件为普通版本,非集群版本)现在的目的是要把10.9.21.115转换成PXC集群的节点,采用IST增量同步的方式来减小对PXC主库的影响;疑问:1.PXC 物理备份,可以直接使用普通的数据库软件加载打开吗?可以,我从PXC使用innobackex备份,然

    贺子_DBA时代 数据架构 478 2019-10-26 19:20
  • SQL Server如何配置cdc进行ETL

    企业核心业务系统oltp的数据需要通过ETL同步到数据仓库,原始的ETL流程通过定制化从SQL Server中进行数据抽取,经过生产环境的监控,发现ETL过程的query会对生产系统造成额外负载。于是制定了通过cdc进行增量数据同步的方案:方案选型中比对了SQL server的trigger,CT,CDC, temporary table各种方式,选型对比如下:TriggerCTCDCTempor

    宅慕思_ 数据架构 560 2019-10-23 10:07
  • 快速开发平台对中小企业的发展有何助力

    所谓快速开发平台,就是以减少项目时间,提高开发效率为目标的基础软件框架,在这个框架中,底层代码逻辑已经搭建完成,个性化功能可以在现有功能的基础上进行增、改、删,部分开发平台可能支持低代码或无代码开发,以求最大程度的缩减开发过程。

    lrtech 数据架构 402 2019-10-12 17:39
点击加载更多下一页

成为大咖

联系我们
itpub
help@itpub.net
17319047854
扫描二维码联系客服
关于 广告服务 使用条款
京ICP备16024965号
经营性网站备案信息
网络110报警服务
中国互联网举报中心
北京互联网违法和不良信息举报中心