大数据和云计算技术 (欢迎关注同名微信公众号)
jiezhu2007 · 共 83 篇文章
解码混合云
今天聊聊混合云。 一、为什么需要混合云 企业规模的大小不一样,对技术和安全的掌控的力度不一样,所以导致云有多种部署模式。根据部署的方式不同,分为公有云,私有云和混合云等几种。 公有云老大AWS一直对私有云和混合云不是很感冒,认为公有云才是趋势。 当前能知道的只有美国中央情报局(CIA)的6亿美元大单,其他鲜见AWS在私有云上有动作。 另一家云大厂,微软一上来就利用传统数据中心的优势,主推混合云,形成了差异化优势,取得了不错的效果。另外,微软的全面云化,也促使微软一转颓势,股价节节高升,市值突破了5400亿美金。 私有云很难像公有云一样,持续不断的提供新鲜的服务。随着企业云化转型的深入,企业必…
2017-06-27T21:23:02Z · 数据库 · 评论(0)
Docker和hadoop
Docker Docker很热,怎么形容?感觉开源除了spark技术,就是docker了,甚至把Go语言也带火了,把Go在TIOBE的排名从百名外带入主流语言的行列。 Docker快成救世主了,这么牛逼的技术,docker和hadoop碰撞出什么火花来呢,是不是得赶紧用上呢? 就不介绍具体什么是docker了,不是一门全新的技术,是基于LXC的高级容器引擎,从linux内核发展出来的轻量隔离技术。相比单纯的隔离,核心是标准化了镜像打包,部署和发布这个过程,相当于标准化了开发过程。就运行态来说,相比VM,核心优势就是轻量,劣势也明显,安全性不足,容易攻破。下图是一个VM和容器的对比: Dock…
2017-06-27T21:17:18Z · 数据库 · 评论(1)
滴滴背后的大数据应用
2017-01-07 朱洁 大数据和云计算技术 前言:这是一篇大数据应用文章,不涉及高深技术,适合大数据入门的同学了解大数据能干什么,所有数据/消息全部来源公开网络。 先聊个最近的消息,近年来发展最快的公司滴滴传言裁员,消息真假难辨。网络传言:“滴滴出行可能正在进行成立4年多以来最大规模的一次裁员。有多个信息源对36氪称,最近滴滴正在裁员;甚至有知情人士告知36氪,滴滴各个业务线加起来将会有一半的员工被“优化”离职。按照滴滴公开的说法,目前各个事业部加起来有6000多人。据此计算,这可能意味着滴滴有可能要裁掉3000人?”。有没有知道详情的同学告知一下真实情况? 今天核心要聊的不是这个,聊一…
2017-01-08T15:54:29Z · 数据库 · 评论(1)
闲聊共享单车
2017-01-01 朱洁 大数据和云计算技术 2016年现象级产品,首推共享单车。 说起最早推共享单车的是政府,政府从公益出发,十几年也不温不火。 摩拜/ofo推出的无桩共享单车,可以随借随还,车上安装GPS,SIM卡,嵌入式芯片,让一辆单车智能化,用户用手机可以扫描二维码可以随借随还。是一个典型的用新技术解决传统行业的不便利,提升易用性。互联网思维的一次典型应用。 和当年智能打车一样,一夜之间多家企业加入竞争行列,比如深圳,比较常见的有摩拜,ofo ,小蓝单纯,小鸣单车,深圳市政府还有移动版本funbike。各个企业也是财大气粗,又是融资过亿美金,又是要进军美国,新加波的消息不断。 我试…
2017-01-01T17:15:11Z · 数据库 · 评论(0)
AWS和Oracle的战争
原创 2016-12-22 朱洁 大数据和云计算技术 1、云上数据库战争 今年年初,Oracle首席技术官Larry Ellison野心勃勃地将矛头对准了AWS,暗示数据库巨头Oracle会成为云计算领域的领导者。 在今年的AWS re:Invent大会上,AWS首席执行官Andy Jassy对此做出了回击。Jassy在主题演讲中将AWS的能力称为“超能”,并数次回击Ellison。他说,AWS的首个超能力就是拥有X射线般的视觉——换句话说,就是“看透花哨的动作和浮夸的言辞”,Jassy站在一张传递了这个信息的幻灯片前,这时候屏幕上出现了一张Ellison的头像。 AWS强调了多个大客户的交…
2016-12-24T08:06:36Z · 数据库 · 评论(0)
BDTC 2016参会感受
2016-12-18 朱洁 大数据和云计算技术 中国大数据技术大会(BDTC)的前身是Hadoop中国云计算大会(Hadoop in China,HiC),从08年举办,今年是第9界。2016中国大数据技术大会在12月8日-10日在北京举行,主办单位是计算机学会。 在国内,这个算是大数据领域比较大的会,我也是连续参加这个会。相关的会议报道很多了,我主要讲下个人感受: 1) 相比上届会议,这届人数少了很多,打听了一下,大概800人参加。多方面原因吧,组织方面的,估计还有被strata Hadoop word冲击的原因。 2) 参加这种会议主要价值是:认识人,了解业界热点。不要期望在这种会议上学…
2016-12-22T22:52:13Z · 数据库 · 评论(0)
闲聊乐视
2016-12-11 朱洁 大数据和云计算技术 1、为什么讨论乐视 乐视这几年一直是新闻话题的中心。上个月乐视手机供应链缺钱的消息传出来,贾老板一封邮件将事件推向高潮,一下子乐视成为了全民话题。 为什么写一写对乐视的看法,锻炼和坚持自己的独立批判思维非常重要,不要人云亦云。也欢迎大家一起讨论。:) 2、乐视现在内部情况到底如何? 乐视最近坏消息不断,欠钱,裁员消息不断,乐视又不断出来辟谣,真假难辨。根据我了解到一些情况如下: 1)欠钱是真实的,贾老板在访谈中证实了这点。 2)裁员消息是真实的,乐视被离职员工亲自给我证实,但不是所有部门都受影响,乐视网受影响小。 3、乐视到底是干什么的公司? …
2016-12-11T15:52:38Z · 非技术 · 评论(0)
元数据的作用
元数据的作用 2016-11-23 刘耀铭 大数据和云计算技术 刘耀铭同学元数据系列作品的第二篇,大家支持! 其他有兴趣的同学也可以联系我一起学习,进步!具体内容参考: 怎么快速提高技术? 其他元数据相关系列文章: 元数据概念 基于元数据驱动的ETL Hive 元数据表结构详解 上一遍我们了解了什么是元数据,即元数据的定义,我们知道了元数据是对数据的描述以及解释,它用来说明数据内容质量状况和其他特征的背景信息。那么元数据具体有什么作用呢? 1、元数据是进行数据集成所必须的。 怎么理解?我们知道一个数据仓库是由外部数据、业务数据以及文档资料通过某些抽取工具而得到的,数据集市就是数据仓库经过元数…
2016-12-04T18:17:11Z · 数据库 · 评论(0)
喜大普奔,《大数据架构详解》一书 登陆 当当,京东热卖榜
2016-11-27 朱洁 大数据和云计算技术 最近加班太多,“江郎才尽了”,这周不想写博客了,休息下。 讲点高兴的事情,我的新书《大数据架构详解》登陆当当,京东热卖榜。 1、先看当当: 计算机类,新书热卖榜 第七名! 2、京东 大数据和云计算类 热卖榜 第14位(不止新书,统计所有的,刚上架一个月,这个还行。 最后,感谢各位读者的捧场。 也请大家继续支持和转发新书! 同时也欢迎大家微信/qq联系我,指出书中BUG,大家一起进步。 多谢! 个人新作《大数据架构详解:从数据获取到深度学习》一书,已由电子工业出版社出版,京东,淘宝,当当,亚马逊全网开售,有兴趣的同学直接上京东,淘宝,当当,亚马逊…
2016-12-04T18:03:47Z · 数据库 · 评论(0)
元数据概念
元数据概念 2016-11-17 刘耀铭 大数据和云计算技术 刘耀铭同学元数据系列作品的第一篇,大家支持! 其他有兴趣的同学也可以联系我一起学习,进步!具体内容参考: 怎么快速提高技术? 其他元数据相关系列文章: 基于元数据驱动的ETL Hive 元数据表结构详解 1、 元数据是描述其他数据的数据(data about other data),用于提供某种资源有关信息的结构化数据(structed data)。字面上看无法看出所以然,但其实看对应的英文含义就明确了,Meta指“对······的描述”类似Meta tag,所以元数据就是对数据的解释和描述。 2、 这里主要将数据仓库的元数据分为…
2016-12-03T16:35:46Z · 数据库 · 评论(0)
搜索简史
搜索简史 2016-11-12 朱洁 大数据和云计算技术 现在的同学很难想象没有搜索引擎的日子,国内的百度,国外的Google,Bing基本成为互联网的唯一入口,上网的第一件事是搜索一下。 回想整个互联网,关于信息获取,可以分为这么几个阶段: 1)门户网站 20世纪末的时候大家还玩的是门户网站。全世界出名的网站就那么几个,国外Yahoo,国内Sina/搜狐/网易。大家上个网需要记住这些网站的域名,然后输入。当时网站和内容都特别少,其实也就只能看看简单的新闻。 2)分类导航 随着网站的越来越多,记住域名这种事情难度太高。所以要yahoo 是世界上第一家提供分类导航的网站。分类导航能产生也是顺其…
2016-12-03T16:34:16Z · 数据库 · 评论(0)
博客导读
2016-11-06 朱洁 大数据和云计算技术 闲来无事,简单整理下博客,方便大家阅读。 具体的不解释,自己看。 一、胡扯乱聊 一万小时定律 写给自己的2014 年中回顾 2015年完成的第一本英文原著书 写给自己定2015 第二次机器革命 《大数据架构详解》答疑(一) 为什么写《大数据架构详解》这本书 书籍推荐:《大数据架构详解》,京东已经预售 量子通讯扫盲 IT趋势杂谈 “神威-太湖之光”登顶国际超算Top500 武汉见闻 大数据十年内会成为屌丝产业 工业4.0和大数据 第二次机器革命 新书意见征集 闲聊GitHub 开源软件使用3个level “归来”的微软 过早优化是万恶之源 聊聊华…
2016-11-12T10:21:50Z · 数据库 · 评论(0)
计算机系统结构变革在即?
2016-10-23 朱洁 大数据和云计算技术 15年6月,intel正式宣布167亿美元收购FPGA生产商Altera。此交易为该公司有史以来涉及金额最大的一次收购案例。167亿美金不是小数目,intel 为啥花这么高的代价收购一家FPGA厂商?对x86架构的计算机系统结构会带来什么影响?看我们慢慢分析。 FPGA是什么? FPGA(Field-Programmable Gate Array),即现场可编程门阵列,它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路(ASIC)领域中的一种半定制电路而出现的,既解决了定制电路的不足,又克服了原有可编程器件…
2016-10-23T16:31:54Z · 数据库 · 评论(2)
为什么写《大数据架构详解》这本书
花了差不多一年半时间,牺牲了每个周末,费了九牛二虎之力,终于完成个人人生的第一本书《大数据架构详解:从数据获取到深度学习》。整个过程其实挺痛苦的,时常想放弃,幸好坚持下来了。 回想这我500天,我常问自己两个问题: 1)我问自己为什么选择去写一本大数据技术的书,是什么让自己坚持? 我感觉可能更多的原因是实践大数据架构和技术这么多年,对技术的理解到一定的程度,心中有许多话不吐不快,因此需要找一个地方完整的表达。 2)那大数据从业者或者有志向搞大数据的同学和读者需要一本书? 往往大家误以为大数据是门单点技术,其实大数据技术是一个技术族,大家需要一本完整介绍大数据的技术的书。 有了这两个问题的答案…
2016-10-22T12:36:07Z · 数据库 · 评论(1)
非易失性存储一览
2016-10-16 朱洁 大数据和云计算技术 RAM:随机存取存储器(random access memory,RAM)又称作“随机存储器”,是与CPU直接交换数据的内部存储器,也叫主存(内存)。它可以随时读写,而且速度很快,通常作为操作系统或其他正在运行中的程序的临时数据存储媒介。 内存速度非常快,但是同时也有一个特性就是易失性,当电源关闭时RAM不能保留数据。如果需要保存数据,就必须把它们写入一个长期的存储设备中(例如硬盘)。 硬盘虽然非易失性,但是速度非常慢。所以硬盘和内存之间就有非常多的非易失性存储,一直在发展。今天简单梳理下常见的: SSD : 固态硬盘(Solid State …
2016-10-16T16:36:31Z · 数据库 · 评论(0)