华人论坛 - Powered by Discuz! Board

标题: [转贴] 大数据时代 [打印本页]

作者: 沁颍 时间: 2015-1-2 13:31 标题: 大数据时代

数据价值

一分钟内，微博推特上新发的数据量超过10万；社交网络“脸谱”的浏览量超过600万……
这些庞大数字，意味着什么？
它意味着，一种全新的致富手段也许就摆在面前，它的价值堪比石油和黄金。
事实上，当你仍然在把微博等社交平台当作抒情或者发议论的工具时，华尔街的敛财高手们却正在挖掘这些互联网的“数据财富”，先人一步用其预判市场走势，而且取得了不俗的收益。
让我们一起来看看——他们是怎么做的。
这些数据都能干啥。具体有六大价值：
●1、华尔街根据民众情绪抛售股票；
●2、对冲基金依据购物网站的顾客评论，分析企业产品销售状况；
●3、银行根据求职网站的岗位数量，推断就业率；
●4、投资机构搜集并分析上市企业声明，从中寻找破产的蛛丝马迹；
●5、美国疾病控制和预防中心依据网民搜索，分析全球范围内流感等病疫的传播状况；
●6、美国总统奥巴马的竞选团队依据选民的微博，实时分析选民对总统竞选人的喜好。

作者: 沁颍 时间: 2015-1-2 13:32

哪些公司走在大数据时代大前沿啊？都来讨论下吧。。。

作者: 出水芙蓉 时间: 2015-1-2 13:34

回复 2# mooncake

作者: 沁颍 时间: 2015-1-2 13:35

产业崛起

越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。具体有以下三大案例：
1、2013年3月22日，奥巴马政府宣布投资2亿美元拉动大数据相关产业发展，将“大数据战略”上升为国家意志。奥巴马政府将数据定义为“未来的新石油”，并表示一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分，未来，对数据的占有和控制甚至将成为陆权、海权、空权之外的另一种国家核心资产。
2、联合国也在2012年发布了大数据政务白皮书，指出大数据对于联合国和各国政府来说是一个历史性的机遇，人们如今可以使用极为丰富的数据资源，来对社会经济进行前所未有的实时分析，帮助政府更好地响应社会和经济运行。
3、而最为积极的还是众多的IT企业。麦肯锡在一份名为《大数据，是下一轮创新、竞争和生产力的前沿》的专题研究报告中提出，“对于企业来说，海量数据的运用将成为未来竞争和增长的基础”，该报告在业界引起广泛反响。
IBM则提出，上一个十年，他们抛弃了PC，成功转向了软件和服务，而这次将远离服务与咨询，更多地专注于因大数据分析软件而带来的全新业务增长点。IBM执行总裁罗睿兰认为，“数据将成为一切行业当中决定胜负的根本因素，最终数据将成为人类至关重要的自然资源。”
在国内，百度已经致力于开发自己的大数据处理和存储系统；腾讯也提出2013年已经到了数据化运营的黄金时期，如何整合这些数据成为未来的关键任务。
事实上，自2009年以来，有关“大数据” 主题的并购案层出不穷，且并购数量和规模呈逐步上升的态势。其中，Oracle对Sun、惠普对Autonomy两大并购案总金额高达176亿美元，大数据的产业价值由此可见一斑。

作者: qzhou3 时间: 2015-1-2 13:42

Data, splk, IBM. Oracle, goog, fuel

作者: 沁颍 时间: 2015-1-2 13:44

好厉害，多谢！！！

回复 5# qzhou3

作者: qzhou3 时间: 2015-1-2 13:48

回复 6# mooncake

风吹几个月前还列出更多。可能在顶上能找到

作者: 沁颍 时间: 2015-1-2 13:52

好，我去找找。。。
回复 7# qzhou3

作者: 沁颍 时间: 2015-1-2 13:55

是这个吧？
“
一个新的时代 -- 云计算

云计算的大佬全部出场了：

ARM 芯片
AVET 操作系统
SPLK 大数据分析
DATA 可视化数据展示
NOW 和 WDAY，财务，人力资源管理
PANW 云安全
还有一家硬件公司”

作者: sjwi 时间: 2015-1-2 14:04

作者: qzhou3 时间: 2015-1-2 14:05

回复 9# mooncake

Yes. I would add IBM and ORCL. Both DATA and SPLK are great.

作者: 沁颍 时间: 2015-1-2 14:06

（ZT）
关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化；大数据就是海量数据的高效处理。
虽然上面的一句话解释不是非常的贴切，但是可以帮助你简单的理解二者的区别。另外，如果做一个更形象的解释，云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化之后再进行分配使用，在云计算领域目前的老大应该算是Amazon，可以说为云计算提供了商业化的标准，另外值得关注的还有VMware（其实从这一点可以帮助你理解云计算和虚拟化的关系），开源的云平台最有活力的就是Openstack了；
大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用（因为MapReduce开发复杂），所以PigLatin和Hive出现了（分别是Yahoo！和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献），为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别，所以人们又在想怎样在大数据处理上不只是操作方式类SQL，而处理速度也能“类SQL”，Google为我们带来了Dremel/PowerDrill等技术，Cloudera（Hadoop商业化最强的公司，Hadoop之父cutting就在这里负责技术领导）的Impala也出现了。
整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发展趋势是，实时交互式的查询效率和分析能力，借用Google一篇技术论文中的话，“动一下鼠标就可以在秒级操作PB级别的数据”难道不让人兴奋吗？

作者: qzhou3 时间: 2015-1-2 14:12

回复 12# mooncake

Thanks for these definitions!

作者: 沁颍 时间: 2015-1-2 14:13

嗯，多谢！

我在看大数据、云计算和商业智能这三者的关系，还没整明白

你知道吗？
回复 11# qzhou3

作者: AIMEIFAN 时间: 2015-1-2 14:39

大数据是指从各种不同resource（比如微波，twitter）来的数据分析。云集算是office 365, dropbox等。商业智能是自动报表。

回复 14# mooncake

作者: qzhou3 时间: 2015-1-2 14:42

回复 14# mooncake

No I don't. My institution has organized one conference about big data but I couldn't differentiate it from the traditional data analysis. The only things I learned: cloud is the storage of data; cloud computing is that you run analysis without physically obtain the data; big data are data obtained from social media or various websites.

The example we tried was analyzing an IP address's web searching history to find out the possible health conditions of the person...

作者: qzhou3 时间: 2015-1-2 14:47

回复 14# mooncake

BTW, I think T大大, NOBO 大大, and 长城大姐 are performing big data analysis with their models...

作者: 沁颍 时间: 2015-1-2 15:13

多谢！！

回复 15# AIMEIFAN

作者: 沁颍 时间: 2015-1-2 15:14

多谢了!!

回复 16# qzhou3

作者: GreatWallchn 时间: 2015-1-2 18:14

回复 1# mooncake

n年前我就梦想有一天，可以有真正的大数据处理公司，把有用的信息过滤出来。我也相信这将是21世纪头50年最热最有前途的领域。其实大数据处理包含很多，涉及数据处理，数据过滤，数学模型，最重要是运用历史数据进行数据模拟，以及各领域数据交互作用分析。这将不是某一个公司可以做到，而是大国倾全国之力才能做到，因为这牵涉太多知识面了，就数据处理能力一项而言，目前任何商业计算机都不具备完全的这项能力。

作者: wx8zjs 时间: 2015-1-2 21:06

回复 1# mooncake

作者: 沁颍 时间: 2015-1-3 10:43

欢迎来股版。。。这里的版主很Nice。。。
把你博客里的部分文贴这里会很受欢迎。。。

回复 21# wx8zjs

作者: rosemary14 时间: 2015-1-3 13:33

好好学习！

作者: knock 时间: 2015-1-4 12:44

这个版块很好。第一次知道fuel也是这个版块的？看了图形确实有意思。

欢迎光临华人论坛 (http://yayabay.com/forum/)