腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

BigData集群搭建

“本文主要介绍大数据相关集群搭建，包括hadoop集群、zookeeper集群、hbase集群、spark集群等”

搬砖俱乐部

2019-12-18

7370

标签:

BigData--MapReduce入门

MapReduce是一个分布式运算程序的编程框架，是用户开发“基于Hadoop的数据分析应用”的核心框架。

2020-09-24

5600

标签:

BigData |述说Apache Spark

Spark是一个Apache项目，被标榜为"Lightning-Fast"的大数据处理工具，它的开源社区也是非常活跃，与Hadoop相比，其在内存中运行的速度可以提升100倍。Apache Spark在Java、Scale、Python和R语言中提供了高级API，还支持一组丰富的高级工具，如Spark SQL（结构化数据处理）、MLlib（机器学习）、GraphX（图计算）、SparkR（统计分析）以及Spark Streaming（处理实时数据）。

2019-08-21

1.1K0

标签:

BigData--Hadoop技术

（7）-chgrp 、-chmod、-chown：Linux文件系统中的用法一样，修改文件所属权限

2020-09-24

5850

标签:

The BigData,Hadoop组成及生态

随着科技的发展，我们在网上留下的数据越来越多，大到网上购物、商品交易，小到浏览网页、微信聊天、手机自动记录日常行程等，可以说，在如今的生活里，只要你还在，你就会每时每刻产生数据，但是这些数据能称为大数据么？不，这些还不能称为大数据。那么大数据数据到底是什么呢？

2021-05-21

6560

标签:

《快学BigData》--Codis总结（33）

Codis 是一个分布式 Redis 解决方案, 对于上层的应用来说, 连接到 Codis Proxy 和连接原生的 Redis Server 没有显著区别 (不支持的命令列表), 上层应用可以像使用单机的 Redis 一样使用, Codis 底层会处理请求的转发, 不停机的数据迁移等工作, 所有后边的一切事情, 对于前面的客户端来说是透明的, 可以简单的认为后边连接的是一个内存无限大的 Redis 服务。

2023-03-06

1.7K0

标签:

BigData | Beam的基本操作（PCollection）

BigData，顾名思义就是大数据专栏了，主要是介绍常见的大数据相关的原理与技术实践，从基础到进阶，逐步带大家入门大数据。 ? 首先，PCollection的全称是 Parallel Collection（并行集合），顾名思义那就是可并行计算的数据集，与先前的RDD很相似（BigData |述说Apache Spark），它是一层数据抽象

2019-08-09

1.8K0

标签:

BigData-数据仓库学习

二者对比对比属性 OLTP OLAP 读特性每次查询只返回少量记录对大量记录进行汇总写特性随机、低延时写入用户的输入批量导入使用场景用户，Java EE项目内部分析师，为决策提供支持数据表征最新数据状态随时间变化的历史状态数据规模 GB TB到PB

2021-01-12

7880

标签:

BigData--Hadoop数据压缩

要想对正在被写入一个输出流的数据进行压缩，我们可以使用createOutputStream(OutputStreamout)方法创建一个CompressionOutputStream，将其以压缩格式写入底层的流。

2020-09-24

8050

标签:

《快学BigData》--Linux 编程(7)

if condition then statements [elif condition then statements. ..] [else statements ] fi

2023-03-06

1.9K0

标签: