腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

综合排序丨最热优先丨最新优先

StarRocks学习-进阶

StarRocks内部导入，可以在StarRocks内部使用insert into tablename select的方式导入，可以跟外部调度器配合实现简单的ETL处理。 FE：Frontend，StarRocks系统的元数据和调度节点。在导入流程中主要负责导入执行计划的生成和导入任务的调度工作。 BE：Backend，StarRocks系统的计算和存储节点。 2.Spark Load Spark Load 通过外部的 Spark 资源实现对导入数据的预处理，提高 StarRocks 大数据量的导入性能并且节省 StarRocks 集群的计算资源。名词解释 FE：Frontend，StarRocks的前端节点。负责元数据管理和请求接入。 BE：Backend，StarRocks的后端节点。负责查询执行和数据存储。官方链接：StarRocks @ StarRocks_intro @ StarRocks Docs

2022-11-13

4K0

标签:

StarRocks 外表最佳实践

自 2.3.0 版本起，StarRocks 支持通过外部表的方式查询支持 JDBC 的数据库，无需将数据导入至 StarRocks，即可实现对这类数据库的极速分析。适用场景：多表连接同一数据库：当需要从StarRocks连接到多个外部表，且这些外部表都指向同一个外部数据库时，使用RESOURCE可以提高效率和可维护性。 StarRocks支持对目标表进行谓词下推，把过滤条件推给目标表执行，但是不支持下推函数。这意味着对于JDBC外部表，StarRocks可以将一些基础的比较运算符（如>、>=、=、<、<=）、IN、IS NULL和BETWEEN ... 如果您仍需要通过 StarRocks 查询目标数据库的数据，可以重新创建 JDBC 资源和 JDBC 外部表。

2025-01-03

1.5K0

标签:

StarRocks学习-初识

目录一、什么是StarRocks？使用StarRocks 来统一数据湖和数据仓库，将高并发和实时要求性很高的业务放在StarRocks中分析，把数据湖上的分析使用StarRocks外表查询，统一使用 StarRocks 管理湖仓数据。 StarRocks整体对外暴露的是一个MySQL协议接口，支持标准SQL语法。用户通过已有的MySQL客户端能够方便地对StarRocks里的数据进行查询和分析。四、StarRocks表设计列式存储 StarRocks的表和关系型数据相同, 由行和列构成，每行数据对应用户一条记录, 每列数据有相同数据类型。则内存占用: (12 + 9(每行固定开销) ) * 1000W * 3 * 1.5(hash表平均额外开销) = 945M 官方文档：StarRocks @ StarRocks_intro @ StarRocks

2022-11-13

3.1K0

标签:

StarRocks业务开发tips

StarRocks 1、StarRocks的非主键表的表字段不支持修改，一般需要重新建表，但是表名可以修改，可以新增或删除列。 3、StarRocks中主键表的insert into在主键冲突时会自动覆盖数据。但是StarRocks集群之间可以通过MySQL协议进行数据同步，查询速度会稍微受到影响，百万级的读取速度在10秒内。 8、StarRocks可以通过MySQL协议读取ClickHouse的数据，需要指定ClickHouse的MySQL协议的地址和端口（一般为9004）。，但 date_format(t1.end_date, 'yyyyMMddHH') 不行，这是因为 StarRocks 对日期格式字符串的解析有特定规则。

2025-04-24

9880

标签:

StarRocks：Connect Data Analytics with the World

作者：StarRocks TSC Member、镜舟科技 CTO——张友东本文基于镜舟科技 CTO、StarRocks TSC 成员张友东在 StarRocks Connect 2025 活动上的主题分享整理而成现在：StarRocks 正在推动数据与现代化数据分析应用的融合。未来：StarRocks 将进一步探索数据分析与 AI Agent 的结合。在日韩，韩国知名搜索引擎 NAVER、金融支付公司 Toss 也在生产环境中使用 StarRocks；此外，在印度、菲律宾等国家，StarRocks 也在快速拓展。 StarRocks 之所以能够在查询性能上保持优势，主要体现在以下三个方面：StarRocks 从设计之初便面向高速查询进行优化。引入 StarRocks 后，Fanatics 构建了统一的湖仓架构：Iceberg 数据在离线场景中可由 StarRocks 直接查询，实时数据则通过 Kafka 导入 StarRocks 即刻分析，

2025-09-28

9550

标签:

大数据存储

StarRocks 查询优化&执行调度

综上，StarRocks计划对象可以分为两类：查询计划：与查询优化相关的计划树，实现了Optimizer优化执行计划：与执行调度相关的计划树，实现细粒度的MPP执行调度实现流程StarRocks FE 主要有两部分组成：优化器：负责计划树RBO和CBO优化，生成逻辑执行计划调度器：基于逻辑执行计划，设置DOP并发度，选择BE执行节点，构建执行DAG，下发执行实例，获取返回结果等优化器StarRocks 特别的，FragmentInstance在该阶段未生成，将在调度阶段生成调度器StarRocks中Coordinator协调调度器有两类：DefaultCoordinator：核心调度组件，用于FE与BE FragmentInstanceExecState 执行状态流转图：源码分析StarRocks优化器入口Optimizer类，优化器optimizer整体代码结构如下：# 路径 src/main/java 查询优化器深度解析StarRocks 技术内幕：查询原理浅析StarRocks 优化器代码导读StarRocks 查询调度源码解析技术内幕 | StarRocks Pipeline 执行框架（上）

2025-06-22

9090

标签:

StarRocks 物化视图最佳实践

文档：https://docs.starrocks.io/zh/docs/using_starrocks/async_mv/Materialized_view/物化视图管理不同版本对物化视图支持的特性不一样，查看当前StarRocks版本。 /注意事项当前 StarRocks 不对嵌套层数进行限制。 StarRocks 目前无法感知外部数据目录基表数据是否发生变动，所以每次刷新会默认刷新所有分区。您可以通过手动刷新方式指定刷新部分分区。在 v3.1.0 之前，StarRocks 仅支持哈希分桶。您在建表和新增分区时必须设置哈希分桶键（即 DISTRIBUTED BY HASH 子句），否则建表失败。

2025-01-03

2.8K1

标签:

使用FileBeat收集StarRocks日志

背景生产环境中使用StarRocks一般都是多节点，3个fe3个be已经是很小的规模了，出现问题需要查日志的话，6个节点上找日志是比较费劲的，我们希望能够将日志都收集到es，查找方便而且支持搜索，提升排查问题的效率日志类型我们知道StarRocks集群有两种节点类型，fe和be，对应有fe.log和be.log，细分其实还有warn、info、error日志，但是warn和error比较少，这里合并到一起收集。另外，StarRocks是个数据库，所以sql日志也非常重要。日志处理Filebeat配置我们使用的阿里的E-mapreduce，sr日志目录如下filebeat.inputs:- type: log id: ali-starrocks02-be02 enabled : true symlinks: true paths: - /opt/apps/STARROCKS/starrocks-current/be/log/be.INFO multiline.pattern

2023-04-29

1.5K0

标签:

StarRocks 物化视图2 - 查询优化

如果物化视图 join_mv1 仅包含 lineorder 和 customer 的 Join，StarRocks 可以使用 join_mv1 来改写查询。 v3.1+2 物化成功率-- 物化视图成功优化 StarRocks支持将物化视图刷新任务的部分中间结果落盘ALTER MATERIALIZED VIEW mv2 SET ('session.enable_spill

2025-09-15

5520

标签:

分布式数据库 TDSQL

StarRocks 查询加速1 - Bitmap

若过滤效果差，即使创建索引，数据库也会自动跳过（如 StarRocks 的自适应机制）。 StarRocks 的自适应机制StarRocks 会自动判断 Bitmap 索引是否适用：若索引能有效过滤数据且加载开销小，则启用；若索引过滤效果差或加载开销大，则自动跳过，避免影响查询性能。

2025-09-16

4540

标签:

HTAP 数据库 TDSQL-H