crdb五层架构

发表于 2017-10-25 | 分类于 cockroachdb

Overview

crdb内部分为五层架构.

crdb arch

SQL Layer: 负责SQL的语法解析,计划的生成与执行。
Transaction Layer: 负责实现分布式事务，提供SI和SSI两种隔离级别。
Distribution Layer: 实现全局排序的map，负责数据的分布规则。
Replication Layer: 通过raft实现数据副本的强一致性。
Storage Layer: 使用RocksDB作为底层存储，包括raft log以及user data的存储。

阅读全文 »

MySQL Processlist state状态查询

发表于 2017-10-20 | 分类于 mysql ， mysql运维

Processlist是DBA排查问题的主要线索，而state就是processlist的心脏指标。

GreatOpenSource> show processlist;
+----+------+-----------------+------+---------+------+---------------------------------+------------------+
| Id | User | Host            | db   | Command | Time | State                           | Info             |
+----+------+-----------------+------+---------+------+---------------------------------+------------------+
|  3 | root | localhost:52618 | test | Query   |    5 | Waiting for table metadata lock | select * from t1 |
|  4 | root | localhost:52919 | test | Query   |    0 | starting                        | show processlist |
+----+------+-----------------+------+---------+------+---------------------------------+------------------+

阅读全文 »

根据setup_instrument的NAME列找到对应意义

发表于 2017-10-19 | 分类于 mysql ， mysql运维

针对memory/sql/TABLE进行举例。

首先从all_server_memory找到对应的NAME名称"TABLE"，

1	{ &key_memory_TABLE, "TABLE", PSI_FLAG_GLOBAL}, /* Table cache */

阅读全文 »

A Critique of Snapshot Isolation

发表于 2017-10-19 | 分类于 paper

正常所说的snapshot isolation只对冲突写进行约束，由于会有write skew一些问题，到不了serialization级别。

阅读全文 »

Lock-free Transactional Support for Distributed Data Stores

发表于 2017-10-17 | 分类于 paper

引言

DBMS的本质是事务，缺少事务支持的只能成为data stores，比如hbase,bigtable等。Google的bigtable缺少跨行事务，导致应用开发负担很大，因此percolator系统在bigtable的基础上实现了分布式事务。

阅读全文 »

crdb loadgen tpcc测试

发表于 2017-10-16 | 分类于 cockroachdb

由于crdb不兼容benchmarksql，只能使用crdb官方的tpcc测试程序loadgen进行测试。

安装loadgen

1
2
3

go get github.com/cockroachdb/loadgen
cd loadgen
make

阅读全文 »

pg10 benchmarksql性能测试结果

发表于 2017-10-16 | 分类于 pg

针对100warehouse进行不同并发的测试，测试程序和pg在一台机器上。

16线程5分钟

13:08:48,025 [Thread-10] INFO   jTPCC : Term-00, Measured tpmC (NewOrders) = 152711.98
13:08:48,025 [Thread-10] INFO   jTPCC : Term-00, Measured tpmTOTAL = 339066.1
13:08:48,026 [Thread-10] INFO   jTPCC : Term-00, Session Start     = 2017-10-15 13:03:48
13:08:48,026 [Thread-10] INFO   jTPCC : Term-00, Session End       = 2017-10-15 13:08:48
13:08:48,026 [Thread-10] INFO   jTPCC : Term-00, Transaction Count = 1695403

阅读全文 »