merge upstream

Author: 00k

LICENSE

@@ -1,4 +1,4 @@
-Copyright (c) 2015, Baidu.com, Inc.
+Copyright (c) 2015, Baidu, Inc.
 All rights reserved.
 
 Redistribution and use in source and binary forms, with or without
@@ -11,7 +11,7 @@ modification, are permitted provided that the following conditions are met:
   this list of conditions and the following disclaimer in the documentation
   and/or other materials provided with the distribution.
 
-* Neither the name of the Baidu.com, Inc. nor the names of it
+* Neither the name of the Baidu, Inc. nor the names of it
   contributors may be used to endorse or promote products derived from
   this software without specific prior written permission.
 

Makefile

@@ -14,7 +14,7 @@ INCPATH += -I./src -I./include -I./src/leveldb/include -I./src/leveldb $(DEPS_IN
 LDPATH += -L./src/leveldb $(DEPS_LDPATH)
 CFLAGS += $(OPT) $(INCPATH)
 CXXFLAGS += $(OPT) $(INCPATH)
-LDFLAGS += $(LDPATH) -rdynamic -lleveldb $(DEPS_LDFLAGS) -lpthread -lrt -lz -ldl
+LDFLAGS += -rdynamic $(LDPATH) -lleveldb $(DEPS_LDFLAGS) -lpthread -lrt -lz -ldl
 
 PROTO_FILES := $(wildcard src/proto/*.proto)
 PROTO_OUT_CC := $(PROTO_FILES:.proto=.pb.cc)
@@ -51,10 +51,11 @@ LIBRARY = libtera.a
 .PHONY: all clean cleanall test
 
 all: $(PROGRAM) $(LIBRARY)
-	mkdir -p build/include build/lib build/bin
+	mkdir -p build/include build/lib build/bin build/log
 	cp $(PROGRAM) build/bin
 	cp $(LIBRARY) build/lib
 	cp src/sdk/tera.h build/include
+	cp -r conf build
 	echo 'Done'
 
 test:

README.md

@@ -2,7 +2,7 @@
 ====
 [![Build Status](https://travis-ci.org/BaiduPS/tera.svg)](https://travis-ci.org/BaiduPS/tera)
 
-Copyright 2015, Baidu.com, Inc.
+Copyright 2015, Baidu, Inc.
 
 #Overview
 Tera是一个高性能、可伸缩的数据库系统，被设计用来管理搜索引擎万亿量级的超链与网页信息。为实现数据的实时分析与高效访问，我们使用按行键、列名和时间戳全局排序的三维数据模型组织数据，使用多级Cache系统，充分利用新一代服务器硬件大内存、SSD盘和万兆网卡的性能优势，做到模型灵活的同时，实现了高吞吐与水平扩展。

build.sh

@@ -47,8 +47,9 @@ make install
 cd -
 
 # sofa-pbrpc
-git clone https://github.com/BaiduPS/sofa-pbrpc
-cd sofa-pbrpc
+wget --no-check-certificate -O sofa-pbrpc-1.0.0.tar.gz https://github.com/BaiduPS/sofa-pbrpc/archive/v1.0.0.tar.gz
+tar xvf sofa-pbrpc-1.0.0.tar.gz
+cd sofa-pbrpc-1.0.0
 sed -i '/BOOST_HEADER_DIR=/ d' depends.mk
 sed -i '/PROTOBUF_DIR=/ d' depends.mk
 sed -i '/SNAPPY_DIR=/ d' depends.mk

conf/tera.flag

@@ -0,0 +1,18 @@
+# common
+--log_dir=../log
+--v=6
+--logbufsecs=0
+
+# master
+--tera_master_port=1100
+--tera_master_split_tablet_size=2048
+
+# tablet node
+--tera_tabletnode_port=2200
+--tera_tabletnode_path_prefix=${dfs_prefix}
+--tera_tabletnode_cache_paths=${local_path}
+
+# zk 
+--tera_zk_addr_list=${zk_addr}
+--tera_zk_root_path=${zk_root}
+--tera_zk_timeout=10000

depends.mk

@@ -45,4 +45,4 @@ DEPS_LDPATH = -L$(SOFA_PBRPC_LIBDIR) -L$(PROTOBUF_LIBDIR) \
               -L$(GFLAGS_LIBDIR) -L$(GLOG_LIBDIR) \
               -L$(GPERFTOOLS_LIBDIR)
 DEPS_LDFLAGS = -lsofa-pbrpc -lprotobuf -lsnappy -lzookeeper_mt \
-               -lgflags -lglog -ltcmalloc -lunwind
+               -lgflags -lglog -ltcmalloc

doc/README.md

@@ -18,3 +18,16 @@
 [命令行工具使用手册](https://github.com/BaiduPS/tera/blob/master/doc/teracli.md)
 
 [tera实现之master、ts、client的交互](https://github.com/BaiduPS/tera/blob/master/doc/master-ts-client-interactive.md)
+
+## TodoList
+1. Master的设计与实现（职责、功能、每个功能怎么实现的、为什么这么实现、还有哪些遗留问题）
+2. Tabletserver设计与实现
+3. SDK的结构化文档（可折叠，可搜索，类是windows的帮助）
+4. 性能数据，不同场景下的测试数，瓶颈分析
+5. 性能方面设计折衷（怎样实现的高性能随机读写）
+6. 数据模型的详细介绍
+  * cf的使用建议  
+  * 各种删除的语义  
+  * 多版本保留机制
+7. 监控系统的安装和使用
+8. 快速、低成本Split&Merge的实现原理

doc/master-ts-client-interactive.md

@@ -1,40 +1,34 @@
-# 通信
-
-## 通信协议
-
+# 通信协议  
 使用protobuf定义通信协议，参见`src/proto/`.
 
-# meta表
-
-## meta表的加载
+# meta表  
+meta表的加载：  
 master找到meta表(meta表持久化存储的位置是约定好的，大家都知道的)，
 选择某个ts加载meta表，然后将载有meta表的ts位置[ip:port]记录在zk下约定好的文件中。
 
-## client如何获取meta表？
+client如何获取meta表？  
 参考[meta表的加载]，从zk读取某个特定文件就可以知道哪个ts加载了meta表，进而访问meta表。
 
 # 系统启动(和三者交互有关的部分)
+**ts的启动**  
+* 在zk上注册特定文件  
+* 在该文件中写入自身[ip:port]
 
-## ts的启动
-1. 在zk上注册特定文件
-1. 在该文件中写入自身[ip:port]
-
-## master的启动
-1. 通过zk获取master锁
-1. 扫描特定目录发现活跃状态的ts
-1. 与每个ts通信获取已经被载入的tablet列表
-1. 如果meta表未载入，则master命令某个ts载入meta表
-1. 读取meta表，获知所有tablet的信息以及未被载入的tablet集合
+**master的启动**  
+* 通过zk获取master锁
+* 扫描特定目录发现活跃状态的ts
+* 与每个ts通信获取已经被载入的tablet列表
+* 如果meta表未载入，则master命令某个ts载入meta表
+* 读取meta表，获知所有tablet的信息以及未被载入的tablet集合
 
 # 寻址
-
-## client如何获知某个tablet在哪个ts上？
+**client如何获知某个tablet在哪个ts上？**  
 先访问meta表，然后根据meta表的内容知道某个tablet在哪个ts上。
 
-## client如何获知master位置？
+**client如何获知master位置？**  
 master启动时会在zk上的master锁中记下自己的位置[ip:port].
 
-## master如何获知ts的信息？
+**master如何获知ts的信息？**  
 参考master的启动，可以获知master初始化时各个ts的状态(例如位置[ip:port])，
 
 通过zk获知ts的加入或退出。