我有一壶酒,足以慰平生。

0%

fisco(v2.6.0)国密环境搭建

安装

使用build_chain脚本在本地搭建一条4节点的FISCO BCOS链

1
2
3
4
5
6
7
8
# Ubuntu安装依赖
sudo apt install -y openssl curl
# centos安装环境
sudo yum install -y openssl openssl-devel
# 准备环境
cd ~ && mkdir -p fisco && cd fisco
# 下载build_chain.sh脚本
curl -#LO https://github.com/FISCO-BCOS/FISCO-BCOS/releases/download/v2.6.0/build_chain.sh && chmod u+x build_chain.sh
阅读全文 »

Presto概述及应用场景

Presto是一种分布式SQL查询引擎,旨在查询分布在一个或多个异构数据源上的大型数据集。例如,查询TB或者PB级别的数据,是查询 HDFS、hive的一个可选项,但同时不局限于 HDFS, presto 适用于 OLAP (On-Line Analytical Processing)联机分析处理) 的场景。presto 并不能用来替代 mysql/pg/oracle,presto 设计的目的也不是用来处理 (OLTP (On-Line Transaction Processing) 联机事务处理) 场景。

阅读全文 »

Hadoop集群环境搭建

阅读全文 »


Learn Regex


什么是正则表达式 ?

正则表达式是一种被用于从文本中检索符合某些特定模式的文本。

正则表达式是从左到右来匹配一个字符串的。”Regular Expression” 这个词太长了,我们通常使用它的缩写 “regex” 或者 “regexp”。
正则表达式可以被用来替换字符串中的文本、验证表单、基于模式匹配从一个字符串中提取字符串等等。

阅读全文 »

Flume

背景

flume是由cloudera软件公司产出的可分布式日志收集系统,后与2009年被捐赠了apache软件基金会,为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出,特别是flume-ng;同时flume内部的各种组件不断丰富,用户在开发的过程中使用的便利性得到很大的改善,现已成为apache top项目之一。

阅读全文 »

Hadoop生态学习之Shell封装脚本

Hadoop

hdfs 创建目录

hadoop-mkdir.sh

1
2
3
4
5
#!/bin/bash
#vi hadoop-mkdir.sh
#在hadoop的bin目录下创建

hadoop fs -mkdir -p $1

测试:

1
hadoop-mkdir.sh /test

image-20200730134326282

hafs 上传

阅读全文 »

Oozie

Oozie简介

Oozie英文翻译为:驯象人。一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。

阅读全文 »

Sqoop

sqoop概述

Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。

阅读全文 »

HBase

HBase概念

HBase是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

阅读全文 »

Zookeeper

概念

Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目。

Zookeeper从设计模式角度来理解:是一个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化,Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应,从而实现集群中类似Master/Slave管理模式。

阅读全文 »