我有一壶酒，足以慰平生。

0%

发表于 分类于 ， 阅读次数： Disqus：

数据结构与算法

数据结构

线性结构

概述

特点：数据元素之间存在一对一的线性关系。

存储结构：顺序存储结构和链式存储结构。

  • 顺序存储结构：顺序存储的线性表称为顺序表，顺序表中存储的元素是连续的。
  • 链式存储结构：链式存储的线性表称为链表，链表中存储的元素不一定是连续的，元素节点中存放数据元素以及相邻元素的地址信息。
阅读全文 »

发表于 分类于 阅读次数： Disqus：

fisco（v2.6.0）国密环境搭建

安装

使用build_chain脚本在本地搭建一条4节点的FISCO BCOS链

1
2
3
4
5
6
7
8
# Ubuntu安装依赖
sudo apt install -y openssl curl
# centos安装环境
sudo yum install -y openssl openssl-devel
# 准备环境
cd ~ && mkdir -p fisco && cd fisco
# 下载build_chain.sh脚本
curl -#LO https://github.com/FISCO-BCOS/FISCO-BCOS/releases/download/v2.6.0/build_chain.sh && chmod u+x build_chain.sh
阅读全文 »

发表于 更新于 分类于 ， 阅读次数： Disqus：

Presto概述及应用场景

Presto是一种分布式SQL查询引擎，旨在查询分布在一个或多个异构数据源上的大型数据集。例如，查询TB或者PB级别的数据，是查询 HDFS、hive的一个可选项，但同时不局限于 HDFS, presto 适用于 OLAP (On-Line Analytical Processing)联机分析处理) 的场景。presto 并不能用来替代 mysql/pg/oracle，presto 设计的目的也不是用来处理 (OLTP (On-Line Transaction Processing) 联机事务处理) 场景。

阅读全文 »

发表于 分类于 阅读次数： Disqus：

Hadoop集群环境搭建

阅读全文 »

发表于 分类于 阅读次数： Disqus：

Learn Regex


什么是正则表达式 ？

正则表达式是一种被用于从文本中检索符合某些特定模式的文本。

正则表达式是从左到右来匹配一个字符串的。”Regular Expression” 这个词太长了，我们通常使用它的缩写 “regex” 或者 “regexp”。
正则表达式可以被用来替换字符串中的文本、验证表单、基于模式匹配从一个字符串中提取字符串等等。

阅读全文 »

发表于 分类于 阅读次数： Disqus：

Flume

背景

flume是由cloudera软件公司产出的可分布式日志收集系统，后与2009年被捐赠了apache软件基金会，为hadoop相关组件之一。尤其近几年随着flume的不断被完善以及升级版本的逐一推出，特别是flume-ng;同时flume内部的各种组件不断丰富，用户在开发的过程中使用的便利性得到很大的改善，现已成为apache top项目之一。

阅读全文 »

发表于 分类于 阅读次数： Disqus：

Hadoop生态学习之Shell封装脚本

Hadoop

hdfs 创建目录

hadoop-mkdir.sh

1
2
3
4
5
#!/bin/bash
#vi hadoop-mkdir.sh
#在hadoop的bin目录下创建

hadoop fs -mkdir -p $1

测试：

1
hadoop-mkdir.sh /test

image-20200730134326282

hafs 上传

阅读全文 »

发表于 更新于 分类于 阅读次数： Disqus：

Oozie

Oozie简介

Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。

阅读全文 »

发表于 分类于 阅读次数： Disqus：

Sqoop

sqoop概述

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

阅读全文 »

发表于 更新于 分类于 阅读次数： Disqus：

HBase

HBase概念

HBase是一个分布式的、面向列的开源数据库，该技术来源于 Fay Chang 所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

阅读全文 »