抛砖引玉
cumtheima · 共 43 篇文章
Hbase模型与框架分享(2)—Hbase简介
(1)定义: HBase : Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。 利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。 (2)HBase是Google Bigtable的开源实现 BigTable HBase 文件存储系统 GFS HDFS 数据处理 MapReduce Hadoop MapReduce 协调服务 Chubby Zookeeper (3)hbase在hadoop生态系统中的位置 其中HBase位于结构化存储层。 Hadoop HDFS为HBase提供了高可靠性的底层存储支持。 Hadoop MapRe…
2014-12-16 21:44 · HBase · 评论(0)
Hbase模型与框架分享(1)—互联网思维
第一,用户思维 “独孤九剑”第一招是总诀式,意思是第一招学不会,后面的招数就很难领悟。互联网思维也一样。互联网思维,第一个,也是最重要的,就是用户思维。用户思维,是互联网思维的核心。其他思维都是围绕用户思维在不同层面的展开。没有用户思维,也就谈不上其他思维。 用户思维,是指在价值链各个环节中都要“以用户为中心”去考虑问题。 以用户为中心,不是刚刚冒出来的概念,很多传统品牌厂商都在叫嚷着“以用户为中心”、“以客户为中心”,或者“以消费者为中心”,为什么在互联网蓬勃发展的今天,用户思维是格外的重要? 因为,互联网消除了信息不对称,使得消费者掌握了更多的产品、价格、品牌方面的信息,互联网的存在使得…
2014-12-16 21:35 · HBase · 评论(0)
sqoop1.4.5的安装
1.下载安装包及解压 sqoop-1.4.5.bin__hadoop-1.0.0.tar.gz 2.配置环境变量和配置文件 cd %SQOOP_HOME% cp conf/sqoop-env-template.sh /conf/sqoop-env.sh 在sqoop-env.sh中添加如下代码: export HADOOP_COMMON_HOME=/home/hadoop/hadoop export HADOOP_MAPRED_HOME=/home/hadoop/hadoop export HBASE_HOME=/home/hadoop/hbase export HIVE_HOME=/hom…
2014-11-27 09:14 · sqoop · 评论(1)
hive学习总结系列—目录导航
hive学习总结(1)—Hive几种数据导入方式 hive学习总结(2)—Hive几种导出数据方式 hive学习总结(3)—从文件中加载执行语句 hive学习总结(4)—hive中所有join hive学习总结(5)—分区、分桶和索引 hive学习总结(6)—hive参数设置方法 hive学习总结(7)—hive性能调优 hive学习总结(8)—hive注意点 hive学习总结(9)—数据库创建、表创建、加载数据
2014-11-25 23:06 · Hive · 评论(0)
hive学习总结(9)—数据库创建、表创建、加载数据
--创建数据库 create database if not exists sopdm comment ‘this is test database’ with dbproperties(‘creator’=’gxw’,’date’=’2014-11-12’) --数据库键值对属性信息 location ‘/my/preferred/directory’; --查看数据库的描述信息和文件目录位置路径信息 describe database sopdm; --查看数据库的描述信息和文件目录位置路径信息(加上数据库键值对的属性信息) describe database extended sopd…
2014-11-25 23:00 · Hive · 评论(0)
hive学习总结(8)—hive注意点
--自动补全功能:tab键 --可以把“设置系统属性变量,增加hadoop分布式内存,自定义hive扩展的jar包”放在“$HOME/.hiverc”文件中 --在hive的CLI中执行bash shell命令,只要在命令前加上!,并且以分号(;)结尾就可以 ! /bin/echo “what up dog”; --在hive中使用hadoop的dfs命令 dfs -ls /; --查看表的存储路径 hive -S -e "set" | grep warehouse; --开启hadoop回收站功能 --删除的数据被转移到HDFS中的/user/$USER/.Trash目录中 -- fs.t…
2014-11-24 19:41 · Hive · 评论(0)
hive学习总结(7)—hive性能调优
limit限制调整 --因为使用limit语句时候,是先执行整个查询语句,然后再返回部分结果的 set hive.limit.optimize.enable=true; set hive.limit.row.max.size=10000; set hive.limit.optimize.limit.file=10; 2.JOIN优化 。。。 3. 本地模式 --hive尝试使用本地模式执行查询,要不然hive会使用MapReduce来执行其他所有的查询 set hive.exec.mode.local.auto=true; 4.并行执行 set hive.exec.parallel=true…
2014-11-24 19:35 · Hive · 评论(0)
hive学习总结(6)—hive参数设置方法
1. 参数声明:在hive的CTL环境中设置(临时) 比如:set hive.fetch.task.conversion=more; 2.命令行设置:使用hadoop命令设置(临时) hive --hiveconf hive.fetch.task.conversion=more; 3.配置文件:--${HIVE_HOME}/conf/hive-site.xml里面加入以下配置(长期) <property> <name>hive.fetch.task.conversion</name> <value>more</value> </property> 4.修改文件$HOME/.hiverc文件(…
2014-11-23 00:29 · Hive · 评论(1)
hive学习总结(5)—分区、分桶和索引
1.分区 分区是以字段的形式在表结构中存在,通过describe table命令可以查看到字段存在, 但是该字段不存放实际的数据内容,仅仅是分区的表示(伪列)。 (1)静态分区 create table if not exists sopdm.wyp2(id int,name string,tel string) partitioned by(age int) row format delimited fields terminated by ',' stored as textfile; --overwrite是覆盖,into是追加 insert into table sopdm.wyp2…
2014-11-23 00:27 · Hive · 评论(2)
hive学习总结(4)—hive中所有join
1. 内连接:inner join --join优化:在进行join的时候,大表放在最后面 --但是使用 /*+streamtable(大表名称)*/ 来标记大表,那么大表放在什么位置都行了 select /*+streamtable(s)*/ s.ymd,d.dividend from stocks s inner join dividends d on s.ymd=d.ymd and s.symbol=d.symbol where s.symbol=’aapl’ 2. 外连接:left outer join,right outer join,full outer join 把外连接(ou…
2014-11-21 11:26 · Hive · 评论(1)
hive学习总结(3)—从文件中加载执行语句
1. 从文件中执行hql语句 hive -f test.hql; 2. 在hive shell中使用source执行脚本 source test.hql; 注:hive执行语句的文件通常使用.hql或.q为后缀名,但不是必须的。
2014-11-21 11:18 · Hive · 评论(2)
hive学习总结(2)—Hive几种导出数据方式
1.拷贝文件 如果数据文件恰好是用户需要的格式,那么只需要拷贝文件或文件夹就可以。 hadoop fs –cp source_path target_path 2.导出到本地文件系统 --不能使用insert into local directory来导出数据,会报错 --只能使用insert overwrite local directory来导出数据 --hive0.11版本之前,只能使用默认分隔符^A(ascii码是\00001) insert overwrite local directory '/home/sopdm/wrk' select id,name,tel,age from…
2014-11-20 15:04 · Hive · 评论(1)
hive学习总结(1)—Hive几种数据导入方式
1.从本地文件系统中导入数据到hive表 (1)数据准备(/home/sopdm/test.dat): 1,wyp,25,13188888888 2,test,30,13899999999 3,zs,34,89931412 (2)首先创建表 use sopdm; drop table if exists sopdm.wyp; create table if not exists sopdm.wyp(id int,name string,age int,tel string) row format delimited fields terminated by ',' stored as tex…
2014-11-20 14:56 · Hive · 评论(1)
StringUtils工具类的常用方法
StringUtils工具类的常用方法 StringUtils 方法的操作对象是 java.lang.String 类型的对象,是 JDK 提供的 String 类型操作方法的补充,并且是 null 安全的(即如果输入参数 String为 null 则不会抛出 NullPointerException ,而是做了相应处理,例如,如果输入为 null 则返回也是 null 等,具体可以查看源代码)。 除了构造器,StringUtils 中一共有130多个方法,并且都是 static 的,所以我们可以这样调用 StringUtils.xxx() 下面分别对一些常用方法做简要介绍: 1. publ…
2014-08-22 16:45 · Java · 评论(0)
DB2的Sequence 对象(2)
1、create CREATE SEQUENCE <sequence-name> AS data-type 默认 As Integer START WITH <numeric-constant> INCREMENT BY <numeric-constant> 默认 INCREMENT BY 1 MINVALUE <numeric-constant> | NO MINVALUE 默认 NO MINVALUE MAXVALUE <numeric-constant> | NO MAXVALUE 默认 NO MAXVALUE NO CYCLE | CYCLE 默认 NO CYCLE CACHE <n…
2014-08-22 16:37 · 关系数据库 · 评论(0)