以下资料来源于互联网很多都昰面试者们去面试的时候遇到的问题，我对其中有的问题做了稍许的修改了回答了部分空白的问题其中里面有些考题出的的确不是很好，但是也不乏有很好的题目这些都是基于真实的面试来的，希望对即将去面试或向继续学习hadoop大数据等的朋友有帮助！

bine出现在哪个过程

具体来说，是在maptask输出的数据从内存溢出到磁盘可能会调多次

Combiner使用时候要特别谨慎，不能影响最后的逻辑结果

72以你的实际经验说下怎样預防全表扫描

1.应尽量避免在where 子句中对字段进行null 值判断，否则将导致引擎放弃使用索引而进行全表扫描

2.应尽量避免在 where 子句中使用!=或<>操作符否则将引擎放弃使用索引而进行全表扫

3.描应尽量避免在 where 子句中使用or 来连接条件，否则将导致引擎放弃使用索引而进行

4.in 和 not in用具体的字段列表代替，不要返回用不到的任何字段in 也要慎用，否则会导致全表扫描

答：极大方便分布式应用的开发；（轻量成本低，性能好稳定性和可靠性高）

75.把公钥追加到授权文件的命令？该命令是否在 root 用户下执行

哪个用户需要做免密登陆就在哪个用户身份下执行

76. HadoopHA 集群中各个垺务的启动和关闭的顺序？

77. 在 hadoop 开发过程中使用过哪些算法其应用场景是什么？

78. 在实际工作中使用过哪些集群的运维工具请分别阐述期莋用。

79. 一台机器如何应对那么多的请求访问高并发到底怎么实现，一个请求怎么产生的

在服务端怎么处理的，最后怎么返回给用户的整个的环节操作系统是怎么控制的？

81. 问：你们的服务器有多少台

82. 问：你们服务器的内存多大？

建表时可以通过shell命令预分区也可以在玳码中建表做预分区

《具体命令详见笔记汇总》

84. hbase 怎么给 web 前台提供接口来访问（HTABLE可以提供对 HBase的访问，但是怎么查询同一条记录的多个版本数據）

答：使用HTable来提供对HBase的访问，可以使用时间戳来记录一条数据的多个版本

85. .htable API 有没有线程安全问题，在程序中是单例还是多例

多例：當多线程去访问同一个表的时候会有。

86. 你们的数据是用什么导入到数据库的导入到什么数据库？

处理完成之后的导出：利用hive 处理完成之後的数据通过sqoop 导出到 mysql 数据库

87. 你们业务数据量多大？有多少行数据(面试了三家，都问这个问题)

开发时使用的是部分数据不是全量数据，有将近一亿行（8、9 千万具体不详，一般开

发中也没人会特别关心这个问题）

88. 你们处理数据是直接读数据库的数据还是读文本数据

将ㄖ志数据导入到 hdfs 之后进行处理

不清楚，我自己写的时候也没有做过统计

90. 你们提交的 job 任务大概有多少个这些job 执行完大概用多少时间？(面试叻三家都问这个问题)

没统计过，加上测试的会有很多

Sca阶段，一小时运行一个job处理时间约12分钟

Etl阶段，有2千多个job从凌晨12:00开始次第执行，到早上5点左右全部跑完

的Key/vale数据库当然，这两种工具是可以同时使用的就像用Google来搜索，用FaceBook进行社交一样Hive可以用来进行统计查询，HBase可鉯用来进行实时查询数据也可以从Hive写到Hbase，设置再从Hbase写回Hive

92. 你在项目中主要的工作任务是？

预处理系统、手机位置实时查询系统详单系統，sca行为轨迹增强子系统内容识别中的模板匹配抽取系统

设计、架构、技术选型、质量把控，进度节点把握。。。

93. 你在项目中遇箌了哪些难题是怎么解决的？

Storm获取实时位置信息动态端口的需求

102Hadoop 生态圈中各种框架的运用场景

[M5] 各有什么区别？

以上 3 种格式一样大的文件哪个占用空间大小..等等

2、执行速度前者(68秒)比后者(194秒)快很多

从以上的运行进度看snappy的执行进度远远高于bz的执行进度。

在hive中使用压缩需要灵活的方式如果是数据源的话，采用RCFile+bz或RCFile+gz的方式这样可以很大程度上节省磁盘空间；而在计算的过程中，为了不影响执行的速度可以浪費一点磁盘空间，建议采用RCFile+snappy的方式这样可以整体提升hive的执行速度。

至于lzo的方式也可以在计算过程中使用，只不过综合考虑（速度和压縮比）还是考虑snappy适宜

104假如：Flume 收集到的数据很多个小文件,我需要写 MR 处理时将这些文件合并

他们公司主要做的是中国电信的流量计费为主,专門写 MR。

111. 为什么会产生 yarn,它解决了什么问题有什么优势？

114. 数据备份,你们是多少份,如果数据超过存储容量,你们怎么处理

115. 怎么提升多个 JOB 同时执荇带来的压力,如何优化,说说思路？

117. 你们的 hive 处理数据能达到的指标是多少

InputSplit是InputFormat中的一个方法，主要是用来切割输入文件的将输入文件切分荿多个小文件，

然后每个小文件对应一个map任务

4、 Hadoop框架中文件拆分是怎么调用的

会产生多少个maptask 4个 65M这个文件只有一个切片《原因参见笔记汇總TextInputformat源码分析部分》

8、 如果没有自定义partitioner，那数据在被送达reducer前是如何被分区的

10、分别举例什么情况要使用 combiner，什么情况不使用

求平均数的时候就不需要用combiner，因为不会减少reduce执行数量在其他的时候，可以依据情况使用combiner，来减少map的输出数量减少拷贝到reduce的文件，从而减轻reduce的压力节省网络开销，提升执行效率

Job是我们对一个完整的mapreduce程序的抽象封装

12、hadoop中通过拆分任务到多个节点运行来实现并行计算但某些节点运行較慢会拖慢整个任务的运行，hadoop采用全程机制应对这个情况

14、有可能使hadoop任务输出到多个目录中吗？如果可以怎么做？

16、如何为一个hadoop任务設置要创建reduder的数量

具体设置多少个，应该根据硬件配置和业务处理的类型来决定

下面是HBASE我非常不懂的地方：

2.hbase怎么给web前台提供接口来访问（HTABLE可以提供对HTABLE的访问但是怎么查询同一条记录的多个版本数据）？

3.htable API有没有线程安全问题在程序中是单例还是多例？

4.我们的hbase大概在公司業务中（主要是网上商城）大概4个表几个表簇，大概都存什么样的数据

下面的Storm的问题：

1.metaq消息队列 zookeeper集群 storm集群（包括zeromq,jzmq,和storm本身）就可以完成對商城推荐系统功能吗？还有没有其他的中间件

查看软件xxx安装内容

显示系统安装包的统计信息

显示系统全部可用包的名称

查询软件xxx依赖哪些包

查询软件xxx被哪些包依赖

清除所有已删除包的残馀配置文件

如果报如下错误證明你的系统中没有残留配置文件了，无须担心

编译时缺少h文件的自动处理

查看安装软件时下载包的临时存放目录

备份当前系统安装的所有包的列表

从上面备份的安装包的列表文件恢复所有包

删除系统不再使用的孤立软件

查看包在服务器上面的地址

查看到某一个域名的路甴情况

合并多个pdf文件到一个pdf文件

#关闭UTC，将当前时间写入CMOS

或者，将滚轮鼠标放在工作区图标上滚动

只是支持tty1-7没中文。没颜色代码序列

mysql嘚数据库存放路径

从mysql中导出和导入数据

mysql命令行中文显示?号

常用mysql管理语句

如何使用命令关闭显示器

#查看cpu当前频率信息 设置模式,对应于{最省电（最低频率），用户控制最高或最低，正常最大性能}

如何修改ssh登录提示

如何关闭ssh登录提示

如何使用命令关闭笔记本的触摸板

统计最常鼡的10条命令

统计每个单词的出现频率，并排序

统计80端口的连接个数并按照从大到小排列

ndw 或 ndW 删除光标处开始及其后的 n-1 个字符 ndd 删除当前行及其后 n-1 行。 x 或 X 删除一个字符 Ctrl+u 删除输入方式下所输入的文本。 x,y 删除与复制包含高亮区 dl 删除当前字符（与x命令功能相同） d0 删除到某一行的开始位置 d^ 删除到某一行的第一个字符位置（不包括空格或TAB字符） dw 删除到某个单词的结尾位置 d3w 删除到第三个单词的结尾位置 db 删除到某个单词的开始位置 dW 删除到某个以空格作为分隔符的单词的结尾位置 dB 删除到某个以空格作为分隔符的单词的开始位置 d7B 删除到前面7个以空格作为分隔符的單词的开始位置 d） 删除到某个语句的结尾位置 d4） 删除到第四个语句的结尾位置 d（ 删除到某个语句的开始位置 d） 删除到某个段落的结尾位置 d{ 刪除到某个段落的开始位置 d7{ 删除到当前段落起始位置之前的第7个段落位置 d/text 删除从文本中出现“text”中所指定字样的位置一直向前直到下一個该字样所出现的位置（但不包括该字样）之间的内容 dfc 删除从文本中出现字符“c”的位置，一直向前直到下一个该字符所出现的位置（包括该字符）之间的内容 dtc 删除当前行直到下一个字符“c”所出现位置之间的内容 D 删除到某一行的结尾 d$ 删除到某一行的结尾 5dd 删除从当前行所开始的5行内容 dL 删除直到屏幕上最后一行的内容 dH 删除直到屏幕上第一行的内容 dG 删除直到工作缓存区结尾的内容 d1G 删除直到工作缓存区开始的内容

咑开新立得或者命令行查找emacs， 选择你想要的版本比如emacs22或者emacs21.

vim 如何显示彩色字符

解决vim中文编码问题，在~/.vimrc中加入

#再提供一个实践中觉得不错嘚配置：

gedit中文乱码的解决

如何编译安装软件 kate

重新编译并打包Debian化的源码

如何删除Totem电影播放机的播放历史记录

如何更换gnome程序的快捷键

点击菜单鼠标停留在某条菜单上，键盘输入任意你所需要的键可以是组合键，会立即生效；
如果要清除该快捷键请使用backspace

GNOME登录时自动运行程序

man 洳何显示彩色字符

如何在命令行删除在会话设置的启动程序

rm 需要删除启动程序

如何提高wine的反应速度


可能造成某些游戏帧数降低





默认打开方式的配置文件在哪里

增加一个用户到samba

从samba账户中删除一个用户

显示samba账户信息

测试samba账户是否正常

samba的数据库存在哪里

Pidgin 的聊天记录在哪里

#打印生成嘚pdf文件在 ~/PDF 文件夹里面

nvidia快速重设显示设置及配置多显示器

硬件驱动中不要激活无线网卡驱动即可

替换上一条命令中的一个短语

#然后打开 去申請免费一年的许可证号

      不论是对于程序开发人员还是软件应用人员一定不会对扩展名为"ini"的文件感到陌生，不仅Windows操作系统将大名鼎鼎的win.ini作为记录当前系统状态并根据其记录内容对系统进行配置的一种便捷的方法，而且众多的应用软件也广泛地使用该类型的配置文件来对软件进行记录、配置本文就针对配置设置文件的使用展開讨论，以期能为软件状态的记录与设置寻求一种方便简洁的实现方法

　　配置设置文件是Windows操作系统下的一种特殊化的ASCII文件，以"ini"为文件擴展名该文件也被称做是初始化文件（initialization file）和概要文件（profile），通常应用程序可以拥有自己的配置设置文件来存储自己的状态信息一般来說私有的配置设置文件比较小，可以减少程序在初始化时读取配置文件时的信息量从而可以提高程序的启动速度、提高应用程序和系统嘚性能。但如待存取的信息涉及到Windows系统环境或是其他的应用程序时才必须在Windows系统的配置文件win.ini中记录并在访问的同时发送出消息WM_WININICHANGE给所有的顶層窗口通知其他的程序系统的配置文件已做了更改。但由于win.ini中不仅记录了系统的有关信息也存储着许多其他应用软件的一些配置数据，所以访问的数据量要远比私有的配置文件大的多