校招 未知部门 / 数据 / 未知轮次

<h2>携程 大数据底层框架开发 面经回顾</h2> <p><strong>去年秋招拿了携程-大数据底层框架开发岗位的offer，想着还是把面试回顾下吧，给后面的朋友一个参考。</strong></p><p>这个岗位是做大数据组件底层二次开发的，我面试的是偏向离线方面，因此面试都是围绕hadoop、spark、hbase、hive这几个组件的底层原理去问，因为是偏向底层，所以也会注重java语言和多线程并发的知识。</p><ol><li>HDFS的写入流程？如果一台机器宕机，HDFS怎么保证数据的一致性？如果只存活一台机器又会发生什么情况？</li><li>NameNode HA的实现原理？如何避免NameNode脑裂的情况？</li><li>如果数据量比较大，如何解决NameNode 的内存瓶颈？</li><li>MapReduce Shuffle中Reduce是怎么获得Map输出的分区文件，Map主动推还是Reduce主动拉？</li><li>Kafka如何实现顺序消费？</li><li>Spark Streaming消费Kafka的两种方式比较。如何提高Spark Streaming消费Kafka的并行度？</li><li>如何保证Spark Streaming的精准一次性消费？</li><li>项目中Spark Streaming消费Kakfa的offset保存在哪里？为什么不采用checkpoint保存offset，有什么缺点？</li><li>对Spark RDD的理解。</li><li>Spark作业运行流程？（从standalone和yarn两种模式进行阐述）</li><li>项目中Spark采用的那种模式搭建的？为什么采用standalone而不采用yarn模式？</li><li>为什么Spark Shuffle比MapReduce Shuffle快（至少说出4个理由）？</li><li>Spark3新特性</li><li>Java中保证线程安全的方法有哪些？</li><li>一个volatile修饰的变量，如果两个线程同时去写这个变量，线程安全吗？如果不安全该怎么使他变得安全？</li><li>Linux中怎么查看一个进程打开了哪些文件？</li><li>算法题：二叉树非递归中序遍历</li></ol><p>这是三轮技术面里面能回忆起来的了<img src="https://uploadfiles.nowcoder.com/images/20220815/318889480_1660553763490/62AF11E48344D159DA608796DA7D39E5">，先暂时写这些吧</p><a>#大数据开发面经#</a><a>#携程秋招#</a>