大數(shù)據(jù)Hive面試題(一)

面試題四：如何在Hive中實現(xiàn)兩張表的關聯(lián)？對于關聯(lián)操作，若其中一張表為小表，采用map端join加載小表進行聚合。

否：Hive 0.0版本后，簡單查詢無需MapReduce，通過Fetch task直接獲取數(shù)據(jù)。Hive函數(shù)UDF、UDAF、UDTF的區(qū)別？UDF：單行輸入單行輸出。UDAF：多行輸入單行輸出。UDTF：單行輸入多行輸出。理解Hive桶表？桶表：通過哈希值將數(shù)據(jù)分到不同文件存儲，用于抽樣查詢。

Hive支持存儲格式包括TEXTFILE、SEQUENCEFILE、ORC與PARQUET。列式存儲和行式存儲各有特點，列式存儲在查詢少數(shù)字段時效率高，行式存儲在查詢整行數(shù)據(jù)時效率高。

Hive的sort by和order by的區(qū)別在于，order by會進行全局排序，只有一個reduce任務，數(shù)據(jù)量大時處理速度慢；而sort by不進行全局排序，僅保證每個reduce任務內(nèi)的數(shù)據(jù)有序，不能確保全局排序，需設置mapred.reduce.tasks大于1。希望這些關于Hive的面試題能幫助你更好地準備面試。

Hive是由Facebook開源用于解決海量結(jié)構(gòu)化日志的數(shù)據(jù)統(tǒng)計；Hive是基于Hadoop的一個數(shù)據(jù)倉庫，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張表，并提供類SQL查詢功能。Hive的本質(zhì)是將HQL轉(zhuǎn)化成MapReduce程序。數(shù)據(jù)倉庫是為企業(yè)所有級別的決策制定過程，提供所有類型數(shù)據(jù)支持的戰(zhàn)略。

Hive常見面試問題解答 Hive的排序關鍵字主要包括全局排序和局部排序。全局排序（order by）是對整個數(shù)據(jù)進行排序，但只有一個reduce任務處理，處理大數(shù)據(jù)量時效率較低，僅限于升序。

GROUPBY函數(shù)是?

1、groupby函數(shù)主要為分類匯總功能，具備7個參數(shù)，與powerquery及python的pandas功能相似，常用于統(tǒng)計匯總。以往，excel用戶通常依賴sumifs等函數(shù)進行匯總，但這些函數(shù)對數(shù)組支持不足，整表輸出時需通過rows+filter方式，操作繁瑣且效率低。此功能的出現(xiàn)解決了這一痛點，簡化了數(shù)據(jù)匯總流程。

2、總的來說，GROUPBY是Excel的新力量，適合基本的分類匯總需求，但對于大數(shù)據(jù)場景，九數(shù)云等BI更為適合。掌握GROUPBY的使用技巧，你將能在數(shù)據(jù)分析中游刃有余。

3、最后，我們提到groupby函數(shù)，這是一個非常強大且常用的函數(shù)，用于按照一個或多個列對數(shù)據(jù)進行分組，并各種聚合操作，如計算總和、平均值、最大值等。通過groupby函數(shù)，您可以輕松實現(xiàn)基于多個列和指標的分類統(tǒng)計，為數(shù)據(jù)分析提供更深入的見解。

4、GROUPBY函數(shù)是Excel新增的強大功能，適用于基本的分類匯總需求。然而，在處理大數(shù)據(jù)場景時，可能需要考慮使用如九數(shù)云等BI，以獲得更好的性能和用戶體驗。掌握GROUPBY的使用技巧，將極大地提升數(shù)據(jù)分析的效率和準確性。

5、[filter_array]：是否篩選分組依據(jù)，以及篩選什么條件。 總之，groupby函數(shù)提供了靈活的方式來對數(shù)據(jù)進行分類和計算，極大地簡化了數(shù)據(jù)處理的過程。然而，它也有其局限性，特別是在大數(shù)據(jù)量處理和復雜功能實現(xiàn)方面。對于大數(shù)據(jù)量或更復雜的數(shù)據(jù)處理需求，建議使用BI，以更高效地實現(xiàn)分類匯總和數(shù)據(jù)分析。