大家好，今天來為大家分享redis數(shù)據(jù)類型底層實(shí)現(xiàn)的一些知識(shí)點(diǎn)，和redis數(shù)據(jù)類型的數(shù)據(jù)結(jié)構(gòu)的問題解析，大家要是都明白，那么可以忽略，如果不太清楚的話可以看看本篇文章，相信很大概率可以解決您的問題，接下來我們就一起來看看吧！

redis的持久化方式aod和rdb 底層

redis的持久化方式rdb和aof的底層實(shí)現(xiàn)都是快照模式，即每隔一定時(shí)間，父進(jìn)程會(huì)fork出一個(gè)子進(jìn)程，并保存當(dāng)時(shí)的父進(jìn)程全部數(shù)據(jù)，進(jìn)行快照讀寫，子進(jìn)程會(huì)根據(jù)rbd或aof類型寫入數(shù)據(jù)或操作指令，進(jìn)行持久化

WebSocket是什么原理為什么可以實(shí)現(xiàn)持久連接

首先需要明白：基于TCP的應(yīng)用層協(xié)議，只要設(shè)計(jì)者愿意，都是可以實(shí)現(xiàn)持久連接的。

你問的方式，大概是在和HTTP做比較。

HTTP

http協(xié)議是請(qǐng)求應(yīng)答式的文本協(xié)議，協(xié)議設(shè)計(jì)就是Client-Server模式，出發(fā)點(diǎn)是服務(wù)端為客戶端提供資源。http服務(wù)端只能監(jiān)聽和響應(yīng)來自客戶端的請(qǐng)求，http客戶端只能發(fā)起請(qǐng)求接受響應(yīng)，這個(gè)是HTTP協(xié)議本身的設(shè)計(jì)，雙向通信不在設(shè)計(jì)的考慮之內(nèi)。

關(guān)于Http協(xié)議，額外說點(diǎn)：

HTTP1.0/0.9

不支持keep-alive，要完成一次HTTP請(qǐng)求，需要建立一個(gè)新的TCP連接，然后發(fā)送http請(qǐng)求，待接收響應(yīng)后關(guān)閉連接。

HTTP1.1

默認(rèn)使用keep-alive，一次HTTP請(qǐng)求完成后不會(huì)關(guān)閉TCP連接，會(huì)繼續(xù)為下一個(gè)HTTP請(qǐng)求服務(wù)（可以類比數(shù)據(jù)庫連接池和線程池的設(shè)計(jì)），減小建立和關(guān)閉TCP連接的開銷（三次握手四次揮手）。當(dāng)然閑置超時(shí)后也會(huì)關(guān)閉。并非樓下所說的“把多個(gè)HTTP請(qǐng)求合并為一個(gè)”。

HTTP協(xié)議的設(shè)計(jì)無法實(shí)現(xiàn)對(duì)TCP通道的分用和復(fù)用。因?yàn)镠TTP協(xié)議沒有請(qǐng)求的唯一標(biāo)記（僅僅是URL是不行的，原因大家想）用來從同一TCP通道分離不同的HTTP消息，所以一個(gè)完整的HTTP請(qǐng)求在發(fā)送請(qǐng)求到響應(yīng)回來之間是獨(dú)占一個(gè)TCP通道的！是不是覺得HTTP對(duì)TCP的利用率太低了？而關(guān)于pipeline模式，不管在服務(wù)端還是客戶端排隊(duì)，HTTP響應(yīng)依然要通過進(jìn)入服務(wù)端隊(duì)列的順序返回，這樣才能和客戶端HTTP請(qǐng)求隊(duì)列用順序做對(duì)應(yīng)！所以pipeline模式某個(gè)請(qǐng)求被服務(wù)端因?yàn)槟承┰蜃枞说那闆r下，后續(xù)請(qǐng)求都會(huì)阻塞，會(huì)引起很大的問題，實(shí)際上很少用。

瀏覽器或者一般HTTP客戶端組件為某一個(gè)服務(wù)器端點(diǎn)（域名+端口）保留4-6條活躍TCP連接。你可以F12觀察瀏覽器，看看同時(shí)是幾個(gè)請(qǐng)求阻塞了就知道你的瀏覽器設(shè)置的多少。比較大的門戶網(wǎng)站，比如京東，首頁請(qǐng)求非常多，但是大量都需要排隊(duì)等TCP空閑。限制客戶端的連接數(shù)量的出發(fā)點(diǎn)主要是性能，否則會(huì)占用服務(wù)器太多Socket資源（考慮socket預(yù)留的讀寫緩沖區(qū)，windows的內(nèi)核對(duì)象或者linux的文件句柄）或者變相地造成DoS攻擊。

Tips：HTTP客戶端組件一般會(huì)提供諸如ConnectionLimit的選項(xiàng)讓你控制最大TCP連接數(shù)。如果你是桌面客戶端，或者請(qǐng)求遠(yuǎn)程服務(wù)，不宜設(shè)置過大。如果你是內(nèi)部服務(wù)之間調(diào)用，可以根據(jù)需求合理設(shè)置以增加并發(fā)性能。

HTTP2.0

針對(duì)以上的問題（主要是性能）做了很多改進(jìn)，這個(gè)也會(huì)提高很多人在后端不同服務(wù)器之間做通信時(shí)選擇HTTP（我在HTTP2.0出來之前就是自己設(shè)計(jì)RPC方案）。詳細(xì)的HTTP2.0的東西，這里不展開了，詳細(xì)參考官方文檔。

HTTP相關(guān)知識(shí)推薦《HTTP權(quán)威指南》以及相關(guān)的RFC文檔，盡量少去看博客上面支離破碎的小知識(shí)，體系化的認(rèn)知結(jié)構(gòu)對(duì)你幫助更大。

WebSocket

WebSocket的出現(xiàn)，就是為了解決http協(xié)議不支持雙向通信的缺口。所以WebSocket的握手協(xié)議就是使用的HTTP消息來Upgrade。

現(xiàn)代的Web場景，服務(wù)端推送的需求非常大，這個(gè)發(fā)展過程中使用的Ajax輪詢，Comet等都只是臨時(shí)解決方案，從設(shè)計(jì)上看，只為滿足需求，一點(diǎn)都不優(yōu)雅。

Html5規(guī)范將WebSocket納入后，得到了現(xiàn)代幾乎所有瀏覽器的支持，當(dāng)然IE（10+才支持）仍然是一個(gè)巨坑，在乎用戶覆蓋面的產(chǎn)品依然要通過瀏覽器是否支持ws來做出降級(jí)處理（輪詢、長連接）。

websocket協(xié)議實(shí)現(xiàn)獨(dú)占一條tcp通道，它負(fù)責(zé)從tcp流確定消息邊界，解析出每個(gè)獨(dú)立的消息包。可進(jìn)行全雙工的雙向通信。題主所謂的WebSocket可以實(shí)現(xiàn)持久連接，只是的一個(gè)服務(wù)端WebSocket會(huì)話和對(duì)應(yīng)的客戶端WebSocket會(huì)話在使用一個(gè)固定的保持連接的TCP通信而已。一般需要將服務(wù)端WebSocket會(huì)話和某位用戶關(guān)聯(lián)起來（客戶單連接后，可以再單獨(dú)發(fā)送憑證驗(yàn)證），實(shí)現(xiàn)給某個(gè)用戶推送消息，只需根據(jù)關(guān)聯(lián)找到對(duì)應(yīng)的WebSocket會(huì)話調(diào)用發(fā)送API即可。

應(yīng)用

使用單獨(dú)實(shí)現(xiàn)websocket協(xié)議的服務(wù)\客戶端組件，可以更加輕松地實(shí)現(xiàn)自定義協(xié)議：在websocket的二進(jìn)制或者文本消息體內(nèi)或者直接使用websocket的自協(xié)議定義機(jī)制封裝自己定義的協(xié)議。

推薦大家如果有些需要自建IM服務(wù)器，推送服務(wù)器的場合嘗試先用WebSocket來實(shí)現(xiàn)。負(fù)載高（協(xié)議頭消耗小），協(xié)議簡潔，幾乎所有客戶端（減少了大量的工作）都有對(duì)應(yīng)的開源項(xiàng)目可用，同時(shí)還是唯一可以在瀏覽器上用的雙向通信協(xié)議（flash和silverlight等插件方式除外）。

如果你要用websocket實(shí)現(xiàn)請(qǐng)求應(yīng)答式的子協(xié)議，要點(diǎn)是你要設(shè)計(jì)唯一的請(qǐng)求標(biāo)志，響應(yīng)也將請(qǐng)求標(biāo)志帶回來，然后你就可以從客戶端的請(qǐng)求隊(duì)列中查找響應(yīng)對(duì)應(yīng)的請(qǐng)求將響應(yīng)交給上層處理！

特別注意：

關(guān)于webcket持久連接，本質(zhì)上是下層tcp連接的保持，核心問題同樣是如何?；?。需要考慮Nat失效（基站最突出，一般有效期只有3分鐘）或者其它網(wǎng)絡(luò)原因?qū)е麓罅堪脒B接存在。解決方案就是合理的心跳時(shí)間，一般我設(shè)置為2分50秒的樣子。

其它

不論是否從事網(wǎng)絡(luò)編程，都應(yīng)該花時(shí)間學(xué)習(xí)下TCP/IP協(xié)議簇方面的知識(shí)，著重理解分層原理，各層的功能和為上層提供了哪些功能。就像這個(gè)問題，如果不對(duì)TCP有所了解，回答的內(nèi)容就沒多大意義了。閱讀一個(gè)你比較熟悉的語言的的一種協(xié)議（比如http）實(shí)現(xiàn)項(xiàng)目的源碼，幫助應(yīng)該很大。

和網(wǎng)絡(luò)IO密切相關(guān)的就是線程，要設(shè)計(jì)高可用的TCP服務(wù)器，必須要熟悉多線程。網(wǎng)絡(luò)IO和多線程是我認(rèn)為最重要的兩個(gè)核心知識(shí)點(diǎn)。

關(guān)于協(xié)議的設(shè)計(jì)，你可以多學(xué)習(xí)其他優(yōu)秀的基于TCP實(shí)現(xiàn)的應(yīng)用層協(xié)議，簡單的就有Redis的通信協(xié)議，里面有阻塞式的消費(fèi)者隊(duì)列，那個(gè)就需要一條單獨(dú)的tcp通道。協(xié)議設(shè)計(jì)是很有意思的一件事情，就是mysql和mongodb的通信協(xié)議我也不會(huì)放過，去看看，會(huì)給自己設(shè)計(jì)協(xié)議帶來不少的參考價(jià)值。

如果時(shí)間允許，有標(biāo)準(zhǔn)的協(xié)議最好看看RFC文檔，現(xiàn)在Chrome的翻譯已經(jīng)很好了，如果英文不太好，問題也不大。

關(guān)于TCP/IP相關(guān)的書籍

《計(jì)算機(jī)網(wǎng)絡(luò)：自頂向下方法》和謝希仁的《計(jì)算機(jī)網(wǎng)絡(luò)》都是不錯(cuò)的入門書籍。

《TCP/IP詳解》是經(jīng)典，雖然出版已久，內(nèi)容是沒過時(shí)的。

網(wǎng)絡(luò)應(yīng)用脫離不了操作系統(tǒng)，所以可以再看看操作系統(tǒng)關(guān)于網(wǎng)絡(luò)IO這一塊的設(shè)計(jì)。

實(shí)際開發(fā)更多和Socket以及多線程打交道，Windows下面可以看看《Windows核心編程》。

其它的就是開源項(xiàng)目：Nginx，netty等大量優(yōu)秀的項(xiàng)目都在等你。

還是要感謝大家對(duì)我寫的東西有那么一點(diǎn)感興趣，能對(duì)大家有所幫助就更好了。

Windows電腦上有哪些值得推薦的軟件

小編花了30天，試用超過300款電腦網(wǎng)紅軟件，最終被下面8款軟件，深深吸引住，每個(gè)都堪稱精品中的精品，良心中的良心。

1、火絨（純良心電腦安全衛(wèi)士）

火絨與某安全衛(wèi)士相比，實(shí)屬“國產(chǎn)清流”，小編接觸以來，逢人就推薦，它小巧干凈，免費(fèi)使用，完全沒有廣告，更沒有煩人的彈屏“問候”，它安靜守護(hù)著小編電腦安全，如今已超過180天。

火絨雖然完全免費(fèi)，可電腦防護(hù)方面一點(diǎn)也不含糊，支持病毒查殺、漏洞修復(fù)、系統(tǒng)修復(fù)、垃圾清理、流量監(jiān)控、啟動(dòng)項(xiàng)管理等。

火絨的廣告彈窗攔截功能值得吹爆，如果出現(xiàn)“漏網(wǎng)之魚”，你還能通過自定義截圖攔截功能，將不受歡迎的彈窗關(guān)進(jìn)小黑屋，還你電腦一片清凈。

2、IDM（最強(qiáng)資源下載器，沒有之一）

IDM是一款被網(wǎng)友成為“地表最強(qiáng)”的資源下載器，大小只有10M，下載速度比某雷快，完全免費(fèi)可以白嫖。

對(duì)于IDM而言，萬物皆可下載，不僅支持BT種子下載，還支持網(wǎng)頁視頻、音頻等資源抓取下載，遇到好東西，不想錯(cuò)過？點(diǎn)擊IDM一鍵留住美好。軟件支持批量下載、站點(diǎn)抓取、視頻抓取、直播錄制等，更多優(yōu)秀功能等待大家探索。

3、Eversheet（軟件開發(fā)神器）

Eversheet與WPS頗有淵源，其創(chuàng)建者曾深度參與WPS研發(fā)，因此Eversheet的使用與WPS一樣簡單。

Eversheet還有個(gè)接地氣的中文名叫云表無代碼開發(fā)平臺(tái)，純中文式的操作界面，通過它拖拉拽，畫表格即可完成軟件開發(fā)。

excel用于個(gè)人數(shù)據(jù)記錄問題不大，可是將excel用作企業(yè)管理時(shí)，問題較為突出，數(shù)據(jù)難以整合容易丟失，缺乏協(xié)同管理、缺乏權(quán)限設(shè)置，也極大阻礙了部門間的數(shù)據(jù)交互。

以上難題通過云表的流程審批、在線協(xié)同功能，可以輕松解決。

值得一提，云表還是國內(nèi)唯一可以通過無代碼搭建出工業(yè)級(jí)應(yīng)用的工具，已開發(fā)的系統(tǒng)包括，ERP、WPS、MES、WMS等，國內(nèi)對(duì)于云表的接納程度呈現(xiàn)指數(shù)及增長，例如，中國航天科工集團(tuán)、中國電信、絕味食品、恒逸集團(tuán)、許繼電氣等國內(nèi)龍頭都在使用云表搭建屬于自己的管理系統(tǒng)。

4、Bandizip（解壓神器）

解壓軟件是每臺(tái)電腦必不可少的，可是好用的大多都要付費(fèi)或者捆綁廣告，下面分享的Bandizip可以說是神級(jí)解壓工具，界面整潔，無廣告，口碑極佳。

Bandizip作為一款經(jīng)常被網(wǎng)友“種草”的軟件，功能不僅僅是常規(guī)解壓。例如，智能自動(dòng)解壓功能，這是我最喜歡的功能，選擇“自動(dòng)解壓”即可根據(jù)壓縮包所在目錄層級(jí)自動(dòng)解壓成文件夾，無需選擇解壓去向，同時(shí)避免解壓而導(dǎo)致文件鋪滿屏幕。

另外圖片預(yù)覽功能、損毀壓縮包修復(fù)功能，都屬于Bandizip的實(shí)用功能。

5、HiBitUninstaller（流氓卸載神器）

這是一款流氓軟件卸載神器，大小只有3M，功能卻異常強(qiáng)大。某些捆綁軟件過于流氓，360衛(wèi)士的卸載列表也無法找到，此時(shí)，只要將流氓軟件的圖標(biāo)拉進(jìn)HiBitUninstaller，即可完成卸載，讓人驚喜的是它還能清理注冊(cè)列表，防止流氓軟件死灰復(fù)燃，還你電腦一片清凈。

HiBitUninstaller的功能非常豐富，例如瀏覽器擴(kuò)展工具卸載、強(qiáng)制粉碎、安裝監(jiān)視啟動(dòng)管理、進(jìn)程管理等。

應(yīng)用商店組建管理功能，支持卸載window10自帶卻很少使用的插件。

6、listary（高效啟動(dòng)工具）

listary是一款文件搜索與快速啟動(dòng)程序的神器，雙擊“Ctrl”鍵，就可以調(diào)出它，不管文件與程序藏在哪里，它都能秒搜并打開。

你在使用其他程序，只要雙擊“Ctrl”鍵，就能快速啟動(dòng)它，無需關(guān)閉當(dāng)前窗口，非常方便，效率大增。

istary還有一個(gè)被大家忽略的實(shí)用功能，當(dāng)你打開了很多文件夾窗口，此時(shí)突然同事和你溝通工作，打亂了你的節(jié)奏，你不得不先忙別的事情。

回來時(shí)你已經(jīng)忘了哪個(gè)文件夾正在使用，需要一個(gè)一個(gè)找，費(fèi)時(shí)間、費(fèi)精力，通過它的歷史功能回顧，你能快速找到對(duì)應(yīng)的內(nèi)容，工作銜接再也不會(huì)因?yàn)榇驍_而出現(xiàn)斷片了。

7、PotPlayer

PotPlayer是一款被網(wǎng)友譽(yù)為最好的視頻播放器，它的推廣不需要軟件制作者自己標(biāo)榜，完全靠網(wǎng)友口碑推動(dòng)，免費(fèi)且無廣告，功能異常強(qiáng)大。

PotPlayer啟動(dòng)速度極快，自身體積小不到30M，播放時(shí)占用內(nèi)也小。其軟件內(nèi)置的解碼器，幾乎可以播放任何格式的視頻文件。除了常規(guī)的播放，它豐富的快捷鍵也非常實(shí)用，例如快捷鍵“C”即可實(shí)現(xiàn)視頻加速，最高加速至12倍，畫面完全不卡頓。快捷鍵"X"，實(shí)現(xiàn)視頻減速直至0.2倍?！癈trl+C”組合鍵實(shí)現(xiàn)快速截圖，并可復(fù)制到微信等工具。

8、ScreenToGif

這是一款完全免費(fèi)的gif制作工具，簡潔的操作界面，沒任何廣告，通過它制作的gif不僅體積小而且非常清晰，還支持錄像機(jī)、畫板等實(shí)用功能。

ScreenToGif的操作非常簡單，點(diǎn)擊“錄像機(jī)”，框選出需要錄制的區(qū)域，即可隨心制作出個(gè)性化的gif動(dòng)圖。

以上8款軟件，耗時(shí)30天時(shí)間整理出來，個(gè)個(gè)深入人心，良心之作值得點(diǎn)贊，建議收藏方便往后查閱。

如何學(xué)習(xí)“大數(shù)據(jù)”方面的知識(shí)

個(gè)人觀點(diǎn)：大數(shù)據(jù)不是每個(gè)人都可以學(xué)的，它需要各種基礎(chǔ)知識(shí)和基礎(chǔ)，特別是數(shù)學(xué)和計(jì)算機(jī)基礎(chǔ)知識(shí)，因此大多人知道就可以了，大數(shù)據(jù)實(shí)際上就是數(shù)理統(tǒng)計(jì)和現(xiàn)代信息跟蹤獲取技術(shù)，信息提取技術(shù)與計(jì)算機(jī)進(jìn)行快速實(shí)現(xiàn)計(jì)算的一種信息快速數(shù)據(jù)分析技術(shù)。在信息分類的基礎(chǔ)上實(shí)現(xiàn)所需信息的快速分類統(tǒng)計(jì)，為未來預(yù)測，決策提供決策參考。

利用好了可以造福人類，被敵人利用了，哪好人就要倒霉，所以國家一定要嚴(yán)加控制，控制正確的收集個(gè)人資料信息，和使用，最近幾年的事已經(jīng)充分證明了不少，包括某國高官被定點(diǎn)清除，不要僅僅講好的一面，就像克隆一樣，這才是科學(xué)和科學(xué)家的本質(zhì)。好可怕啊，但愿別被壞人壞利用了，給人民一個(gè)安全的生存環(huán)境，看來很難了，阿門吧！

實(shí)時(shí)數(shù)據(jù)倉庫如何做

3.1.1Lambda架構(gòu)

來自ApacheFlink中文學(xué)習(xí)網(wǎng)站ververica.cn侵權(quán)告知立刪

3.1.2Kappa架構(gòu)

來自ApacheFlink中文學(xué)習(xí)網(wǎng)站ververica.cn侵權(quán)告知立刪

3.1.3實(shí)時(shí)olap變體架構(gòu)

來自ApacheFlink中文學(xué)習(xí)網(wǎng)站ververica.cn侵權(quán)告知立刪

3.1.4常見架構(gòu)對(duì)比

來自ApacheFlink中文學(xué)習(xí)網(wǎng)站ververica.cn侵權(quán)告知立刪

ps:lambda架構(gòu)

開發(fā)割裂感：

?表結(jié)構(gòu)不同

?sql語法不同

資源浪費(fèi)：

?重復(fù)計(jì)算

?重復(fù)存儲(chǔ)

集群維護(hù)：

?組件不同

?計(jì)算引擎不同

數(shù)據(jù)一致性

3.2實(shí)時(shí)數(shù)倉架構(gòu)

3.2.1方案一

優(yōu)點(diǎn)：

?便于數(shù)據(jù)回溯、重算和數(shù)據(jù)質(zhì)量驗(yàn)證。

缺點(diǎn)：

?通過批處理重算，需要維護(hù)兩套代碼，開發(fā)和維護(hù)成本高。

?需要兩套計(jì)算資源

適用場景：

?超大規(guī)模歷史數(shù)據(jù)計(jì)算，且這種場景比較頻繁。

?對(duì)數(shù)據(jù)質(zhì)量要求極高，需要比對(duì)實(shí)時(shí)和離線的計(jì)算結(jié)果，甚至利用離線去修正實(shí)時(shí)的計(jì)算結(jié)果。

3.2.2方案二

優(yōu)點(diǎn)：

?無需維護(hù)兩套代碼，開發(fā)迭代速度快。

?數(shù)據(jù)回溯和重算方便，重算時(shí)間根據(jù)需求回溯的時(shí)間范圍定。

?只需流計(jì)算資源，資源占用小

缺點(diǎn)：

?ODS\DWD部分?jǐn)?shù)據(jù)“不可見”，原始數(shù)據(jù)和中間數(shù)據(jù)不便于查詢（解決方案：可通過重新消費(fèi)指定時(shí)間范圍的數(shù)據(jù)查詢，或?qū)胄枰臄?shù)據(jù)到olap引擎）

?依賴業(yè)務(wù)端反饋問題（解決方案：設(shè)計(jì)數(shù)據(jù)質(zhì)量監(jiān)控指標(biāo)，實(shí)時(shí)監(jiān)控報(bào)警）

適用場景：

ODS\DWD查詢不頻繁等

3.2.3方案三

相對(duì)于方案二：

?增加ODS層落地hive，排查分析原始數(shù)據(jù)比較方便，恢復(fù)歷史數(shù)據(jù)的時(shí)候可獲取hive數(shù)據(jù)寫入kafka，然后按原流處理的邏輯重新處理即可，只需修改數(shù)據(jù)源為歷史數(shù)據(jù)對(duì)應(yīng)的topic。

?需新增kafka寫入hive邏輯

?需新增從hive讀取數(shù)據(jù)寫入kafka

?需新增整條鏈路歷史數(shù)據(jù)對(duì)應(yīng)的topic

OK，本文到此結(jié)束，希望對(duì)大家有所幫助。