精品国产一级在线观看,国产成人综合久久精品亚洲,免费一级欧美大片在线观看

當前位置:數據中心存儲 → 正文

2018年,數據中心存儲的8大變革方向

責任編輯:editor004 作者:litao984lt編譯 |來源:企業網D1Net  2018-01-17 10:24:45 本文摘自:機房360

SSD技術的發展進步將成為2018年影響企業存儲的主要趨勢之一。

在過去的2017年中,全球的存儲行業可以說是經歷了一次過山車般的發展模式,傳統SAN設備的衰落隨著企業組織紛紛對超融合基礎設施、純軟件解決方案和固態硬盤的興趣大漲而抵消。我們看到,隨著SSD固態硬盤對數據中心存儲的性能所帶來的提升,企業已經從硬盤轉向固態硬盤的采用。

在新的2018年,整個業界將繼續以這些趨勢為基礎,并將為數據中心存儲發展藍圖增加諸多新的亮點。而SSD在核心技術、性能、容量和價格這四大方面仍然還將保持迅速的發展。NVMe已經將閃存IOPS和GB /秒帶到了主流應用領域,我們站在了主流通過以太網采用NVMe的邊緣,對存儲系統的未來配置帶來了廣泛的啟示。

供應商們的32TB固態硬盤正在大規模的發貨,而最大的硬盤驅動器則遠遠落后于16TB。隨著3D芯片技術的大幅進步,2018年,我們應該會看到50TB和100TB的驅動器,特別是如果4位存儲單元達到其目標的話。大部分的閃存芯片供應短缺已不復存在,價格應該再次開始下降,盡管需求的增長可能比預期的要快,并相應的會讓價格降低的步伐有所放緩。

除了驅動器本身之外,RAID陣列也將陷入麻煩。由于控制器設計的固有性能瓶頸,超過幾個固態硬盤的處理便會是一個真正的挑戰。同時,本質上是成本架構便宜的商用現成服務器的小型存儲設備滿足了對象存儲和超融合節點的需要。這種遷移正是由諸如Excelero這樣的初創公司所推動的,他們使用基于以太網的NVMe以RDMA速度將驅動器直接連接到集群架構。

近期的業績反映了行業正在轉向COTS(商用現成產品,Commercial-Off-The-Shelf)服務器框架。除NetApp之外,傳統的存儲供應商們的營收都在經歷著個位數的增長,而向云服務提供商們提供大量COTS的原始設計制造商們的營收則共計增長了44%。這種增長的背后是非捆綁存儲軟件的可用性的日益增加。低成本的存儲平臺和軟件的結合正在迅速推動存儲市場的商品化。隨著軟件定義存儲(SDS)開始影響市場,2018年這一趨勢將會進一步加速。

SDS是一個廣泛的概念,但其本質上是從硬件平臺上分離控制和服務軟件。這一概念在網絡和云服務器上非常成功,因此將其擴展到存儲領域不僅是合理的,而且是必需的。我們將在2018年看到更多的SDS解決方案,而且,這一領域的競爭激烈程度將會遠遠超出我們在過去十年中任何一年所經歷的。

NVMe將繼續取代SAS和SATA,成為企業級驅動器的接口。除了節省了CPU開銷,NVMe還支持新的規格的驅動器。2018年我們可以預期2.5英寸規格大小的32TB + SSD的問世,以及使用M.2存儲變種的服務器的問世。這將產生很大的影響。

英特爾推出了一款具有33+ TB容量的M.2規格刀片式驅動器,可以安裝在1U服務器上,并擁有32個插槽。這給我們提供了一款1PB的超高速1U存儲解決方案。其他供應商也同樣都在積極的研發類似密度的產品,這是一大重要的趨勢。存儲盒將變得更小,容量也將變得更大,并且由于SSD技術的發展速度,其性能超過了大部分的HDD陣列。現在,企業數據中心的存儲設備管理人員們可以放心大膽的去找CIO說:“我真的可以縮小數據中心的規模了!”

高性能SSD能夠將重復數據刪除和壓縮數據放在后臺工作。執行這項任務的服務使用存儲驅動器的多余帶寬。對于大多數商業使用案例而言,有效容量是原始容量的5倍以上。總的來說,壓縮技術減少了所需小型設備的數量,使SSD存儲比硬盤便宜得多。

下面,就讓我們來深入探討一下在新的2018年數據中心所有這些存儲趨勢的細節吧。

SSD的性能

高端SSD已經可以實現每秒10GB的吞吐量和數百萬的隨機IOPS。企業和商用SSD之間的性能差異主要在于內部訪問路徑的并行性和NVMe接口的效率。NVMe使用與SATA幾乎相同的PCIe連接,而NVMe的成本大致相同。這推動了向NVMe的遷移,而NVMe已經將SAS作為SSD接口進行了壓縮,并有可能在2018至2019年間實現跨所有SSD的廣泛使用。具有NVMe / PCIe接口的M2.0規格尺寸的固態盤已經上市,與SATA驅動器的價格大致相同。采用NVMe將加速所有固態硬盤,盡管由于并行性,非常高端的硬盤仍然有其優勢。

  SSD容量增加

在2017年9月召開的閃存峰會(Flash Memory Summit 2017)上,供應商們宣布了打造100TB 2.5硬盤的計劃。在2018年,我們可能會看到這些產品的問世,但其容量更有可能是達到了50或64TB,但這已經是當前最大SSD容量的兩倍。這些大容量代表了存儲設備占用空間、功耗和特別是盒子數量的大幅減少,在整個主板,存儲的總體擁有成本(TCO)都將轉移到SSD上。壓縮技術代表了有效容量大約提高了5倍,而32+ TB的SSD固態硬盤甚至已經擊敗了HDD存儲硬盤。

四層單元(即4bit/cell,Quad-Level Cell,QLC)將進一步提高容量,盡管隨著單元中存儲的電壓水平更接近,寫入磨損更為明顯。直到2018年,糾錯和信號處理改進才真正實現,QLC將可能僅僅作為冷數據驅動器使用,這直接挑戰了SATA bulk 3.5驅動器。

究竟每款驅動器多少容量才是足夠的呢?這是一個棘手的問題,因為超大型硬盤改變了使用規則。我們可以就每TB的帶寬進行辯論,但這與冷存儲(cold storage)無關。另一方面,大容量意味著許多NAND芯片,也就意味著更多的并行性和性能,所以這些驅動器也可以作為主驅動器。

諸如驅動器本地NVMe等通過以太網而實現的共享架構,將影響選擇哪個SSD接口。我們可能會看到這些帶有40GbE或更快速端口的硬盤,從而實現高帶寬共享。

  RAID磁盤陣列模式下降加速

RAID正在屈服于全閃存陣列和SSD存儲設備發展的必然性。這些設備對于陣列架構來說太快了。隨著固態硬盤和2.5英寸規格尺寸產品容量的增加,對于既定數量的存儲所需的盒子數量與SSDS相比要少得多。由于全閃存陣列較之RAID陣列的性能優勢,使得SAN模式在業界已經運行了數十年了,所以迄今為止,這一下滑速度一直很緩慢。這可能是由于企業不愿胡亂地修補一些有用的東西,同時更有興趣在昂貴的陣列未折舊的部分獲得回報。我的感覺是,2018年,這一領域將有大的變化,并將出現從RAID到超融合基礎設施和緊湊型存儲設備的更協調一致的轉移。通過RAID擦除編碼的好處將使得這一點得到加強,就像使用數據壓縮技術一樣。

COTS的興起

COTS組件將興起。實際上,在服務器和存儲市場的份額中都在快速增長。對于買方而言,經濟和性能方面的優勢較之專有硬件平臺使其很難受到青睞。COTS模式的影響將在2018年顯著增強。如下這些數據將為這一趨勢提供支持:2017年第三季度,基于COTS的ODM營收增長了44%,而大多數供應商則持平。伴隨著COTS迅速增長將是存儲軟件選項的迅速擴張,這些增長將來自于當前既有的供應商和初創企業。COTS更適合于諸如SDS和HCI等概念。COTS設備易于集成,因為接口和架構符合完全具備互換性的樂高模型。這意味著企業買家不需要大型的整合團隊,尤其是隨著第三方服務可用性的實現和整合。

軟件定義的存儲

軟件定義的存儲被大肆已經炒作了一段時間,其原本最初的價值主張是打造靈活的、可擴展的和低成本的虛擬化存儲服務。去年,由于供應商宣布推出了不少產品,特別是在對象存儲堆棧中,這方面的技術開始成熟。預計這一趨勢將在2018年加速,使硬件成為可互換的商品,并將存儲價值轉移到軟件和解決方案的集成整合上。而與此同時,朝著混合云方向的發展將推動SDS的發展。存儲管理將變得更加自動化,就像云服務器一樣。這將迫使數據中心人員和管理員將變得更明智的,以便能夠獲得所需的相關新技能。

NVMe over Ethernet(NoE)

NVMe over Ethernet(NoE)剛剛進入市場,但其對快速增長的HCI市場所帶來的影響卻非常明顯,以至于其在2018年的普及采用可能會非常強勁。在系統集群中共享所有存儲的理念已經存在一段時間了,但在架構上的性能一直比本地驅動器慢得多,這在一定程度上妨礙了企業用戶采用的興趣。NVMe over Ethernet解決了這個問題。關于NVMe光纖通道 (NVMe over Fibre Channel)有一些討論,當然其也可以在InfiniBand上運行,但是現在可用的以太網解決方案的成本已經便宜很多了,而且數量也很大。與服務器集群的通用性架構是以太網市場的贏家,所以我們可以期待其他解決方案成為該市場獨占的細分市場主導。

預計NVMe over Ethernet SSD驅動器產品將會在2018年下半年推出,從而提供更多的架構靈活性,實現服務器節點與集群和專用驅動器盒共享驅動器,并且都直接連接到光纖陣列。隨著像最新的Snapdragons這樣的ARM64 CPU的出現,我們應該規劃這些驅動器更加智能化,具備包括目標代碼,大數據處理等等功能。

超密集的打包封裝和數據壓縮技術

SSD供應商正在探索使用比2.5英寸硬盤小得多的產品。M2.0已經很普遍,并且正在被延長到新的長度,具備延長的存儲刀片。這些產品的功耗非常小,可以實現高封裝密度。因此,我們可以期待英特爾或將能夠為我們提供具有1PB的 SSD存儲容量的32刀片1U設備。再加上壓縮技術的采用,可以將網絡吞吐量與數據壓縮的數據量相提并論,并且存儲設備可以在1U設備中有效地支持5PB。這將意味著存儲場(storage farm)將一去不復返了,因為所有那些RAID機柜已經過時了。除英特爾以外,其他的供應商們也計劃向同一方向發展,到2019年,存儲和系統將有很大的不同。

NVDIMM

CPU內存總線上的快速訪問持久性內存的理念是一個模式轉換的概念,現在已經真切的到來了。2018年,其將帶來一些短期的影響和長期趨勢,但可以肯定的是,大量企業的IT部門忽視了這一趨勢。在短期內,到2018年,使用閃存的NVDIMM要比使用閃存的SSD要快2倍左右。而Optane將達到4倍或更快。這假定NVDIMM模擬塊I / O設備,看起來像一個驅動器,所以系統文件堆棧被調用,4KB塊被移動。但是,所有NVDIMM都可能是按字節尋址的。基于NAND的解決方案具有SRAM或DRAM緩沖器,在發生電源故障時備份。此外,Optane可以直接編寫。所有這一切打開了將I / O從文件方式轉移到使用單一寄存器存儲器CPU指令和將持久空間作為DRAM一部分的前景。

這項工作需要系統方面的許多變化。操作系統需要知道,某些內存像編譯器,鏈接編輯器和系統工具一樣是持久的。最難的部分是所有使用字節模式的應用都需要在文件I / O區域進行大量的重寫。一些用例(如數據庫)將成為早期采用者,因為這些更改可能會被用戶屏蔽。字節模式需要一些時間才能成為主流,雖然I / O的1000倍性能所帶來的好處將會產生很大的壓力。

關鍵字:數據中心存儲設備PCIE

本文摘自:機房360

x 2018年,數據中心存儲的8大變革方向 掃一掃
分享本文到朋友圈
當前位置:數據中心存儲 → 正文

2018年,數據中心存儲的8大變革方向

責任編輯:editor004 作者:litao984lt編譯 |來源:企業網D1Net  2018-01-17 10:24:45 本文摘自:機房360

SSD技術的發展進步將成為2018年影響企業存儲的主要趨勢之一。

在過去的2017年中,全球的存儲行業可以說是經歷了一次過山車般的發展模式,傳統SAN設備的衰落隨著企業組織紛紛對超融合基礎設施、純軟件解決方案和固態硬盤的興趣大漲而抵消。我們看到,隨著SSD固態硬盤對數據中心存儲的性能所帶來的提升,企業已經從硬盤轉向固態硬盤的采用。

在新的2018年,整個業界將繼續以這些趨勢為基礎,并將為數據中心存儲發展藍圖增加諸多新的亮點。而SSD在核心技術、性能、容量和價格這四大方面仍然還將保持迅速的發展。NVMe已經將閃存IOPS和GB /秒帶到了主流應用領域,我們站在了主流通過以太網采用NVMe的邊緣,對存儲系統的未來配置帶來了廣泛的啟示。

供應商們的32TB固態硬盤正在大規模的發貨,而最大的硬盤驅動器則遠遠落后于16TB。隨著3D芯片技術的大幅進步,2018年,我們應該會看到50TB和100TB的驅動器,特別是如果4位存儲單元達到其目標的話。大部分的閃存芯片供應短缺已不復存在,價格應該再次開始下降,盡管需求的增長可能比預期的要快,并相應的會讓價格降低的步伐有所放緩。

除了驅動器本身之外,RAID陣列也將陷入麻煩。由于控制器設計的固有性能瓶頸,超過幾個固態硬盤的處理便會是一個真正的挑戰。同時,本質上是成本架構便宜的商用現成服務器的小型存儲設備滿足了對象存儲和超融合節點的需要。這種遷移正是由諸如Excelero這樣的初創公司所推動的,他們使用基于以太網的NVMe以RDMA速度將驅動器直接連接到集群架構。

近期的業績反映了行業正在轉向COTS(商用現成產品,Commercial-Off-The-Shelf)服務器框架。除NetApp之外,傳統的存儲供應商們的營收都在經歷著個位數的增長,而向云服務提供商們提供大量COTS的原始設計制造商們的營收則共計增長了44%。這種增長的背后是非捆綁存儲軟件的可用性的日益增加。低成本的存儲平臺和軟件的結合正在迅速推動存儲市場的商品化。隨著軟件定義存儲(SDS)開始影響市場,2018年這一趨勢將會進一步加速。

SDS是一個廣泛的概念,但其本質上是從硬件平臺上分離控制和服務軟件。這一概念在網絡和云服務器上非常成功,因此將其擴展到存儲領域不僅是合理的,而且是必需的。我們將在2018年看到更多的SDS解決方案,而且,這一領域的競爭激烈程度將會遠遠超出我們在過去十年中任何一年所經歷的。

NVMe將繼續取代SAS和SATA,成為企業級驅動器的接口。除了節省了CPU開銷,NVMe還支持新的規格的驅動器。2018年我們可以預期2.5英寸規格大小的32TB + SSD的問世,以及使用M.2存儲變種的服務器的問世。這將產生很大的影響。

英特爾推出了一款具有33+ TB容量的M.2規格刀片式驅動器,可以安裝在1U服務器上,并擁有32個插槽。這給我們提供了一款1PB的超高速1U存儲解決方案。其他供應商也同樣都在積極的研發類似密度的產品,這是一大重要的趨勢。存儲盒將變得更小,容量也將變得更大,并且由于SSD技術的發展速度,其性能超過了大部分的HDD陣列。現在,企業數據中心的存儲設備管理人員們可以放心大膽的去找CIO說:“我真的可以縮小數據中心的規模了!”

高性能SSD能夠將重復數據刪除和壓縮數據放在后臺工作。執行這項任務的服務使用存儲驅動器的多余帶寬。對于大多數商業使用案例而言,有效容量是原始容量的5倍以上。總的來說,壓縮技術減少了所需小型設備的數量,使SSD存儲比硬盤便宜得多。

下面,就讓我們來深入探討一下在新的2018年數據中心所有這些存儲趨勢的細節吧。

SSD的性能

高端SSD已經可以實現每秒10GB的吞吐量和數百萬的隨機IOPS。企業和商用SSD之間的性能差異主要在于內部訪問路徑的并行性和NVMe接口的效率。NVMe使用與SATA幾乎相同的PCIe連接,而NVMe的成本大致相同。這推動了向NVMe的遷移,而NVMe已經將SAS作為SSD接口進行了壓縮,并有可能在2018至2019年間實現跨所有SSD的廣泛使用。具有NVMe / PCIe接口的M2.0規格尺寸的固態盤已經上市,與SATA驅動器的價格大致相同。采用NVMe將加速所有固態硬盤,盡管由于并行性,非常高端的硬盤仍然有其優勢。

  SSD容量增加

在2017年9月召開的閃存峰會(Flash Memory Summit 2017)上,供應商們宣布了打造100TB 2.5硬盤的計劃。在2018年,我們可能會看到這些產品的問世,但其容量更有可能是達到了50或64TB,但這已經是當前最大SSD容量的兩倍。這些大容量代表了存儲設備占用空間、功耗和特別是盒子數量的大幅減少,在整個主板,存儲的總體擁有成本(TCO)都將轉移到SSD上。壓縮技術代表了有效容量大約提高了5倍,而32+ TB的SSD固態硬盤甚至已經擊敗了HDD存儲硬盤。

四層單元(即4bit/cell,Quad-Level Cell,QLC)將進一步提高容量,盡管隨著單元中存儲的電壓水平更接近,寫入磨損更為明顯。直到2018年,糾錯和信號處理改進才真正實現,QLC將可能僅僅作為冷數據驅動器使用,這直接挑戰了SATA bulk 3.5驅動器。

究竟每款驅動器多少容量才是足夠的呢?這是一個棘手的問題,因為超大型硬盤改變了使用規則。我們可以就每TB的帶寬進行辯論,但這與冷存儲(cold storage)無關。另一方面,大容量意味著許多NAND芯片,也就意味著更多的并行性和性能,所以這些驅動器也可以作為主驅動器。

諸如驅動器本地NVMe等通過以太網而實現的共享架構,將影響選擇哪個SSD接口。我們可能會看到這些帶有40GbE或更快速端口的硬盤,從而實現高帶寬共享。

  RAID磁盤陣列模式下降加速

RAID正在屈服于全閃存陣列和SSD存儲設備發展的必然性。這些設備對于陣列架構來說太快了。隨著固態硬盤和2.5英寸規格尺寸產品容量的增加,對于既定數量的存儲所需的盒子數量與SSDS相比要少得多。由于全閃存陣列較之RAID陣列的性能優勢,使得SAN模式在業界已經運行了數十年了,所以迄今為止,這一下滑速度一直很緩慢。這可能是由于企業不愿胡亂地修補一些有用的東西,同時更有興趣在昂貴的陣列未折舊的部分獲得回報。我的感覺是,2018年,這一領域將有大的變化,并將出現從RAID到超融合基礎設施和緊湊型存儲設備的更協調一致的轉移。通過RAID擦除編碼的好處將使得這一點得到加強,就像使用數據壓縮技術一樣。

COTS的興起

COTS組件將興起。實際上,在服務器和存儲市場的份額中都在快速增長。對于買方而言,經濟和性能方面的優勢較之專有硬件平臺使其很難受到青睞。COTS模式的影響將在2018年顯著增強。如下這些數據將為這一趨勢提供支持:2017年第三季度,基于COTS的ODM營收增長了44%,而大多數供應商則持平。伴隨著COTS迅速增長將是存儲軟件選項的迅速擴張,這些增長將來自于當前既有的供應商和初創企業。COTS更適合于諸如SDS和HCI等概念。COTS設備易于集成,因為接口和架構符合完全具備互換性的樂高模型。這意味著企業買家不需要大型的整合團隊,尤其是隨著第三方服務可用性的實現和整合。

軟件定義的存儲

軟件定義的存儲被大肆已經炒作了一段時間,其原本最初的價值主張是打造靈活的、可擴展的和低成本的虛擬化存儲服務。去年,由于供應商宣布推出了不少產品,特別是在對象存儲堆棧中,這方面的技術開始成熟。預計這一趨勢將在2018年加速,使硬件成為可互換的商品,并將存儲價值轉移到軟件和解決方案的集成整合上。而與此同時,朝著混合云方向的發展將推動SDS的發展。存儲管理將變得更加自動化,就像云服務器一樣。這將迫使數據中心人員和管理員將變得更明智的,以便能夠獲得所需的相關新技能。

NVMe over Ethernet(NoE)

NVMe over Ethernet(NoE)剛剛進入市場,但其對快速增長的HCI市場所帶來的影響卻非常明顯,以至于其在2018年的普及采用可能會非常強勁。在系統集群中共享所有存儲的理念已經存在一段時間了,但在架構上的性能一直比本地驅動器慢得多,這在一定程度上妨礙了企業用戶采用的興趣。NVMe over Ethernet解決了這個問題。關于NVMe光纖通道 (NVMe over Fibre Channel)有一些討論,當然其也可以在InfiniBand上運行,但是現在可用的以太網解決方案的成本已經便宜很多了,而且數量也很大。與服務器集群的通用性架構是以太網市場的贏家,所以我們可以期待其他解決方案成為該市場獨占的細分市場主導。

預計NVMe over Ethernet SSD驅動器產品將會在2018年下半年推出,從而提供更多的架構靈活性,實現服務器節點與集群和專用驅動器盒共享驅動器,并且都直接連接到光纖陣列。隨著像最新的Snapdragons這樣的ARM64 CPU的出現,我們應該規劃這些驅動器更加智能化,具備包括目標代碼,大數據處理等等功能。

超密集的打包封裝和數據壓縮技術

SSD供應商正在探索使用比2.5英寸硬盤小得多的產品。M2.0已經很普遍,并且正在被延長到新的長度,具備延長的存儲刀片。這些產品的功耗非常小,可以實現高封裝密度。因此,我們可以期待英特爾或將能夠為我們提供具有1PB的 SSD存儲容量的32刀片1U設備。再加上壓縮技術的采用,可以將網絡吞吐量與數據壓縮的數據量相提并論,并且存儲設備可以在1U設備中有效地支持5PB。這將意味著存儲場(storage farm)將一去不復返了,因為所有那些RAID機柜已經過時了。除英特爾以外,其他的供應商們也計劃向同一方向發展,到2019年,存儲和系統將有很大的不同。

NVDIMM

CPU內存總線上的快速訪問持久性內存的理念是一個模式轉換的概念,現在已經真切的到來了。2018年,其將帶來一些短期的影響和長期趨勢,但可以肯定的是,大量企業的IT部門忽視了這一趨勢。在短期內,到2018年,使用閃存的NVDIMM要比使用閃存的SSD要快2倍左右。而Optane將達到4倍或更快。這假定NVDIMM模擬塊I / O設備,看起來像一個驅動器,所以系統文件堆棧被調用,4KB塊被移動。但是,所有NVDIMM都可能是按字節尋址的。基于NAND的解決方案具有SRAM或DRAM緩沖器,在發生電源故障時備份。此外,Optane可以直接編寫。所有這一切打開了將I / O從文件方式轉移到使用單一寄存器存儲器CPU指令和將持久空間作為DRAM一部分的前景。

這項工作需要系統方面的許多變化。操作系統需要知道,某些內存像編譯器,鏈接編輯器和系統工具一樣是持久的。最難的部分是所有使用字節模式的應用都需要在文件I / O區域進行大量的重寫。一些用例(如數據庫)將成為早期采用者,因為這些更改可能會被用戶屏蔽。字節模式需要一些時間才能成為主流,雖然I / O的1000倍性能所帶來的好處將會產生很大的壓力。

關鍵字:數據中心存儲設備PCIE

本文摘自:機房360

電子周刊
回到頂部

關于我們聯系我們版權聲明隱私條款廣告服務友情鏈接投稿中心招賢納士

企業網版權所有 ©2010-2024 京ICP備09108050號-6 京公網安備 11010502049343號

^
  • <menuitem id="jw4sk"></menuitem>

    1. <form id="jw4sk"><tbody id="jw4sk"><dfn id="jw4sk"></dfn></tbody></form>
      主站蜘蛛池模板: 紫阳县| 徐水县| 镶黄旗| 榆树市| 台中县| 大方县| 赫章县| 安顺市| 怀宁县| 天津市| 临泽县| 确山县| 个旧市| 庆元县| 和田县| 垣曲县| 日照市| 宜昌市| 屏东县| 嘉荫县| 都昌县| 明水县| 富锦市| 邳州市| 平陆县| 云和县| 和龙市| 商水县| 开化县| 南宫市| 阿合奇县| 镇雄县| 新昌县| 湟源县| 上饶市| 彭州市| 罗江县| 蓝山县| 揭东县| 广饶县| 调兵山市|