传统的块存储和文件存储无法满足字节跳动的需求,分布式存储结构的对象存储可以缓解字节跳动的压力,因为ZB级存储规划的重点是如何降低存储成本。由于我的工作性质,我不得不做一名文件服务器。这几年用了很多软件,Serv-U,百度云盘(最开始有自动云同步功能),win系统自带的FTP文件服务器,路由器硬盘组合,黑群汇,OneDrive等等。
局域网内如何打造一个类似360网盘的文件服务器?
很好实现,我用的是玩客云 1T机械硬盘的组合,非常好用。由于工作性质要求,我必须做一个文件服务器,这几年用过很多软件,比如Serv-U、百度云盘(起初有云自动同步功能的)、win系统自带FTP文件服务器、路由器 硬盘组合、黑群晖、OneDrive等等。经过层层筛选,目前使用的是玩客云 1T硬盘组合,实际体验非常棒。
方法如下:材料:玩客云1台(咸鱼几十大洋入手一个二手的),硬盘1T以上的自备;1、玩客云接上硬盘,插电,进入玩客云app设置参数;2、在玩客云的设备信息里,查看玩客云的IP地址;3、局域网内每个人的电脑,在运行里输入刚才的IP地址;4、在弹出的窗口里,就是连接玩客云的硬盘,所共享的磁盘空间,在其上右键,选择“映射网络驱动器”:5、你会发现磁盘列表里出现了玩客云硬盘的盘符:6、如此设置后,每个人的电脑都会有这样的一个盘符,任何一个人都可以把资料随时放进这个盘里,也可以随时从盘里读取任何资料,资料的读取是实时的,没有任何延误,和D盘等本地盘没有任何区别。
这个方法还有一个优点,手机app可以随时将手机里的文件、图片、文档等资料,上传到玩客云硬盘里,这样的优点是,局域网内各个电脑,可以即时收到手机上传来的资料。相比较刚开始说的那几种方法,这个组合方式,成不并不大,操作却非常简单,而且根据我这2年来使用感受,非常稳定。所以,玩客云 机械硬盘,可以完美实现局域网内的文件服务器。
每天产生这么多的视频,头条的存储服务器得多大空间?会不会有存储极限?
电脑的存储空间不够就加硬盘呗,头条的存储服务器也是一样的方式扩容。字节跳动在2020年春季招聘广告中披露:拥有42万 台服务器,每天新增存储30PB。PB是个什么概念?计算机的存储单位一般有B、KB、MB、GB、TB、PB、EB、ZB、YB、BB,它们之间的换算关系如下:1KB=1024B;1MB=1024KB;1GB=1024MB;1TB=1024GB;1PB=1024TB;后面的以此类推。
字节跳动基础架构部门各技术团队曾经在2020年初发文介绍过字节跳动的特色HDFS。从集群规模和数据量来说,字节跳动的HDFS平台已经成长为总数几万台服务器的大平台,支持了EB级别的数据量。HDFS是业界使用最广泛的开源分布式文件系统。原理和架构和谷歌的GFS基本一致。字节跳动已经应用HDFS非常长的时间了,随着抖音、今日头条、西瓜视频、火山小视频等业务的快速扩张,原来的HDFS的集群从几百台,迅速突破千台和万台的规模。
可想而知字节跳动的存储压力有多大,可能正在奔着ZB级发展。传统的块存储、文件存储肯定无法满足字节跳动的需求,分布式存储结构的对象存储才能缓解字节跳动的压力,因为ZB级存储规划的重点在于如何降低存储成本。这么多的服务器集群应该放在哪里?服务器集群自然是要放在大型的数据中心。数据中心可以理解为一个超大的场所,里面塞满了机柜,而机柜里面塞满了服务器和交换机,服务器里面又塞满了硬盘。
据数据显示,2017年年初的时候字节跳动只有2~3万台服务器,2018年服务器数量猛增到17万台,2020年就超过了42万台。早期的时候字节跳动采用的数据中心租赁的模式,但到了最后不得不自建数据中心,而且还要速度快,仅用了7个月的时间,就在张家口市怀来县建立了第一个属于字节跳动自己的数据中心。字节跳动从2018年9月在怀来建立数据中心以来,在怀来、上海、南通、清远、深圳等地都有数据中心增量需求以满足业务爆炸式增长。
目前字节跳动有秦淮数据和中联数据这两个主要的IDC供应商。其中秦淮数据供应了字节跳动58%的IDC机柜数量。秦淮数据的成长依赖字节跳动,2018-2020年H1,秦淮数据的营收分别为9848.4万元、8.53亿元、8.1亿元,2019年总营收同比增长766%,其中2019年和今年的上半年,字节跳动给秦淮数据分别贡献了68.2%和81.6%的营收收入。
字节跳动简直是给秦淮数据装了涡轮增压,大树底下好乘凉,秦淮数据中心也要上市了。内容是字节跳动的根基据投资人和内部消息将字节跳动2019的营收定在1040亿至1400亿人民币,超过了Uber、Snapchat和Twitter的综合,广告收入也超越了腾讯,仅次于阿里巴巴。在今日头条生产的众多APP中,今日头条和抖音共享了绝大多数的营收收入,它两都是基于内容,推荐给用户感兴趣的内容,而这些内容不管是以文字、短视频、视频的形式出现,都是用户自己生产的。
设计公司需要一台文件共享存储服务器存素材和作品,用NAS好还是拿一台主机做共享?