请教大家一个数据库问题
现在遇到一些关于数据库的问题：
1.单条记录大小在4m以上
2.每秒需要插入100条记录左右
3.单机的话硬盘几个月就被写满
4.需要较高的查询速度（能支持SQL原语查询最好了）
有什么好的数据库解决方案吗？
现在遇到一些关于数据库的问题：
1.单条记录大小在4m以上
2.每秒需要插入100条记录左右
3.单机的话硬盘几个月就被写满
4.需要较高的查询速度（能支持SQL原语查询最好了）
有什么好的数据库解决方案吗？
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 4150 days ago, the information mentioned may be changed or developed.
Supplement 1 · Jul 3, 2015
一秒400m确实难度很大，真实情况是一分钟100条左右吧，数据平均4m左右，并不是每条都是4m。
我们现在暂时考虑到Cassandra和hbase，不知道大家有没其他方案？
我们现在暂时考虑到Cassandra和hbase，不知道大家有没其他方案？
 |
whahugaoJul 3, 2015
1
1秒钟写400M数据？ 关注下，等待大神解答
|
 |
fredccJul 3, 2015
2
好奇怎么大的数据为啥要进数据库
|
 |
run2Jul 3, 2015
3
就是 不能把需要查询的放入数据，不需要的放入fs然后index么？
|
 |
loadingJul 3, 2015 via Android
4
一楼真相！
写到文件系统都压力不小吧… |
 |
9hillsJul 3, 2015
5
按照你这个写入速度，1个月写1PB。不止是单机打满吧。现在有好几PB的单机？
|
 |
6
@whahuzhihao @9hills 看附言
|
 |
felixzhuJul 3, 2015
7
DFS
|
 |
Ashitaka4Jul 3, 2015
8
oracle+lob字段表
|
 |
mhycyJul 3, 2015
9
4M一条应该不是文本数据来的吧？用文件吧。。。
|
 |
wy315700Jul 3, 2015
10
mongodb GridFS也可以试试看
|
 |
kanegJul 3, 2015
11
如果这个4M的数据是不变的，比如是照片之类的，放在文件系统应该是最好的。如果要从文件系统把文件读出来再存到数据库，单单网络带宽和IO压力就是一笔不小的开支。
|
 |
zhichengJul 3, 2015
12
S3
|
 |
xufangJul 3, 2015
13
weedfs
|
 |
loryyangJul 3, 2015
14
算了一下，一天34T数据，和我这边处理的数据量差不多，我们这里可是用了一整套的解决方案来搞定的，我不明白，你们的数据量如此之高，之前是怎么做的？
解决方案是慢慢进化的，如果刚上就这个量级，而你还需要来v2咨询解决方案，那我建议还是招一个有经验的人协助下吧，这绝对不是一个简单的问题。 比如你如何保证数据不重不丢，如何实施多副本冗余，如何进行挖掘，如何应对网络延时，对数据积压采取什么解决方案，如何节省存储和计算资源 更不用说基础软件的维护了，如果用hbase，那么hadoop集群的搭建和维护（这个集群肯定有一定规模了），是否具备足够的hadoop和hbase实战经验，据我了解，hadoop的集群参数设置也是很有学问的 |
 |
openrocJul 3, 2015
15
关键是，数据要不要索引，查询
|
 |
idblifeJul 3, 2015
16
1秒400M？？？
|
|
idblifeJul 3, 2015
17
目前什么存储能达到1秒400M的写入，求指教。
|
 |
lhbcJul 3, 2015
18
假如存一年数据，4*100*60*24*365/1024/1024 = 200T
这么大的数据，要分布式加多份存储，所以预算1PB的硬盘容量 单是存储就是几百万的成本，还不算开发、运维、运营、带宽的成本，一年总要千万的投入吧，为什么会来这里问…… |
|
9hillsJul 3, 2015
20
每分钟400M的话，用HBase是可以的。
200T的话，现在的存储机器是3*12T，10台机器怎么够了，几十万而已 |
 |
lincanbinJul 3, 2015
23
不需要索引的大数据不要放数据库里。
|
Select Language