大数据文件处理 琐记

数据库服务和管理,MySQL/PostgreSQL/Oracle/Sybase 等
回复
头像
百草谷居士
帖子: 2987
注册时间: 2006-02-10 16:36
系统: ubuntu18.04/Win10
送出感谢: 18 次
接收感谢: 32 次
联系:

大数据文件处理 琐记

#1

帖子 百草谷居士 » 2018-07-11 15:15

其实不算数据库,不过跟数据库有瓜葛

我从ms sql数据库导出了两份巨量数据CSV文件,其中一个有228万记录,177MB,另一个有1192万条记录,有1GB。
不管是Excel还是Libreoffice calc最大的行数是104行,肯定是不行的。
我使用文本编辑器打开时,使用vim毫不费力可以说是瞬时打开,使用geany打开时费了好长时间,差点以为是崩溃了。
我要把这些输入导入到sqlite,对sql命令还算熟悉,但对sqlite命令行一无所知。
一开始选择了SqliteStudio,导入时死机,真的死机,放了一夜一点进度没有,只见滚动条在滚动。
然后选择了Db browser for sqlite,又叫sqlite browser。还好,228万的记录已经导入完毕,1192万的记录目前进度30%

有些时候,还得看能够处理的数据量
友帮拓,真难听。有没有接触官方的老大?给改了吧!
一直想找一个在linux下的Visual FoxPro/access桌面数据库。MUIBase还算是最相近的。
Thanksgiving
帖子: 200
注册时间: 2009-05-10 14:28
送出感谢: 3 次
接收感谢: 0

Re: 大数据文件处理 琐记

#2

帖子 Thanksgiving » 2018-07-16 23:57

https://gist.github.com/esperlu/943776
这个链接的东西应该是更Linux吧
头像
百草谷居士
帖子: 2987
注册时间: 2006-02-10 16:36
系统: ubuntu18.04/Win10
送出感谢: 18 次
接收感谢: 32 次
联系:

Re: 大数据文件处理 琐记

#3

帖子 百草谷居士 » 2018-07-17 12:33

无法打开链接
友帮拓,真难听。有没有接触官方的老大?给改了吧!
一直想找一个在linux下的Visual FoxPro/access桌面数据库。MUIBase还算是最相近的。
回复

回到 “数据库管理”