python pandas to_sql将excel数据导入到MySQL数据库

2020-05-26 科技 114阅读
其实吧, 一分钟10W条数据不能算太快,10秒10W条还差不多。 可以研究一下线程+进程来处理, 或者协程+进程。处理速度肯定能让你喊一声“卧槽!” 哈哈。
言归正传, 你说的别的MySQL是不是远程的,通过ip来连接的哈, 如果是的话那就可以理解了。 每次连接一次数据库,都有一个网络延迟的,2台电脑之间距离越远,这个延迟就越高,而每次导入数据的时间必须要加上这个延迟的时间的, 而本地测试的时候因为连接数据库的时间延迟基本可以忽略不计,所以速度要比连接远程数据库要快很多很多。
最后, 如果想要解决这个问题的话,要么把业务数据库移到本地,去掉时间延迟。 要么就用我上面说的线程+进程 或者 协程+进程的方式提高程序效率。如果无法把业务数据库移到本地的话, 我非常推荐后者,成本也就是多学一点东西而已, 但以后可以省下非常多的时间, 效率为王嘛~
声明:你问我答网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流。若您的权利被侵害,请联系fangmu6661024@163.com