[分享][原创]为ibus输入法导入第三方词库 phrase_converter_for_ibus

[linyuanjie]

不错，马上试试！

[fracting]

代码： 全选

Traceback (most recent call last):
  File "/home/shellex/scripts/sougou2ibus.py", line 44, in <module>
    cur_in.execute('select * from py_phrase where phrase=?',[phrase])
sqlite3.ProgrammingError: You must not use 8-bit bytestrings unless you use a text_factory that can interpret 8-bit bytestrings (like text_factory = str). It is highly recommended that you instead just switch your application to Unicode strings.

出错鸟～囧

我也遇到同样的问题了.不知道是发行版升级的原因还是ibus升级的原因？我用的是ubuntu 9.04 , shellex用的是哪个发行版？
还有谁遇到相同的错误吗?分别是什么发行版?ibus什么版本？

[牙签儿]

mark！

[lanceu]

代码： 全选

Traceback (most recent call last):
  File "/home/shellex/scripts/sougou2ibus.py", line 44, in <module>
    cur_in.execute('select * from py_phrase where phrase=?',[phrase])
sqlite3.ProgrammingError: You must not use 8-bit bytestrings unless you use a text_factory that can interpret 8-bit bytestrings (like text_factory = str). It is highly recommended that you instead just switch your application to Unicode strings.

出错鸟～囧

我也遇到同样的问题了.不知道是发行版升级的原因还是ibus升级的原因？我用的是ubuntu 9.04 , shellex用的是哪个发行版？
还有谁遇到相同的错误吗?分别是什么发行版?ibus什么版本？

我也遇到了这个错误。楼主解释下原因。

[qdxuxiao]

File "/home/shellex/scripts/sougou2ibus.py", line 44, in <module>
cur_in.execute('select * from py_phrase where phrase=?',[phrase])
sqlite3.ProgrammingError: You must not use 8-bit bytestrings unless you use a text_factory that can interpret 8-bit bytestrings (like text_factory = str). It is highly recommended that you instead just switch your application to Unicode strings.
出错鸟～囧
我也遇到同样的问题了.不知道是发行版升级的原因还是ibus升级的原因？我用的是ubuntu 9.04 , shellex用的是哪个发行版？
还有谁遇到相同的错误吗?分别是什么发行版?ibus什么版本？
我也遇到了这个错误。楼主解释下原因

可能需要添加下面两行:
db_in.text_factory = str
db_out.text_factory = str

如下所示：

代码： 全选

db_in=sqlite.connect('/usr/share/ibus-pinyin/engine/py.db')
db_in.text_factory = str
cur_in=db_in.cursor()

homedir=os.environ['HOME']
dbname=homedir+'/.ibus/pinyin/user.db'
# dbname='/home/fracting/.ibus/pinyin/user.db'# for test
db_out=sqlite.connect(dbname)
db_out.text_factory = str
cur_out=db_out.cursor()

还可能需要安装以下软件包:
sudo apt-get install python-sql python-sqllite python-sqlalchemy python-sqlobject

[傻傻啲]

太感谢楼主和qdxuxiao了
我终于可以导入词库没有的字了，原来只是用sql的insert就行了
(qdxuxiao例举的软件包中找不到python-sql， 而且python-sqllite打多了一个l应该是python-sqlite)

[nick198119]

不知道为什么，我使用Ibus输入法时，自定义的词在重启输入法以后又消失了（当然重启系统也是这样），根本无法记忆。在家目录.ibus/pinyin中，发现输入新词时user.db没有任何变化，仅仅产生一个user.db-journal的文件，但重启输入法(或重启系统）可以发现user.db-journal被自动删除，在输入用户新词时重建。但不管怎样user.db都没有任何变化，输入法也无法记忆前次输入法记录的任何用户词汇。
谁知道这是为什么？

[xpx10764]

感觉效率狠有问题的呀

[eagle5678]

本人用万能五笔，爽得妙不可言。安装详见：
http://www.a0602.com/thread-101-1-1.html

？？

[eagle5678]

能转万能五笔吗

[songah891]

好东西，分享一下

[hcym]

收藏主题

[枫行天下]

提出几点改进意见哈

1.搜狗的导出词库似乎不太一样，希望可以修改下支持它

2.程序似乎效率太低了，原因有二，第一是从系统词库里面检索耗时非常厉害，每条几乎都要1秒左右，对于词库超过数万的用户来说导入简直是该噩梦，所以可以先吧系统词库复制出来为phrase字段建立索引，这样可以大大提高速度；第二就是向词库插入记录耗时严重，这个问题可以通过启用sqlite的事务来解决。根据试验，开启事务后导入11万条耗时仅2分钟左右

我不懂py，就用php写了个，以脚本形式运行即可，也发出来给大家瞧瞧，运行 php ./import.php 即可，记得要修改里面的输入输出文件才行的

import.tar.gz

(3.09 KiB) 已下载 58 次

[kunkun0217]

支持!!

[hubert_star]

楼主的脚本

提几个意见

1 多音字的处理
2 没做索引，所以效率慢
3 词频
4 批次提交

txt文件，除了形码输入有价值外，对于拼音没有任何价值

还是要分析scel文件，分析方法很简单，论坛有讨论的

还有，词库存在user.db里面，有问题的