V2EX › watsy0007 的所有回复 › 第 8 页 / 共 17 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

1 2 3 4 5 6 7 8 9 10 ... 17

❮

❯

2018 年 10 月 19 日

回复了 AllOfMe 创建的主题 › PostgreSQL › 有人在业务上使用过 PostgreSQL 吗？感觉体验如何？

https://item.jd.com/11684063.html
不能修改, 换一个链接

2018 年 10 月 19 日

回复了 AllOfMe 创建的主题 › PostgreSQL › 有人在业务上使用过 PostgreSQL 吗？感觉体验如何？

https://item.jd.com/24868416248.html?jd_pop=cdebc412-3a63-41c1-9749-d9070086fc5e&abt=0
推荐看下目录...
看完目录你就考虑换了

2018 年 10 月 17 日

回复了 kirinzer 创建的主题 › 程序员 › MacBook Pro 外接 27 寸 2k 显示器

上 4k 吧.

2018 年 10 月 16 日

回复了 eeljiang 创建的主题 › 奇思妙想 › 有没有多人共用的牙膏或者挤牙膏装置？

私人物品最好不要公用.可以买次洗漱时候自带好了.

2018 年 10 月 15 日

回复了 yo0o0o0 创建的主题 › 奇思妙想 › 求个自动倒水的设备

买个 2L 的瓶子, 满足你一天的用水量

2018 年 10 月 15 日

回复了 martifact 创建的主题 › 北京 › [北京] 后端程序员求合租

1. 图片挂了
2. 主卧合租是什么意思? 2 个人一间屋?

2018 年 10 月 9 日

回复了 jamfer 创建的主题 › 分享发现 › 感觉「公园盒子（智能健身舱）」这个创意真的蛮好的

不能洗澡的健身房没啥性价比.

2018 年 10 月 9 日

回复了 Ewig 创建的主题 › Python › mongodb 在 scrapy 如何去重，然后下载管道如何管理

v2ex 不支持 markdown...

https://gist.github.com/watsy0007/779c27fb0ceab283cc434b5eec10b7c4

封装了针对数据处理的公共方法.

2018 年 10 月 9 日

回复了 Ewig 创建的主题 › Python › mongodb 在 scrapy 如何去重，然后下载管道如何管理

```python

class MongoCache:
db = None

def __init__(self):
if not hasattr(MongoCache, 'pool'):
MongoCache.create_instance()

@staticmethod
def create_instance():
client = MongoClient(config.MONGO_URL)
MongoCache.db = client['spider']

def create(self, table, unique_key, origin_data):
if self.exists(table, unique_key):
return None

summaries = {k: generator_summary(v) for (k, v) in origin_data.items()}

return self.db[table].insert({
'unique_key': unique_key,
'data': origin_data,
'summaries': summaries
})

def get(self, table, unique_key):
data = self.db[table].find_one({'unique_key': unique_key})
if data is None:
return None
return data['data']

def exists(self, table, unique_key):
data = self.db[table].find_one({'unique_key': unique_key})
return data is not None

def is_changed(self, table, unique_key, origin_data):
if not self.exists(table, unique_key):
return True

last_summaries = self.db[table].find_one({'unique_key': unique_key})['summaries']
for (k, v) in origin_data.items():
summary = generator_summary(v)
last_summary = last_summaries.get(k, None)
# print('{} -> {} | {} -> {}'.format(k, v, summary, last_summary))
if last_summary is None or last_summary != summary:
return True
return False

def change_fields(self, table, unique_key, origin_data):
if not self.exists(table, unique_key):
return origin_data
changes = {}
last_summaries = self.db[table].find_one({'unique_key': unique_key})['summaries']
for (k, v) in origin_data.items():
last_summary = last_summaries.get(k, None)
# print('{} -> {} | {} -> {}'.format(k, v, summary, last_summary))
if last_summary is None or last_summary != generator_summary(v):
changes[k] = v
return changes

def update(self, table, unique_key, origin_data):
if not self.exists(table, unique_key):
return origin_data
new_summaries = {k: generator_summary(v) for (k, v) in origin_data.items()}
self.db[table].update_one({'unique_key': unique_key},
{'$set': {'data': origin_data, 'summaries': new_summaries}})
return origin_data
```

2018 年 10 月 9 日

回复了 Giethoorn 创建的主题 › 职场话题 › 本周我是这样安排工作的，有木有跟我一样的？

手动帮你 @你们公司领导

2018 年 10 月 9 日

回复了 pandaaa 创建的主题 › 程序员 › 现在使用 Python 的公司是用 2 还是 3？

3.7

2018 年 10 月 7 日

回复了 duvalier 创建的主题 › 生活 › 话说我一个学医的整天逛 V2EX 是不是太乱入了？

360 行, 行行转 it

2018 年 7 月 23 日

回复了 1800x 创建的主题 › 旅行 › 如何运送一台显示器

顺丰和德邦都用过. 完好无损