农夫山泉

@guyskk0x0 #35 emmmm 如果按照 hash 把文件进行了拆分，合并的时候怎么保证每个小文件的列能够对应上呢？

@letking #28 明白了 我试试 谢谢你

@xomix #23 没有太明白 XD

@letking #24 还是用 spark 或者任意数据库？

@tinybaby365 #22 因为想用合并好的表去做后面的计算，但是计算要求的表就是这样。

@optional #15 每一个文件应该都要单独导入...列名不一样

@liprais #14 我是想合并的时候用前三列做参考，输出的时候再扔掉前三列。

@xypty #17 每个文件的行数不一样，也不一致，列名只有前三列是一样的。

@letking #12 那有什么好的方法推荐吗？

@momocraft #10 是的，就是 tsv，合并的时候没问题，一往外写就出问题了。（第一次用 pyspark，可能真的是自己的问题。


BName = str(os.path.basename(bg_f[0]).split('.')[0])
schema = StructType([
StructField('CataID', StringType(), True),
StructField('Start_Block', IntegerType(), True),
StructField('End_Block', IntegerType(), True),
StructField(BName, IntegerType(), True)
])
temp = sqlContext.read.csv(bg_f[0], sep='\t', header=False, schema=schema)
for p in bg_f[1:]:
SName = str(os.path.basename(p).split('.')[0])
schema = StructType([
StructField('CataID', StringType(), True),
StructField('Start_Block', IntegerType(), True),
StructField('End_Block', IntegerType(), True),
StructField(BName, IntegerType(), True)
])
cur = sqlContext.read.csv(p, sep='\t', header=False, schema=schema)
temp = temp.join(cur,
on=['CataID', 'Start_Block', 'End_Block'],
how='outer')
temp = temp.drop('CataID', 'Start_Block', 'End_Block')

@letking #5 saveAsTextFile 还是会报 stack overflow

@liprais #3 stack overflow, 是在一个 fat node 上跑的，增加了 Executor memory 也不行

@lsvih #1 会直接报 stack overflow

@cattrace #132 rs762551 是指发生在 CYP1A2 这个基因上的 SNP （单核苷酸多态性）

骑车 天晴 15 分钟，雨天 20 分钟

@ebingtel @lhx2008 目前是要写好几十个文件
@toono 我去看看 thx

已买

万一呢