Python 如何提取非结构化数据

[anonymoustian]

现在有一行行的文本数据（ DNS 日志），是非结构化的，但是也有结构，比如

ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1 这种

如何提取出指定字段的行呢？ 比如过滤出 rcode=ok 的字段行，或者如何将这些数据变成结构化的，比如对应到一个 表格里，如果有的话 就为 “=” 后面的值，如果没有就为空

[LokiSharp]

用 pyparsing 定义语法之后解析

[yuhr123]

split 生成以空格分割的列表，迭代列表查找=号所在位置，用这个位置坐切片取封号前面的字符串，和你需要的字符串做 if 判断。

[niknik]

以空格 split 啊，然后转 json

[shuax]

直接两次 split 多简单啊

[capric]

src = 'ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1'
dst = dict(parts.split('=') for parts in src.split())
print(dst.get('ad'))

[thautwarm]

除开正则还有各种文法库。

比如我写的一个库的话，
import rbnf.zero as ze
ze_exp = ze.compile("""
import std.common.[Number Name Space]
Pair ::= keys=Name '::=' values=(~Space)*
-> (k.value, "".join(x.value for x in v))
Row ::= pairs=Pair+ -> dict(pairs)
Logs ::= (rows<<Row '\n'+)+ -> rows
"""
ze_exp.match("你的日志字符串").result

[www5070504]

两个 split 加上 字典推导式 用默认字典可以避免键可能不存在的情况

[btv2bt]

应该可以直接转 dict 吧

[C0dEr]

@lastpass 最近在搞 antlr，有啥好的资料看看吗

[TheBestSivir]

看你的场景咯。你对性能有需求么？有的话还是不要正则了。另外，这种简单场景正则真的有利于维护么？？？

[hakono]

噗，其实说真的，如果要搜索的字符串格式固定的话，首先想到的不应该是转为 dict，而是
for line in log_lines:
if "rcode=ok" in line:
xxxxxxxxxxxxxxxxxxx

[caryqy]

cat dns.log | awk -F ' ' '{print $3}' >> res.log

[caryqy]

cat dns.log | awk -F ' ' '{if ($3=="rcode=ok") {print $3} else {print "rcode=error"}}'

[omph]

http://pypi.python.org/pypi/parse
类似于 C 语言的 sscanf 字符串扫描

[bumz]

用 BNF 写一下文法？然后用 BNF Parser Generator 生成一下相应的解析器

（其实这种正则就行，逃
（再复杂直接用递归下降写就好

[freakxx]

content = "ad=0 cd=0 rcode=ok qdcount=1 ancount=0 nscount=0 arcount=1 src=232.190.252.222 dst=45.80.170.1 test test2"

1
直接字符串判断
rocde_is_ok = "rcode=ok"
rocde_is_ok in content

2

pairs = content.split(' ')

content_dict = {}
for name_value in pairs:
nv = name_value.split('=', 1)
if len(nv) != 2:
nv.append("")

key, value = nv
content_dict[key] = value

[saulshao]

上来就先 Split，然后写个函数分析 split 之后的结果，决定要不要将每个=加入最终结果。
我不建议用正则，你这个规律性太强了......

[lastpass]

@C0dEr 我看的就是 The Definitive ANTLR 4 Reference 这本书。简单易懂\(//∇//)\。

[wonderay]

https://github.com/google/textfsm/wiki

解析半结构化的的数据，满足你的一切需求
如果不是很复杂还是用正则吧

[shawndev]

空格换成换行就是 ini 格式了。