关于vineyard性能的问题

[lvf0052]

你好，请问是否有关于vineyard的性能测试文档。

1. 在graphscope中，使用vineyard来进行图数据的存储，大量的图数据进行加载的时候，加载性能是怎么样的。
2. 我是否可以并发的加载数据，比如说图数据，有不同类别的数据，人、手机、车辆等等数据，这些数据可以并发加载进vineyard中吗。

[sighingnow]

在graphscope中，使用vineyard来进行图数据的存储，大量的图数据进行加载的时候，加载性能是怎么样的。

这部分正在优化中，未来几天（本周内）会有新的update

我是否可以并发的加载数据，比如说图数据，有不同类别的数据，人、手机、车辆等等数据，这些数据可以并发加载进vineyard中吗。

可以使用graphscope的 load_from API (https://graphscope.io/docs/reference/graph.html?highlight=load_from#graphscope.framework.graph_builder.load_from)，graph loader内部会做并行加载。

[lvf0052]

            for key in concept_cql_map:
                g = g.add_vertices("/csv/{}".format(csv_name), label=key,
                                       properties=[need_add_node_prop])

原来加载数据的代码是这么写的，我感觉循环加载影响了graphscope底层的并行加载逻辑
这段代码是否应该改造成如下这样，统一定义要加载的数据，将加载信息传入到graphscope的加载方法里，达到并行加载的效果

g = graphscope_session.load_from(
    edges={
        "group": [
            {
                "loader": "file:///home/admin/group.e",
                "properties": ["group_id", "member_size"],
                "source": ("leader_student_id", "student"),
                "destination": ("member_student_id", "student"),
            },
            {
                "loader": "file:///home/admin/group_for_teacher_student.e",
                "properties": ["group_id", "group_name", "establish_date"],
                "source": ("teacher_in_charge_id", "teacher"),
                "destination": ("member_student_id", "student"),
            },
        ]
    },
    vertices={
        "student": {
            "loader": "file:///home/admin/student.v",
            "properties": ["name", "lesson_nums", "avg_score"],
            "vid": "student_id",
        },
        "teacher": {
            "loader": "file:///home/admin/teacher.v",
            "properties": ["name", "salary", "age"],
            "vid": "teacher_id",
        },
    },
)

[sighingnow]

就是在上线新的改进后，可否出一个基准测试，比如说加载一千万数据、在什么配置，要花多长的时间，目前不知道是我用的方式不对，还是说真的要花很长的时间。

感谢建议，不过这个不太容易给出，影响比较多，CPU资源、图的拓扑，等等。

如果有有问题的case，能够提供具体的环境参数，和图数据的描述（如果是public dataset会更好），我们很愿意debugging和profiling。

这个方案是否为最快、也是最高效的方式和方法。

现在graphscope可以take csv/parquet/orc 这些格式作为inputs，但差别应该不太大。

graph_scope在【0.16.0版本】已经是并行加载了吗

是的，内部会data parallel。

我大概加载7类节点、10类的边，共计40万数据数据，需要100秒，这个速度是合理的吗。

一些具体的问题：

• 这些CSV加起来有多大？
• 几个worker？
• 能否给一个图的schema？

[sighingnow]

            for key in concept_cql_map:
                g = g.add_vertices("/csv/{}".format(csv_name), label=key,
                                       properties=[need_add_node_prop])

原来加载数据的代码是这么写的，我感觉循环加载影响了graphscope底层的并行加载逻辑 这段代码是否应该改造成如下这样，统一定义要加载的数据，将加载信息传入到graphscope的加载方法里，达到并行加载的效果

g = graphscope_session.load_from(
    edges={
        "group": [
            {
                "loader": "file:///home/admin/group.e",
                "properties": ["group_id", "member_size"],
                "source": ("leader_student_id", "student"),
                "destination": ("member_student_id", "student"),
            },
            {
                "loader": "file:///home/admin/group_for_teacher_student.e",
                "properties": ["group_id", "group_name", "establish_date"],
                "source": ("teacher_in_charge_id", "teacher"),
                "destination": ("member_student_id", "student"),
            },
        ]
    },
    vertices={
        "student": {
            "loader": "file:///home/admin/student.v",
            "properties": ["name", "lesson_nums", "avg_score"],
            "vid": "student_id",
        },
        "teacher": {
            "loader": "file:///home/admin/teacher.v",
            "properties": ["name", "salary", "age"],
            "vid": "teacher_id",
        },
    },
)

是的，这样会更好。

[lvf0052]

十分感谢你的解答。
我这边先尝试一下加载数据的代码修改，感觉可以解决一大部分问题。

[sighingnow]

载图性能和内存占用相关优化已经发布，graphscope 需要是pre-release版本：

pip3 install -U graphscope --pre